Pré-requisitos de ajuste hbase

Qualquer instalação sério HBase requer alguma configuração padrão em seu conjunto e nos nós individuais. Alguns exemplos são fornecidos aqui. Primeiro dê uma olhada em monitoramento e gerenciamento.

Video: Assassins Creed 4 Black Flag - Planta Casco de Elite

Ferramentas para monitorar seu cluster

Se você já teve o privilégio de engenharia de um sistema em algum momento de sua carreira, você sabe que enfrentar o grande desafio de chegar com um procedimento de testes rigorosos para garantir que o seu sistema está pronto para a sua fase de produção. Se você não planejar para teste e depuração direita na frente, é provável que você perca seus prazos de produção ou falhar por completo.

Os committers HBase e Hadoop a certeza que você teria um subsistema métricas ricos para desenhar durante a fase de depuração e teste. Você pode encontrar todos os detalhes complicados no HBase documentação on-line, especialmente as seções lidar com HBase backup e replicação.

O recurso de replicação de cluster é uma ferramenta-chave quando a depuração, tuning ou se você deseja executar Map Reduce contra suas tabelas sem afetar o desempenho. Obviamente, você vai precisar dele para o desastre recuperar bem.

Começando com o Hadoop ferramentas de gestão conjunto é surpreendentemente fácil. HBase aproveita a tecnologia Java Management Extensions (JMX) para expor as principais métricas. E com a Máquina Virtual Java, você também terá a ferramenta JConsole, um cliente JMX livre que você pode usar para visualizar as métricas HBase.

A distribuição HBase temos vindo a trabalhar com (0.94.7) permite o acesso via JConsole por padrão, portanto, em seu ambiente independente basta selecionar o servidor HBase que deseja monitorar e JConsole, em seguida, apresenta uma interface gráfica do usuário para a visualização de chave métricas do servidor.

Você pode iniciar a ferramenta JConsole com o seguinte comando: $ JAVA_HOME / bin / jconsole

Além disso, você deve se familiarizar com estas duas outras tecnologias de código aberto para monitorar seu cluster HBase:

Video: Assassins Creed Rogue : Planta Casco de Elite

• gânglios: Muitas vezes usado para fornecer gráficos de monitoramento ao longo do tempo, os gânglios pode ajudar a detectar problemas que ocorrem ocasionalmente ou apenas depois de dias de operação.

• Nagios: Nagios é útil se você for um administrador HBase e deseja receber uma página em seu pager ou um e-mail se, digamos, um RegionServer vai para baixo ou você tem um problema de coleta de lixo em seu cluster.

Se você está aproveitando HBase como parte de um produto comercial, certifique-se de verificar com o seu fornecedor para obter uma ferramenta para monitorar e gerenciar HBase.

configuração do cluster

HBase normalmente implanta em um cluster, e você vai precisar fazer alguns ajustes em cada um dos seus servidores para acomodar componentes HBase. Um bom primeiro passo é garantir que os relógios do sistema em cada servidor em seu cluster estão em sincronia.

Fora dos relógios do sistema de sincronização em seus servidores pode realmente confundir HBase, de modo a verificar o Network Time Protocol ou NTP para breve. Executando o NTP no cluster vai cuidar de todos os problemas de sincronização de tempo.

Além disso, HBase é uma aplicação única em certos aspectos, porque sublinha o seu sistema para além do nível que as aplicações podem fazer. A verdade é que HBase vai estar abrindo um monte de arquivos - que é apenas a natureza da besta.

Dado esse fato, você precisa garantir que seus sistemas operacionais são configurados para lidar com o que é certo para ser uma carga do sistema de arquivos longe de ser típico. Trocando em seu Linux sistemas (se deslocam entre disco e memória, em outras palavras) que opera pode ter efeitos muito negativos sobre Zookeeper.

Finalmente há a Máquina Virtual Java (JVM) que em última análise é executado em cada um dos seus nós e executa os processos HBase. HBase também põe o stress longe de ser típico na JVM. (Por exemplo, o cache MemStore, que exerce fortemente o sistema de coleta de lixo, é a certeza de ser tributados ao máximo.)

Quando o MemStore está empenhada em HFiles no HDFS, o heap Java é recuperado. Isso pode resultar em coleta de lixo longa pausa se o seu JVM não está configurado corretamente.

Assim, por todas estas razões e mais você deve rever essas duas seções da documentação on-line Apache HBase:

• Requisitos de configuração geral: Reveja o Capítulo 2 do HBase documentação on-line e especialmente a secção 2.5 intitulada “As configurações importantes“.

• Máquina Virtual JAVA: Determinar qual JVM você está correndo e se certificar de que ele foi testado para compatibilidade com HBase. A documentação on-line Apache HBase sugere Java 6 da Oracle, porque Java 7 ainda não foi completamente testado.

  Outra JVM é J9 da IBM. Se você planeja usar J9, rever a documentação da IBM para as últimas opções de linha de comando ao iniciar suas JVMs.

compressão permitindo

Compressão aumenta a performance HBase, reduzindo disco entrada / saída geral. Considere habilitar a compressão menos que seus dados não são bem compactadas (imagens, por exemplo) ou se seus RegionServers não pode lidar com a carga de CPU adicional que a compressão e descompressão requer.

A compactação pode ser ativada através do comando shell HBase. Por padrão, a compressão é desativado por família coluna. Os tipos de compressão são suportadas Gzip, LZO e áspero (com alguns outros derivados disponível e muito mais no caminho). GZIP é melhor global para atingir uma taxa de compressão bom, mas LZO e Snappy são mais rápidos.

Tenha em mente, porém, que tanto LZO e codecs de compressão Snappy deve ser instalado feita separadamente única Gzip funciona sem mais etapas de configuração. A listagem mostra os passos que você precisa para ativar a compactação Gzip na mesa de Customer Contact Information:

hbase (principal): 007: 0gt; desativar `CustomerContactInfo`hbase (principal): 010: 0gt; alterar `CustomerContactInfo`, {NOME = gt; `CustomerName`, COMPRESSÃO = gt; `GZ`} hbase (principal): 014: 0gt; descrever `CustomerContactInfo`&hellip-{NOME = gt; `CustomerName`, REPLICATION_SCOPE = gt; `0`, KEEP_DELETED_CELLS = gt; `Falso`, COMPRESSÃO = gt; `GZ`,&hellip-hbase (principal): 017: 0gt; permitir `CustomerContactInfo`