Considerações de rack hadoop

Video: Hadoop Tutorial - High Availability, Fault Tolerance & Secondary Name Node

Um dos princípios fundamentais do Hadoop está escalando para fora com nós escravos adicionais para atender à crescente de dados de armazenamento e demandas -Processamento. Em um modelo de scale-out, você deve considerar cuidadosamente projeto cluster porque dezenas, e até centenas, de nós escravos, em última análise precisam ser torturado, alimentado, em rede, e resfriado.

Video: Apache Hadoop - Rack Topology/Awareness

fatores de forma Servidor

Uma das primeiras escolhas que os arquitetos de TI terão de enfrentar ao projetar um cluster Hadoop é qual dos seguintes dois fatores de forma a utilizar para nós Hadoop:

servidor Blade: Projetado para máxima densidade, você pode empinar como muitos destes bebês em uma cremalheira possível. Os servidores blade caber em caixas de lâminas, que têm muitos componentes do servidor padrão, como armazenamento dedicado, redes, energia e refrigeração. Estes componentes são compartilhados entre os servidores blade, o que significa que cada servidor blade indivíduo pode ser muito menor.

Os servidores blade são uma opção atraente na superfície, porque você pode ter um rack padrão e implantar entre 40 e 50 desses servidores blade. O problema com o uso de lâminas para implantações Hadoop é que eles dependem de certos componentes compartilhados, que não está em conformidade com a arquitetura sem compartilhamento do Hadoop, onde cada um dos nós escravos são auto-suficientes e têm seus próprios recursos dedicados.

Video: 26. Hadoop Administration Tutorial - Rack Awareness

Mais importante ainda, lâminas têm pouco espaço para armazenamento conectado localmente, muitas vezes tendo não mais do que dois ou três compartimentos de unidade. Este é um non-starter para Hadoop, uma vez que nós escravos precisam de muito mais dedicado capacidade de armazenamento.

Custo de propriedade

Ao escolher e projetar um nó escravo, suas considerações mais importantes são normalmente os custos de aquisição iniciais e o volume de armazenamento. No entanto, o custo de propriedade também é importante. É um ato de equilíbrio fino, no entanto, porque as escolhas que afetam o custo de aquisição, o consumo de energia, refrigeração, desempenho de hardware, e densidade são muitas vezes em oposição. Em nome de ajudá-lo a fazer boas escolhas, aqui estão alguns conselhos (muito específica):

• Reserve fontes de alimentação redundantes para os nós mestre. Tendo fontes de alimentação redundantes para nós escravos é um exagero - uma falha de alimentação em um nó escravo não afetaria muito o cluster. No entanto, tendo fontes de energia redundantes em todos os nós escravo iria aumentar o consumo de energia e gerar mais calor.

• Escolha de meia-of-the-road velocidades de clock para escravo CPUs nó. CPUs com maior velocidade de clock não só custar mais, mas também usam mais energia e gerar mais calor.

• Escolha servidores de rack que são projetados para Hadoop. Com a crescente popularidade do Hadoop, todos os principais fornecedores de hardware oferecem agora servidores de rack que são nós escravos ideais, com 12 a 20 baías de unidades para armazenamento conectado localmente.

  servidores de rack projetado para funcionar como nós escravos Hadoop são tipicamente muito grande para caber em um fator de forma de um RU, mas ocupando dois RUs pode resultar em desperdício de espaço. Para o uso mais eficiente do espaço, alguns fornecedores de hardware lançaram servidores de rack que empinar vários nós de escravos em um único chassi.

  A título de exemplo, nesta forma de comprimido, uma cremalheira padrão pode ter tantos como 27 nós escravo (mesmo com comutadores de rede), onde cada nó escravo tem espaço para 15 unidades de disco para HDFS. O resultado deste arranjo é muito maior densidade e melhor utilização do espaço no centro de dados.