Uma implantação de rack único é um ponto de partida ideal para um cluster Hadoop.
Aqui, o cluster é bastante auto-suficiente, mas porque ele ainda tem relativamente poucos nós escravos, os verdadeiros benefícios da resiliência do Hadoop ainda não são aparentes.
23
Video: Hadoop Tutorial 3- Hadoop Clusters and Components
Três cremalheira implantação Hadoop
Um conjunto de tamanho médio tem várias prateleiras, onde os três nós principais são distribuídos através das cremalheiras.
Video: Hadoop Multi-Node Part2: Configurações para Multi Node Cluster
resiliência do Hadoop está a começar a tornar-se aparente: Mesmo se uma cremalheira inteira estava a falhar (por exemplo, tanto TdR alterna em uma única cremalheira), o conjunto seria ainda função, embora a um nível mais baixo de desempenho. Uma falha de nó escravo seria apenas ser perceptível.
33
Video: Hadoop Cluster Configuration and Performance Tuning with Suhas Gogate (3 of 7)
Em larga escala de implantação Hadoop
Em clusters maiores, com muitas prateleiras, como o exemplo mostrado, a arquitetura de rede necessário é bastante sofisticado.
Video: Install hadoop in cluster 3 node
Independentemente de quantos racks de clusters Hadoop expandir a, os nós escravos de qualquer rack precisa ser capaz de forma eficiente ?? conversa ?? a qualquer nó principal.
Como o número de nós escravos aumenta para o ponto onde você tem mais de três prateleiras, prateleiras adicionais são compostos apenas de nós escravos, além dos interruptores ToR. Se você estiver usando HBase fortemente em seu cluster, você pode adicionar nós mestre para hospedar serviços HMaster e Zookeeper adicionais.
Se você mudar para uma escala verdadeiramente massiva, onde você tem centenas de nós escravos, você pode precisar usar os recursos de federação HDFS para que grandes porções de seus conjuntos de dados são geridos por diferentes serviços NameNode.
Para cada ativo NameNode adicional, você vai precisar de um Standby NameNode e dois nós mestre correspondente para hospedar esses servidores. Com HDFS federação, o céu é realmente o limite em termos de quão longe você pode dimensionar seus clusters.
