Hadoop distributed file system (hdfs) federação

A solução para expandir clusters Hadoop indefinidamente é federado o NameNode. Antes Hadoop 2 entrou em cena, clusters Hadoop tinha que viver com o fato de que NameNode colocou limites sobre o grau em que eles poderiam escala. Poucos grupos foram capazes de escala para além de 3.000 ou 4.000 nós.

necessidade de NameNode manter registros para cada bloco de dados armazenados no cluster acabou por ser o fator mais importante restringir um maior crescimento cluster. Quando você tem muitos blocos, torna-se cada vez mais difícil para o NameNode para dimensionar-se como o cluster Hadoop escalas fora.

Especificamente, você deve definir HDFS-se para que você tenha várias instâncias NameNode executados em seus próprios, nós mestres dedicados e, em seguida, fazendo com que cada NameNode responsável apenas para os blocos de arquivos em seu próprio espaço de nome.

A figura mostra os padrões de replicação de blocos de dados em HDFS. Você pode ver um cluster Hadoop com dois NameNodes servindo um único cluster. Os nós escravos, todos contêm blocos de ambos os espaços de nomes.