Como escolher uma arquitetura de cluster hadoop
Video: How to setup Hadoop Cluster and configure Size?
Conteúdo
Hadoop é concebido para ser implantado em um grande conjunto de computadores em rede, que caracteriza os nós mestre (que hospedam os serviços que controlam o armazenamento e processamento de Hadoop) e nós escravo (onde os dados são armazenados e processados). Você pode, no entanto, executar Hadoop em um único computador, que é uma ótima maneira de aprender as noções básicas de Hadoop através da experimentação em um espaço controlado.
Video: Add a Node to a Live Hadoop Cluster in 15 Minutes
Hadoop tem dois modos de implementação: o modo distribuído pseudo-e modo totalmente distribuída, ambos os quais são descritos aqui.
de modo distribuído-pseudo (nó única)
Um nó única implantação Hadoop é referido como sendo executado no Hadoop pseudo-distribuído mode, onde todos os serviços Hadoop, incluindo os serviços de mestre e escravo, todos executados em um nó de computação único. Este tipo de implantação é útil para testar rapidamente aplicativos enquanto você está desenvolvendo-los sem ter que se preocupar sobre o uso de recursos de cluster Hadoop alguém pode precisar.
Video: Hadoop Configuration Tutorial | Modes of Hadoop Configuration
É também uma forma conveniente de experimentar com Hadoop, como a maioria de nós não têm clusters de computadores à nossa disposição.
Modo totalmente distribuído (um conjunto de nodos)
A implantação do Hadoop, onde os serviços de mestre e escravo Hadoop executado em um cluster de computadores está sendo executado em que é conhecido como modo totalmente distribuído. Este é um modo apropriado para clusters de produção e pólos de desenvolvimento. Uma outra distinção pode ser feita aqui: a Pólo de desenvolvimento normalmente tem um pequeno número de nós e é usado para fazer o protótipo as cargas de trabalho que eventualmente executados em um cluster de produção.