Nós escravos em clusters hadoop
Em um universo Hadoop, nós escravos são onde os dados Hadoop é armazenado e onde o processamento de dados ocorre. Os seguintes serviços permitem que nós escravos para armazenar e processar dados:
Conteúdo
Video: História - Aula 6 - ENEM: Escravidão no Brasil
NodeManager: Coordena os recursos para um nó escravo individual e relatórios de volta para o Gerenciador de recursos.
ApplicationMaster: Acompanha o andamento de todas as tarefas em execução no cluster Hadoop para uma aplicação específica. Para cada aplicativo cliente, o Resource Manager implanta uma instância do serviço ApplicationMaster em um recipiente em um nó escravo. (Lembre-se que qualquer nó executando o serviço NodeManager é visível para o Gerenciador de recursos.)
Recipiente: Uma coleção de todos os recursos necessários para executar tarefas individuais para um aplicativo. Quando um aplicativo está sendo executado no cluster, os horários do Gerenciador de Recursos as tarefas para o aplicativo seja executado como serviços de contêiner em nós escravos do cluster.
TaskTracker: Gerencia o mapa individual e reduzir as tarefas em execução em um nó escravo para clusters Hadoop 1. Em Hadoop 2, este serviço é obsoleto e foi substituído por serviços fio.
DataNode: Um serviço HDFS que permite a NameNode para armazenar blocos no nó escravo.
RegionServer: Armazena dados para o sistema HBase. Em Hadoop 2, HBase usa Hoya, que permite instâncias RegionServer a ser executados em recipientes.
Video: A ESCRAVIDÃO NO BRASIL EM FOTOS REAIS
Aqui, cada nó escravo está sempre executando uma instância DataNode (que permite HDFS para armazenar e recuperar blocos de dados no nó escravo) e uma instância NodeManager (que permite o Gerenciador de recursos para atribuir tarefas de aplicativos para o nó escravo para o processamento). Os processos de contentores são tarefas individuais para aplicações que estão rodando no cluster.
Cada aplicativo em execução tem uma tarefa ApplicationMaster dedicado, que também é executado em um recipiente, e acompanha a execução de todas as tarefas em execução no cluster até que o aplicativo for concluído.
Com HBase em Hadoop 2, o modelo de recipiente ainda é seguida, como você pode ver:
HBase em Hadoop 2 é iniciado pela Hoya aplicação Mestre, que solicita recipientes para os serviços HMaster. (Você precisa de vários serviços HMaster para redundância). A Hoya aplicação Mestre também solicita recursos para RegionServers, que também são executados em recipientes especiais.
A figura seguinte mostra os serviços implantados nos nós Hadoop um escravo.
Para Hadoop 1, cada nó escravo está sempre executando uma instância DataNode (que permite HDFS para armazenar e recuperar blocos de dados no nó escravo) e uma instância TaskTracker (que permite que o JobTracker para atribuir mapa e reduzir as tarefas para o nó escravo para processamento) .
nós escravos têm um número fixo de slots de mapa e reduzir ranhuras para a execução de mapa e reduzir as tarefas respectivamente. Se o cluster está em execução HBase, um número de seus nós escravos terá de executar um serviço RegionServer. Quanto mais dados você armazena em HBase, os mais instâncias RegionServer você vai precisar.
Os critérios de hardware para nós escravos são bastante diferentes daqueles para mestre nodes- de fato, os critérios não são iguais as encontradas em arquiteturas de referência hardware tradicionais para servidores de dados. Grande parte do burburinho em torno Hadoop é devido ao uso de hardware commodity nos critérios de design de clusters Hadoop, mas tenha em mente que mercadoria hardware não se refere a hardware consumidor da classe.
nós escravos Hadoop ainda requerem hardware de nível empresarial, mas na extremidade inferior do espectro de custo, especialmente para o armazenamento.