Rastreamento jobtracker e tasktracker em hadoop 1

processamento MapReduce em Hadoop 1 é tratado pelos daemons JobTracker e TaskTracker. O JobTracker mantém uma visão de todos os recursos de processamento disponíveis no cluster Hadoop e, como solicitações de aplicativos entrar, ele agenda e implanta-los para os gânglios TaskTracker para execução.

Video: 18 Introduction to Hadoop Job Tracker HD

Como os aplicativos estão em execução, o JobTracker recebe atualizações de status dos nós TaskTracker para acompanhar o seu progresso e, se necessário, coordenar a movimentação de quaisquer falhas. O JobTracker precisa ser executado em um nó master do cluster Hadoop, uma vez que coordena a execução de todos os aplicativos MapReduce no cluster, por isso é um serviço de missão crítica.

Um exemplo do daemon TaskTracker é executado em cada nó escravo no cluster Hadoop, o que significa que cada nó escravo tem um serviço que liga-lo para o processamento (TaskTracker) e o armazenamento (DataNode), que permite Hadoop para ser um sistema distribuído.

Video: Map Reduce Tutorial - 1| Hadoop Map Reduce -1 | Hadoop Training | DataFlair

Como um processo escravo, o TaskTracker recebe solicitações de processamento do JobTracker. A sua principal missão é acompanhar a execução de cargas de trabalho MapReduce acontecendo localmente no seu nó escravo e enviar atualizações de status para o JobTracker.

TaskTrackers gerenciar os recursos de processamento em cada nó escravo na forma de processamento de ranhuras - os slots definidos para tarefas mapa e reduzir as tarefas, para ser exato. O número total de mapa e reduzir ranhuras indica quantas mapa e reduzir as tarefas podem ser executadas de uma só vez no nó escravo.

Quando se trata de afinar um cluster Hadoop, definindo o número óptimo de mapa e reduzir ranhuras é crítica. O número de slots deve ser cuidadosamente configurado baseado na memória disponível, disco e recursos de CPU em cada nó escravo. A memória é o mais crítico destes três recursos a partir de uma perspectiva de desempenho. Como tal, o número total de slots de tarefa precisa ser equilibrada com a quantidade máxima de memória alocada para o tamanho da pilha Java.

Tenha em mente que cada mapa e reduzir a tarefa gera sua própria máquina virtual Java (JVM) e que a pilha representa a quantidade de memória que está alocado para cada JVM. A proporção de ranhuras mapa para reduzir ranhuras também é uma consideração importante.

Video: 019 MapReduce Daemons JobTracker and TaskTracker Explained

Por exemplo, se você tem muitos slots de mapa e não o suficiente reduzir ranhuras para suas cargas de trabalho, mapa ranhuras tende a ociosa, enquanto os seus empregos estão à espera de reduzir ranhuras para se tornar disponível.

conjuntos distintos de slots são definidos para tarefas mapa e reduzir as tarefas, porque eles usam recursos de computação de forma bastante diferente. tarefas mapa são atribuídos com base na localidade de dados, e eles dependem fortemente de disco I / O e CPU. tarefas reduzem são atribuídos com base na disponibilidade, não na localidade, e eles dependem fortemente de banda de rede, porque eles precisam para receber a saída de tarefas mapa.