A arquitetura porco em hadoop
Video: Como fazer um nó de porco
“Simples” muitas vezes significa “elegante” quando se trata de esses desenhos de arquitectura para que nova mansão do Vale do Silício que você tem planejado para quando o dinheiro começa a rolar após a implementação Hadoop. O mesmo princípio aplica-se a arquitetura de software. Pig é composta de dois (conte-os, dois) componentes:
A própria linguagem: Como prova de que os programadores têm um senso de humor, a linguagem de programação para Pig é conhecido como Pig Latin, uma linguagem de alto nível que permite escrever programas de processamento e análise de dados.
O compilador Pig Latin: O compilador Pig Latin converte o código Pig Latin em código executável. O código executável é quer sob a forma de trabalhos MapReduce ou pode gerar um processo onde um exemplo Hadoop virtual é criado para executar o código de porco em um único nó.
Video: TROTE DA FACUL, BRONCA E PORCO NA COLEIRA
A sequência de programas permite que os programas MapReduce porco para fazer o processamento e análise de dados em paralelo, aproveitando Hadoop MapReduce e HDFS. Executar o trabalho Pig na instância Hadoop virtual é uma estratégia útil para testar seus scripts Pig.
A figura mostra como porco relaciona-se com o ecossistema Hadoop.
programas de porco pode ser executado em v1 MapReduce ou MapReduce v2, sem qualquer alteração de código, independentemente de qual modo o cluster está em execução. No entanto, os scripts de porco também pode executar usando a API Tez vez. Apache Tez fornece uma estrutura de execução mais eficiente do que MapReduce. FIO permite diferentes MapReduce (como Tez) frameworks de aplicativos para rodar em Hadoop. Hive também pode executar contra o quadro Tez.