Pig hadoop e latino de porco para big data
Video: Apache Pig Tutorial 1 | Understanding Pig Latin | Pig Latin Explained | Hadoop Tutorial
Conteúdo
O poder ea flexibilidade do Hadoop para dados grandes são imediatamente visíveis para os desenvolvedores de software principalmente porque o ecossistema Hadoop foi construído pelos desenvolvedores, para desenvolvedores. No entanto, nem todo mundo é um desenvolvedor de software. Porco foi projetado para fazer Hadoop mais acessível e utilizável por nondevelopers.
Pig é um ambiente interativo, ou baseada em script, a execução apoiando Pig Latin, uma linguagem usada para expressar fluxos de dados. A língua do Pê suporta o carregamento e o processamento de dados de entrada com uma série de operadores que transformam os dados de entrada e produzem o resultado desejado.
O ambiente de execução Pig tem dois modos:
Video: Hadoop Tutorials : Apache Pig Chapter 2 Latin Statement
Modo local: Todos os scripts são executados em uma única máquina. Hadoop MapReduce e HDFS não são necessários.
Hadoop: Também chamado de modo MapReduce, todos os scripts são executados em um determinado cluster Hadoop.
Video: Hadoop Pig Tutorial For Beginners | Hadoop Pig Training
De acordo com as tampas, porco cria um conjunto de mapa e reduzir empregos. O usuário é absolvido das preocupações de escrever código, compilação, embalagem, submetendo, e recuperar os resultados. Em muitos aspectos, Pig é análogo ao SQL no mundo RDBMS.
A linguagem Pig Latin fornece uma forma abstrata para obter respostas de big data, concentrando-se nos dados e não a estrutura de um programa de software personalizado. Pig faz prototipagem muito simples. Por exemplo, você pode executar um script Pig em uma pequena representação do seu ambiente de dados grande para garantir que você está obtendo os resultados desejados antes de se comprometer a processar todos os dados.
programas de porco pode ser executado de três maneiras diferentes, todos eles compatíveis com o modo local e Hadoop:
Video: Introduction to Pig | Hadoop Pig Tutorial | Edureka
Roteiro: Simplesmente um arquivo contendo comandos Pig Latin, identificado pelo .porco sufixo (por exemplo, file.pig ou myscript.pig). Os comandos são interpretados por porco e executada em ordem sequencial.
Grunhido: Grunt é um interpretador de comandos. Você pode digitar Pig Latin na linha de comando grunhido e Grunt irá executar o comando em seu nome. Isto é muito útil para prototipagem e “what if” cenários.
Embutido: programas de porco pode ser executado como parte de um programa Java.
Pig Latin tem uma sintaxe muito rico. Ele suporta operadores para as seguintes operações:
Carregando e armazenamento de dados
streaming de dados
Filtrando dados
Agrupamento e juntando dados
classificação de dados
A combinação de dados e de divisão
Pig Latin também suporta uma grande variedade de tipos, expressões, funções, operadores de diagnóstico, macros e comandos do sistema de arquivos.
Para obter mais exemplos, visite o site Pig dentro Apache.com.