Roteiro pig interfaces no hadoop

Video: What is Pig in Hadoop?

A linguagem de programação Pig é projetado para lidar com qualquer tipo de dados jogou o seu caminho - estruturadas, semi-estruturadas, dados não estruturados, o nome dele. programas de porco pode ser embalados em três maneiras diferentes:

Video: Hue: Starting Point for Exploration and Real Time Interaction with Hadoop

  • Roteiro: Este método é nada mais do que um arquivo contendo comandos Pig Latin, identificado pelo sufixo .pig (FlightData.pig, por exemplo). Acabar com o seu programa de porco com a extensão .pig é uma convenção, mas não é obrigatório. Os comandos são interpretados pelo compilador Pig Latin e executado na ordem determinada pelo otimizador Pig.

  • Grunhido: Grunt atua como um interpretador de comandos, onde pode interativamente entrar Pig Latin na linha de comando Grunt e ver imediatamente a resposta. Este método é útil para prototipagem durante o desenvolvimento inicial e com cenários hipotéticos.

  • Embutido: declarações Latino de porco pode ser executado dentro dos programas Java, Python, ou javascript.

scripts de porco, comandos Grunt shell Pig, e programas de porco incorporados pode ser executado no modo local ou no modo de MapReduce.

Video: Efficient processing of large and complex XML documents in Hadoop

O shell Grunt fornece um shell interativo para enviar comandos porco ou executar scripts Pig. Para iniciar o shell Grunt no modo interativo, basta apresentar o porco comando no seu shell.



Para especificar se um script ou shell Grunt é executado localmente ou no modo Hadoop apenas especificá-lo na bandeira -x para o comando porco. O seguinte é um exemplo de como você pode especificar a execução de seu script de porco em modo local

Video: Hadoop Tutorial - Hue - Hive Query editor with HiveServer2 and Sentry

pig -x milesPerCarrier.pig locais 

Veja como você executar o script de porco no modo Hadoop, que é o padrão se você não especificar o sinalizador:

pig -x milesPerCarrier.pig mapreduce

Por padrão, quando você especificar o comando de porco sem nenhum parâmetro, ele inicia o shell Grunt no modo Hadoop. Se você deseja iniciar o shell Grunt em modo local basta adicionar o flag locais -x para o comando. Aqui está um exemplo

pig -x locais

Publicações relacionadas