Roteiro pig interfaces no hadoop
Video: What is Pig in Hadoop?
Conteúdo
A linguagem de programação Pig é projetado para lidar com qualquer tipo de dados jogou o seu caminho - estruturadas, semi-estruturadas, dados não estruturados, o nome dele. programas de porco pode ser embalados em três maneiras diferentes:
Video: Hue: Starting Point for Exploration and Real Time Interaction with Hadoop
Roteiro: Este método é nada mais do que um arquivo contendo comandos Pig Latin, identificado pelo sufixo .pig (FlightData.pig, por exemplo). Acabar com o seu programa de porco com a extensão .pig é uma convenção, mas não é obrigatório. Os comandos são interpretados pelo compilador Pig Latin e executado na ordem determinada pelo otimizador Pig.
Grunhido: Grunt atua como um interpretador de comandos, onde pode interativamente entrar Pig Latin na linha de comando Grunt e ver imediatamente a resposta. Este método é útil para prototipagem durante o desenvolvimento inicial e com cenários hipotéticos.
Embutido: declarações Latino de porco pode ser executado dentro dos programas Java, Python, ou javascript.
scripts de porco, comandos Grunt shell Pig, e programas de porco incorporados pode ser executado no modo local ou no modo de MapReduce.
Video: Efficient processing of large and complex XML documents in Hadoop
O shell Grunt fornece um shell interativo para enviar comandos porco ou executar scripts Pig. Para iniciar o shell Grunt no modo interativo, basta apresentar o porco comando no seu shell.
Para especificar se um script ou shell Grunt é executado localmente ou no modo Hadoop apenas especificá-lo na bandeira -x para o comando porco. O seguinte é um exemplo de como você pode especificar a execução de seu script de porco em modo local
Video: Hadoop Tutorial - Hue - Hive Query editor with HiveServer2 and Sentry
pig -x milesPerCarrier.pig locais
Veja como você executar o script de porco no modo Hadoop, que é o padrão se você não especificar o sinalizador:
pig -x milesPerCarrier.pig mapreduce
Por padrão, quando você especificar o comando de porco sem nenhum parâmetro, ele inicia o shell Grunt no modo Hadoop. Se você deseja iniciar o shell Grunt em modo local basta adicionar o flag locais -x para o comando. Aqui está um exemplo
pig -x locais