Executando fluxos de trabalho oozie em hadoop

Video: Analytos Tutorial - Hadoop Essentials - Oozie Part 1

Antes de executar seus fluxos de trabalho Oozie, todos os seus componentes precisam existir dentro de uma estrutura de diretório especificado. Especificamente, o próprio fluxo de trabalho deve ter seu próprio diretório, dedicado, onde workflow.xml está no diretório raiz, e existem quaisquer bibliotecas de código no subdiretório lib. O diretório de fluxo de trabalho e todos os seus arquivos devem existir no HDFS para que possa ser executado.

Video: Hadoop Tutorial - Hue: Schedule Hive queries with Oozie coordinators

Se você estará usando a interface de linha de comando Oozie para trabalhar com vários trabalhos, certifique-se de definir a variável de ambiente OOZIE_URL. (Isso é facilmente feito a partir de uma linha de comando em um terminal Linux.) Você pode salvar um monte de digitação, porque URL do servidor Oozie vai agora ser automaticamente incluído com seus pedidos.

Aqui está um exemplo de comando pode-se usar para definir a variável de ambiente OOZIE_URL a partir da linha de comando:

Video: Certifications - Hadoop - Cloudera Certified Professional Data Engineer

exportação OOZIE_URL ="http: // localhost: 8080 / Oozie"

Para executar uma carga de trabalho Oozie a partir da interface de linha de comando Oozie, emita um comando como o seguinte, assegurando que o arquivo job.properties é localmente acessível - ou seja, a conta que você está usando pode vê-lo, o que significa que tem que ser no mesmo sistema onde você está correndo Oozie comandos:

$ Job Oozie -config sampleWorkload / job.properties -run

Depois de enviar um trabalho, a carga de trabalho é armazenado no banco de dados objeto Oozie.

Aquando da apresentação, Oozie retorna um identificador para que você possa monitorar e administrar o fluxo de trabalho - trabalho: 0000001-00000001234567-Oozie-W, por exemplo.

Para verificar o status desse trabalho, você executar o comando

trabalho Oozie -info 0.000.001-00000001234567-Oozie-W