Programação e oozie coordenar os fluxos de trabalho em hadoop

Video: Hadoop Streaming in Hue/Oozie, querying results in Hive

Depois de criar um conjunto de fluxos de trabalho, você pode usar uma série de empregos coordenador Oozie para agendar quando são executados. Você tem duas opções de agendamento para execução: um tempo específico e da disponibilidade de dados em conjunto com um certo tempo.

Video: Apache Oozie - Execute mapreduce action

programação baseada no tempo para trabalhos coordenador Oozie

empregos coordenador Oozie pode ser programado para executar em um determinado momento, mas depois eles começaram, eles podem então ser configurado para ser executado em intervalos especificados. O exemplo a seguir mostra um trabalho do coordenador que começa a funcionar em um horário de início e data especificadas:

Video: Mohammad Islam Hadoop Summit 2011 Oozie: Scheduling Workflows on the Grid

...$ {WorkflowAppPath}

programação baseada em disponibilidade de tempo e dados para trabalhos coordenador Oozie

empregos coordenador Oozie também pode ser programado para executar em um determinado momento se os arquivos de dados especificados ou diretórios estão disponíveis. A listagem a seguir mostra um exemplo de um coordenador que começa a funcionar em um horário de início e data especificadas, é executado uma vez por dia, se o conjunto de dados identificado por triggerDatasetDir existe, e vai até o fim do tempo especificado:

...$ {TriggerDatasetDir}$ {StartTime}$ {WorkflowAppPath}

Executar trabalhos coordenador Oozie

Semelhante aos trabalhos de fluxo de trabalho Oozie, empregos coordenador exigem um arquivo job.properties eo arquivo coordinator.xml precisa ser carregado no HDFS. Para executar uma tarefa de coordenador Oozie a partir da interface de linha de comando Oozie, emitir um comando como o seguinte, assegurando que o arquivo job.properties é localmente acessível:

$ Job Oozie -config sampleCoordinator / job.properties -run

Depois de submeter o trabalho, o coordenador é armazenado no banco de dados objeto Oozie. Aquando da apresentação, Oozie retorna um identificador para que você possa monitorar e administrar o seu coordenador - trabalho: 0.000.001-00000001234567-Oozie-C.

Para verificar o status desse trabalho, execute o comando

Video: 18 Hadoop Ecosystem Major Components

trabalho Oozie -info 0.000.001-00000001234567-Oozie-C