Configurando workflows oozie

Video: oozie workflow for Hive queries using Hue dashboard

Como um motor de workflow, Oozie permite que você execute um conjunto de aplicações Hadoop em uma sequência especificada conhecido como fluxo de trabalho. Você pode configurar fluxos de trabalho Oozie em uma de três maneiras, dependendo de suas circunstâncias particulares. Você pode usar

Video: OOZie Workflow Engine (Hadoop/BigData Workflow Engine) : What is OOZie?

• O arquivo config-default.xml: Define os parâmetros que não mudam para o fluxo de trabalho.

  Video: Developing Oozie workflow using Pig - 03 Develop workflow.xml

• o arquivo job.properties: Define os parâmetros que são comuns para uma implementação particular do fluxo de trabalho. Definições aqui anulam aquelas feitas no arquivo config-default.xml.

• o parâmetros de linha de comando: Define parâmetros que são específicos para a invocação do fluxo de trabalho. Definições aqui anulam aquelas feitas no arquivo job.properties eo arquivo config-default.xml.

  Video: What is Oozie in Hadoop

Os detalhes de configuração será diferente, dependendo da ação que eles estão associados. Por exemplo, como você pode ver na ação MapReduce (mapa de ação) no seguinte perfil, você tem muito mais coisas para configurar lá:

... @@ 1 serverName: 8021serverName: 8020 @@ 2 @@ 3 jobConfig.xml...mapreduce.map.classdummies.oozie.FlightMilesMapper

mapreduce.reduce.classdummies.oozie.FlightMilesReducer mapred.mapoutput.key.classorg.apache.hadoop.io.Textmapred.mapoutput.value.classorg.apache.hadoop.io.IntWritable
mapred.output.key.classorg.apache.hadoop.io.Textmapred.output.value.classorg.apache.hadoop.io.IntWritablemapred.input.dir‘/ Usr / Dirk / flightdata’mapred.output.dir‘/ Usr / Dirk / flightmiles’......

Ao contrário de um sistema de arquivos (fs) ação como a mostrada aqui:

......