Como se oozie apache criada em hadoop

Apache Oozie está incluído em todas as grandes distribuição Hadoop, incluindo Apache Bigtop. Em seu cluster Hadoop, instalar o servidor Oozie em um nó de extremidade, onde você também executar outros aplicativos do cliente em relação aos dados do cluster, como mostrado.

nós de borda destinam-se a ser uma porta de entrada para a rede do lado de fora para o cluster Hadoop. Isso os torna ideais para as tecnologias de transferência de dados (Flume, por exemplo), mas também aplicativos cliente e outras infra-estruturas de aplicação como Oozie. não Oozie não precisa de um servidor dedicado, e podem facilmente coexistir com outros serviços que são ideais para nós de borda, como porco e Hive.

Depois Oozie é implantado, você está pronto para iniciar o servidor Oozie. infra-estrutura da Oozie está instalado no diretório $ OOZIE_HOME. A partir daí, executar o comando oozie-start.sh para iniciar o servidor. (Como você poderia esperar, parar o servidor envolve a digitação oozie-stop.sh.) Você pode testar o status da sua instância Oozie executando o comando

-status Oozie administrador

Depois de ter o servidor Oozie implementado e iniciado, você pode catalogar e executar o seu várias workflow, coordenador, ou empregos pacote. Ao trabalhar com os seus empregos, Oozie armazena as definições do catálogo - os dados que descrevem todos os objetos Oozie (workflow, coordenador, e empregos de pacote) - bem como seus estados em um banco de dados dedicado.

Por padrão, Oozie está configurado para usar o banco de dados Derby integrado, mas você pode usar MySQL, Oracle ou PostgreSQL, se você precisa.

Você tem quatro opções para interagir com o servidor Oozie:



  • A API Java: Esta opção é útil em situações onde você tem seu próprio código de programação em aplicações Java, e você precisa controlar a execução de seus fluxos de trabalho Oozie, coordenadores, ou pacotes dentro de sua aplicação.

  • A API REST: Mais uma vez, esta opção funciona bem em casos em que você deseja usar seu próprio código de programação como a base de seus fluxos de trabalho Oozie, coordenadores, ou pacotes, ou se você quer construir sua própria interface ou estender uma existente para administrar o servidor Oozie .

  • Command Line Interface (CLI): É a interface de linha de comando tradicional Linux para Oozie.

  • o Oozie Console Web: Ok, talvez você não pode fazer muito interagindo aqui, mas o Web Console Oozie dá-lhe uma (somente leitura) vista do estado do servidor Oozie, o que é útil para monitorar seus trabalhos Oozie.

Hue, uma interface de administração Hadoop, fornece outra ferramenta para trabalhar com Oozie. workflows Oozie, coordenadores e molhos são todos definidos usando XML, que pode ser tedioso para editar, especialmente para situações complexas. Hue oferece uma ferramenta de designer de GUI para construir graficamente fluxos de trabalho e outros objetos Oozie.

Debaixo das cobertas, Oozie inclui um servidor web Tomcat incorporado, que lida com a sua entrada e saída.


Publicações relacionadas