O que é engenharia de dados?

Video: Engenharia de Dados com Hadoop

E se Engenharia é a prática de utilizar a ciência e tecnologia para projetar e construir sistemas que resolvem problemas, então você pode pensar engenharia de dados como o domínio de engenharia que é dedicado a superar gargalos de processamento de dados e problemas de manipulação de dados para aplicações que utilizam dados grandes.

engenheiros de dados usar suas habilidades em ciência da computação e engenharia de software para projetar sistemas para e resolver problemas com, manusear e manipular grandes conjuntos de dados. engenheiros de dados têm experiência em trabalhar com e concepção de estruturas de processamento em tempo real e maciçamente processamento paralelo plataformas (MPP), assim como sistemas de gerenciamento de banco de dados relacionais.

Eles geralmente código em Java, C ++ e Python. Eles sabem como implantar Hadoop MapReduce ou para lidar com, processar e refinar grandes dados em conjuntos de dados de tamanho mais gerenciável. Basta colocar, no que diz respeito à ciência dados, a finalidade da engenharia de dados é a de engenheiro de soluções de dados grandes através da construção coerente, modular e plataformas de processamento de dados escalável a partir do qual os cientistas de dados podem posteriormente derivam insights.

A maioria dos sistemas de engenharia são sistemas construídos - sistemas que são construídos ou fabricados no mundo físico. engenharia de dados é diferente, no entanto. Trata-se de concepção, construção e implementação de soluções de software para problemas no mundo dos dados - um mundo que pode parecer bastante abstrato quando comparado com a realidade física da ponte Golden Gate ou a represa de Aswan.

Usando habilidades de engenharia de dados, você pode fazer coisas como

Video: Modelagem de Dados (Engenharia e Administração) - aula 1/10 novo

• 
  
  
  

  Construir Software em larga escala como serviço (SaaS).

• Criar e personalizar aplicativos Hadoop e MapReduce.

• Projetar e construir bases de dados relacionais e altamente arquiteturas distribuídas em escala para o processamento de dados grandes.

  Video: Modelagem de Dados (Engenharia e Administração) - aula 3/10

• Extrair, transformar, e dados (ETL) de carga a partir de um banco de dados para outro.

  Video: Análise de Dados com Suporte da Engenharia do Conhecimento

engenheiros de dados precisa de habilidades sólidas em ciência da computação, design de banco de dados e engenharia de software para ser capaz de realizar esse tipo de trabalho.

Software as a Service (SaaS) é um termo que descreve serviços de software hospedados na nuvem que são disponibilizados para os usuários através da Internet.