Layer 3 da pilha de dados grande: a organização de serviços e ferramentas de dados
Organização de serviços de dados e ferramentas
Conteúdo
Video: Firebase Overview - Google I/O 2016
Organizar serviços de dados são, na realidade, um ecossistema de ferramentas e tecnologias que podem ser usadas para recolher e reunir dados em preparação para posterior processamento. Como tal, as ferramentas precisam oferecer integração, tradução, normalização, e escala. Tecnologias em esta camada incluem o seguinte:
Um sistema de arquivos distribuídos: Necessária para acomodar a decomposição de fluxos de dados e para fornecer uma capacidade de escala e de armazenamento
Video: Aula de Estrutura de Dados
serviços de serialização: Necessário para armazenamento de dados persistente e chamadas de procedimento remoto em vários idiomas (RPC)
serviços de coordenação: Necessária para a construção de aplicações distribuídas (bloqueio e assim por diante)
Extração, transformação e carregamento (ETL): Necessárias para o carregamento e de conversão de dados estruturados e não estruturados em Hadoop
serviços de fluxo de trabalho: Necessário para programar empregos e proporcionando uma estrutura para a sincronização de elementos de processo através de camadas