Modernização do data warehouse com hadoop
Os armazéns de dados estão agora sob stress, tentando lidar com o aumento das exigências sobre seus recursos finitos. Hadoop pode proporcionar alívio significativo nesta situação armazém de dados.
Conteúdo
Video: Data Warehousing in Hadoop
O rápido aumento na quantidade de dados gerados no mundo tem também armazéns de dados afetados porque os volumes de dados que gerem estão aumentando - em parte porque mais estruturada dados, o tipo de dados que são rigidez e encaixados em linhas e colunas - é gerado, mas também porque muitas vezes você tem que lidar com os requisitos regulamentares destinadas a manter queryable acesso a dados históricos.
Além disso, a capacidade de processamento em armazéns de dados é frequentemente usado para executar transformações de dados relacionais, uma vez que ambos os entra no próprio armazém ou é carregado para uma Data Mart criança (Um subconjunto separado do armazenamento de dados) para uma aplicação de análise específica.
Além disso, a necessidade está aumentando para os analistas de emissão de novas consultas com os dados estruturados armazenados em armazéns, e essas consultas ad hoc, muitas vezes pode usar recursos significativos de processamento de dados. Às vezes, um relatório de uma só vez pode ser suficiente, e às vezes uma análise exploratória é necessário encontrar perguntas que não tenham sido ainda que pediram pode gerar um valor significativo de negócios.
A linha inferior é que os data warehouses são muitas vezes sendo usado para fins além de seu design original.
A figura mostra, usando arquitetura de alto nível, como Hadoop pode viver ao lado de armazéns de dados e cumprir alguns dos propósitos que não são projetados para.
Hadoop é um armazém ajudante, não uma substituição armazém. Hadoop pode modernizar um ecossistema de armazenamento de dados em quatro maneiras-aqui eles são, em resumo:
Fornecer uma zona de aterragem para todos os dados.
Persistir os dados para fornecer um arquivo queryable dos dados frios.
Video: Modern Cloud Data Warehouse-as-a-Service vs. Hadoop For Diverse Data Analytics
em larga escala de eficiência de processamento em lote alavancagem da Hadoop para pré-processar e transformar os dados para o armazém.
Ativar um ambiente para ad hoc descoberta de dados.