Coloque seus dados grande conjunto

Video: MC Jhon Jhon da Sumaré Part. Bim e Roga - O Sequestro ( CLIPE OFICIAL ) TOM PRODUÇÕES 2013

Como você vai saber como colocar todos os seus dados juntos? Com um projeto de dados grande, o que você quer fazer com seus dados estruturados e não estruturados indica quais você pode escolher um pedaço de tecnologia em detrimento de outro um. Ele também determina a necessidade de entender as estruturas de dados de entrada para colocar esses dados no lugar certo.

Gerenciar diferentes tipos de dados para big data

Você vai precisar de considerar algumas das características dos dados grandes e os tipos de sistemas de gerenciamento de dados que você pode querer usar para abordar cada um.

Video: KLB - Clip Ela não está aqui

Integrar os tipos de dados em um ambiente de dados grande

Outro aspecto importante do big data é que muitas vezes você não precisa possuir todos os dados que você irá usar. Muitos exemplos fazer o ponto. Você pode estar se aproveitando de dados de mídia social, os dados provenientes de terceiros estatísticas da indústria, ou mesmo dados provenientes de satélites. Basta pensar sobre a mídia social e você vai entender.

Muitas vezes, torna-se necessário integrar diferentes fontes. Estes dados podem ser provenientes de todos os sistemas internos, tanto de fontes internas e externas, ou a partir de fontes completamente externas. Grande parte dessa dados podem ter sido silos antes.

Os dados não precisam ser próximos a você em tempo real. Você só pode ter um monte de ele e é díspar na natureza. Este pode ainda ser considerada como um problema de dados grande. Claro, você também pode se deparar com um cenário em que você está vendo grandes volumes de dados, em altas velocidades, e é díspar na natureza.

O ponto é que você não vai obter o valor do negócio se você lidar com uma variedade de fontes de dados como um conjunto de silos desconexos de informação.

Componentes que você precisa incluem conectores e metadados.

Video: Voz da Verdade 30 Anos - Pra Que

conectores

Você quer ter alguns conectores que permitem extrair dados de várias fontes de dados grandes. Talvez você queira um conector Twitter ou um Facebook. Talvez você precisa integrar de seu data warehouse com uma fonte de dados grande que está fora de suas instalações para que você possa analisar essas duas fontes de dados em conjunto.

metadados

Um componente crítico para integrar todos esses dados são os metadados. metadados é as definições, mapeamentos e outras características usadas para descrever como encontrar, acessar e usar dados de uma empresa (e software) componentes. Um exemplo de metadados são dados sobre um número de conta. Isto pode incluir o número, descrição, tipo de dados, nome, endereço, número de telefone e nível de privacidade.

Os metadados podem ser usados ​​para ajudá-lo a organizar seus armazenamentos de dados e lidar com fontes novas e mudança de dados. Embora a idéia de metadados não é novo, ele está mudando e evoluindo no contexto de big data. No mundo metadados tradicional, é importante ter um catálogo que fornece uma visão única de todas as fontes de dados.

Mas este catálogo terá que ser diferente quando você não controla todas essas fontes de dados. Você pode precisar de uma ferramenta analítica que o ajudará a entender os metadados subjacente.