O paradoxo de dados grande

Video: O Paradoxo de Fermi

Você encontrará uma nuance sobre análise de dados grande. É realmente sobre dados pequenos. Enquanto isto pode parecer confuso e contra toda a premissa, pequena de dados é o produto de análise de dados grande. Este não é um conceito novo, nem é desconhecido para as pessoas que têm vindo a fazer análise de dados por qualquer período de tempo. O espaço de trabalho global é maior, mas as respostas estão em algum lugar no “pequeno”.

análise de dados tradicional começou com bancos de dados repletos de informações de clientes, informações sobre produtos, transações, dados de telemetria, e assim por diante. Mesmo assim, muitos dados estava disponível para analisar de forma eficiente. Sistemas, redes e software não teve o desempenho ou a capacidade de enfrentar a escala. Como uma indústria, as deficiências foram abordados através da criação de conjuntos de dados menores.

Estes conjuntos de dados menores ainda estavam bastante substantiva, outras deficiências foram rapidamente discovered- o mais gritante foi a incompatibilidade entre os dados eo contexto de trabalho. Se você trabalhou em contas a pagar, você tinha que olhar para uma grande quantidade de dados não relacionados a fazer o seu trabalho. Mais uma vez, a indústria respondeu criando menores, conjuntos de dados contextualmente relevantes - grande a pequeno para ainda menores.

Video: PARADOXO

Você pode reconhecer este como a migração de bancos de dados para data warehouses para data marts. Mais frequentemente, os dados para os armazéns e os marts foi escolhido em parâmetros arbitrários ou experimentais, resultando em uma grande quantidade de tentativa e erro. As empresas não estavam recebendo as perspectivas de que precisavam ou eram possíveis porque as reduções de capacidade não se baseavam em fatos computacional.

Inserir dados grandes, com todos os seus volumes, velocidades, e variedades, eo problema permanece ou talvez piora. As deficiências da infra-estrutura foram abordados e pode armazenar e processar enormes quantidades de dados adicionais, mas as novas tecnologias eram necessários especificamente para ajudar a gerenciar big data.

Apesar das aparências, isso é uma coisa maravilhosa. Hoje e no futuro, as empresas terão mais dados do que eles podem imaginar e eles terão os meios para capturar e gerenciá-lo. O que é mais necessário do que nunca é a capacidade de analisar o certo dados de uma forma bastante oportuna para tomar decisões e ações.

As empresas ainda vai encolher os conjuntos de dados em “lutar guarnição,” mas eles podem fazê-lo computacionalmente. Eles processam os dados grandes e transformá-lo em dados pequenos de modo que é mais fácil de compreender. É mais preciso e, porque ele foi derivado de um ponto de partida muito maior, é mais contextualmente relevantes.