Características de um quadro de análise de dados grande

Mesmo que novos conjuntos de ferramentas de continuar a estar disponível para ajudá-lo a gerenciar e analisar sua estrutura de dados grande de forma mais eficaz, você pode não ser capaz de conseguir o que você precisa. Além disso, uma gama de tecnologias podem apoiar a análise de dados grande e requisitos, tais como disponibilidade, escalabilidade e alto desempenho. Algumas delas incluem aparelhos grandes de dados, bancos de dados colunar, bancos de dados em memória, bancos de dados não relacionais, e motores de processamento massivamente paralelo.

Então, quais são os usuários de negócios procurando quando se trata de análise de dados grande? A resposta a essa pergunta depende do tipo de problema de negócios que estão tentando resolver. Algumas considerações importantes quando você seleciona um quadro de análise aplicativo de dados grande incluem o seguinte:

Suporte para vários tipos de dados: Muitas organizações estão incorporando, ou esperar para incorporar, todos os tipos de dados como parte de suas implementações de big data, incluindo dados estruturados, semi-estruturados e não estruturados.
Lidar com processamento em lote e / ou fluxos de dados em tempo real: orientação de ação é um produto da análise sobre os fluxos de dados em tempo real, enquanto a orientação de decisão pode ser adequadamente servido por processamento em lote. Alguns usuários exigirá ambos, à medida que evoluem para incluir diferentes formas de análise.
Utilizar o que já existe no seu ambiente: Para obter o contexto certo, pode ser importante para aproveitar os dados e algoritmos existentes no quadro grande análise de dados.
Apoiar NoSQL e outras formas mais recentes de dados acessando: Embora as organizações continuarão a usar SQL, muitos também estão olhando para novas formas de acesso a dados para apoiar os tempos de resposta mais rápidos ou vezes mais rápido para a decisão.
Superar a baixa latência: Se você vai estar lidando com velocidade de dados de alta, você vai precisar de uma estrutura que pode suportar os requisitos de velocidade e desempenho.
Fornecer armazenamento barato: Big data significa potencialmente lotes de armazenamento - dependendo da quantidade de dados que você deseja processar e / ou manter.
Integrar-se com implantações de nuvem: A nuvem pode fornecer armazenamento e calcular a capacidade sob demanda. Mais e mais empresas estão usando a nuvem como uma análise “sandbox”. Cada vez mais, a nuvem está se tornando um modelo de implantação importante integrar os sistemas existentes com implantações de nuvem em um modelo híbrido.

Enquanto todas essas características são importantes, o valor percebido e real de criação de aplicativos a partir de um quadro é o tempo mais rápido para implantação. Com todos esses recursos em mente, considere um framework de aplicações de análise de dados grande de uma empresa chamada Continuidade.

o continuidade AppFabric é uma estrutura de apoio ao desenvolvimento e implantação de aplicativos de dados grandes. O AppFabric em si é um conjunto de tecnologias especificamente concebidas para abstrair os caprichos de tecnologias de dados grandes de baixo nível. O construtor de aplicação é plug-in que permite que o desenvolvedor para construir, testar e depurar localmente e em ambiente familiar um Eclipse.

capacidades AppFabric incluem o seguinte:

suporte de fluxo para análise em tempo real e reação
Unificado API, eliminando a necessidade de escrever para as grandes infra-estruturas de dados
interfaces de consulta para resultados simples e suporte para processadores de consulta conectáveis
conjuntos de dados que representam dados Queryable e mesas acessíveis a partir do Unified API
Leitura e escrita de dados independentes de formatos de entrada ou de saída ou especificações de componentes subjacentes
processamento de eventos baseados em transações
implantação multimodal para um único nó ou a nuvem

Esta abordagem vai ganhar força para desenvolvimento de aplicativos de dados grande, principalmente por causa da infinidade de ferramentas e tecnologias necessárias para criar um ambiente de dados grande.

A falta de colaboração pode ser caro de muitas maneiras. As grandes organizações podem se beneficiar de ferramentas que impulsionam colaborações. Muitas vezes as pessoas que fazem trabalho semelhante desconhecem uns dos outros esforços conducentes para duplicar trabalho.

Outro bom exemplo de uma estrutura de aplicativo é OpenChorus. Além de rápido desenvolvimento de aplicações grandes de análise de dados, ele também suporta a colaboração e fornece muitas outras características importantes para desenvolvedores de software, como a integração de ferramentas, controle de versão e gerenciamento de configuração.

Abrir Chorus é um projeto mantido pela EMC Corporation e está disponível sob a licença Apache 2.0. EMC também produz e suporta uma versão comercial do Chorus. Ambos Abrir Refrão e Refrão têm redes parceiras vibrante, bem como um grande conjunto de contribuintes individuais e corporativos.

Abrir Chorus é uma estrutura genérica. Sua característica de liderança é a capacidade de criar um “hub” comunitária para a partilha de fontes grandes de dados, insights, técnicas de análise e visualizações. Abrir Chorus fornece o seguinte:

Repositório de ferramentas de análise, artefatos e técnicas com controle de versão completa, controle de alterações, e arquivamento
Espaços de trabalho e caixas de areia que são auto-provisionados e mantido por membros da comunidade facilmente
Visualizações, incluindo mapas de calor, séries temporais, histogramas, e assim por diante
pesquisa federada de todos e quaisquer ativos de dados, incluindo Hadoop, metadados, repositórios SQL e comentários
Colaboração por meio de recursos de rede semelhante sociais incentivando a descoberta, compartilhamento e de brainstorming
Extensibilidade para a integração de componentes e tecnologias de terceiros