Camada 1 da pilha de dados grande: infraestrutura de segurança

Segurança e privacidade requisitos, camada 1 da pilha de dados grande, são semelhantes aos requisitos para ambientes de dados convencionais. Os requisitos de segurança têm de ser estreitamente alinhados com as necessidades específicas de negócios. Alguns desafios surgem quando big data torna-se parte da estratégia:

• Data de acesso: O acesso do usuário aos dados grandes crus ou computados tem aproximadamente o mesmo nível de requisitos técnicos como não-grandes implementações de dados. Os dados devem estar disponíveis apenas para aqueles que têm uma necessidade comercial legítima para examinar ou interagir com ele. A maioria das plataformas de armazenamento de dados centrais têm regimes de segurança rigorosos e são aumentados com uma capacidade de identidade federada, proporcionando acesso adequado através das muitas camadas de arquitetura.

• Acesso aplicação: acesso ao aplicativo para dados também é relativamente simples do ponto de vista técnico. A maioria das interfaces de programação de aplicativos (APIs) oferecem proteção contra o uso ou acesso não autorizado. Esse nível de proteção é provavelmente adequado para a maioria das grandes implementações de dados.

  Video: Estrutura de Dados Descomplicada

• Criptografia de dados: A encriptação de dados é o aspecto mais desafiador de segurança em um ambiente de dados grande. Em ambientes tradicionais, criptografar e descriptografar dados realmente salienta recursos dos sistemas. Este problema é agravado com big data. A abordagem mais simples é dar mais e mais rápido capacidade computacional. Uma abordagem mais temperado é identificar os elementos de dados que exigem esse nível de segurança e criptografar apenas os itens necessários.

• detecção ameaça: A inclusão de dispositivos móveis e redes sociais aumenta exponencialmente a quantidade de dados e as oportunidades para as ameaças à segurança. Portanto, é importante que as organizações ter uma abordagem multiperimeter à segurança.

  Video: Estrutura de Dados e Algoritmos com Java: Pilhas: Exer 05 Desafio do Palíndromo

Então, infra-estrutura física permite tudo e infra-estrutura de segurança protege todos os elementos em seu ambiente de dados grande. O próximo nível na pilha são as interfaces que dão acesso bidirecional a todos os componentes da pilha - a partir de aplicativos corporativos para feeds de dados a partir da Internet.

Uma parte importante do projeto dessas interfaces é a criação de uma estrutura consistente que é compartilhável dentro e talvez fora da empresa, bem como com parceiros de tecnologia e parceiros de negócios.

Durante décadas, os programadores têm usado APIs para fornecer acesso de e para implementações de software. fornecedores de ferramentas e tecnologia vai para grandes comprimentos para garantir que ele é uma tarefa relativamente simples para criar novas aplicações usando seus produtos. Embora muito útil, às vezes é necessário para profissionais de TI para criar personalizado ou APIs proprietárias exclusiva para a empresa.

Talvez seja necessário fazer isso para a vantagem competitiva, uma necessidade original para a sua organização, ou alguma outra demanda de negócios, e não é uma tarefa simples. APIs precisam ser bem documentados e mantidos para preservar o valor para o negócio. Por esta razão, algumas empresas optam por usar kits de ferramentas de API para obter um jump-start sobre esta atividade importante.

toolkits API tem um par de vantagens sobre APIs desenvolvidos internamente. A primeira é que os kits de ferramentas de API são produtos que são criados, gerenciados e mantidos por um terceiro independente. Em segundo lugar, eles são projetados para resolver um requisito técnico específico.

desafios de big data exigem uma abordagem ligeiramente diferente para o desenvolvimento API ou adoção. Porque grande parte dos dados é desestruturado e é gerado fora do controle do seu negócio, uma nova técnica, chamada de processamento de linguagem natural (NLP), está a emergir como o método preferido para fazer a interface entre grandes dados e seus programas de aplicação.

NLP permite formular consultas com sintaxe da linguagem natural em vez de uma linguagem de consulta formal, como SQL. Para os usuários de dados mais grandes, será muito mais fácil pedir “Lista de todos os consumidores do sexo masculino casadas entre 30 e 40 anos de idade que residem no sudeste dos Estados Unidos e são fãs de NASCAR” do que escrever uma consulta SQL 30-line para a resposta .

Porque encontro a maioria dos dados e movimento tem características muito semelhantes, você pode projetar um conjunto de serviços para coletar, limpar, transformar, normalizar e armazenar itens de dados grandes no sistema de armazenamento de sua escolha.

Para criar tanta flexibilidade quanto necessário, a fábrica poderia ser conduzido com descrições das interfaces escritas em Extensible Markup Language (XML). Este nível de abstração permite interfaces específicas a ser criado facilmente e rapidamente sem a necessidade de criar serviços específicos para cada fonte de dados.

Video: Explicando Estrutura de Dados - Pilha

Na prática, você pode criar uma descrição do SAP ou Oracle Application interfaces usando algo como XML. Cada interface que usam o mesmo software subjacente para migrar dados entre o ambiente de dados grande e o ambiente do aplicativo de produção independente das especificidades de SAP ou Oracle. Se você precisa coletar dados de sites sociais na internet, a prática seria idêntico.

Descrever as interfaces para os locais em XML, e em seguida, contratar os serviços para mover os dados e para trás. Tipicamente, estas interfaces são documentadas para utilização por técnicos internos e externos.