Camada 0 da pilha de dados grande: infra-estrutura física redundante

No nível mais baixo da pilha de dados é o tamanho da infra-estrutura física. Sua empresa já pode ter um centro de dados ou investimentos feitos em infra-estruturas físicas, então você vai querer encontrar uma maneira de utilizar os ativos existentes.

implementações de Big Data tem exigências muito específicas sobre todos os elementos da arquitetura de referência, então você precisa examinar esses requisitos em base camada por camada para garantir que a sua implementação irá executar e escalar de acordo com as demandas de seu negócio.

A lista priorizada de princípios de big data deve incluir declarações sobre o seguinte:

Video: Thorium: An energy solution - THORIUM REMIX 2011

• Atuação: Como resposta que você precisa que o sistema seja? Desempenho, também chamada latência, muitas vezes é medido de ponta a ponta, com base em uma única transação ou solicitação de consulta.

• Disponibilidade: Você precisa de uma garantia de uptime de 100 por cento do serviço? Quanto tempo pode o seu negócio esperar no caso de uma interrupção de serviço ou fracasso?

• escalabilidade: Quão grande é que a sua infra-estrutura precisa ser? Quanto espaço em disco é necessário hoje e no futuro? Quanto poder de computação que você precisa? Normalmente, você precisa decidir o que você precisa e, em seguida, adicione um pouco mais escala para os desafios inesperados.

• Flexibilidade: Como rapidamente você pode adicionar mais recursos para a infra-estrutura? Como rapidamente pode a sua infra-estrutura de recuperação de falhas?

• Custo: O que você pode pagar? Porque a infra-estrutura é um conjunto de componentes, que você pode ser capaz de comprar o “melhor” trabalho em rede e decidir poupar dinheiro em armazenamento. Você precisa estabelecer requisitos para cada uma dessas áreas no contexto de um orçamento global e, em seguida, fazer concessões, se necessário.

Tão grande de dados é tudo sobre a alta velocidade, de alto volume e variedade de alta de dados, infra-estrutura física vai, literalmente, “fazer ou quebrar” a implementação. A maioria dos grandes implementações de dados precisa ser altamente disponível, de modo a redes, servidores e armazenamento físico deve ser resistente e redundante. Resiliência e redundância estão interligados.

Uma infra-estrutura, ou um sistema, é resistente a falhas ou muda quando os recursos redundantes suficientes estão no lugar, pronto para entrar em ação. A redundância garante que tal mau funcionamento não irá causar uma interrupção. Resiliência ajuda a eliminar pontos únicos de falha em sua infra-estrutura.

Em grandes centros de dados com requisitos de continuidade de negócios, a maioria da redundância é no lugar e pode ser aproveitado para criar um ambiente de dados grande. Em novas implementações, os designers têm a responsabilidade de mapear a implantação para as necessidades do negócio com base nos custos e desempenho.

Video: Outside the Box EP2: BORN READY WITH NVMe

Isto significa que a complexidade técnica e operacional é mascarado por trás de uma coleção de serviços, cada um com termos específicos de desempenho, disponibilidade, recuperação, e assim por diante. Esses termos são descritas em acordos de nível de serviço (SLAs) e geralmente são negociados entre o prestador de serviços eo cliente, com penalidades para o descumprimento.

Com efeito, isso cria um centro de dados virtual. Mesmo com esta abordagem, você ainda deve saber o que é necessário para criar e executar uma implantação de dados grande para que você possa fazer as seleções mais apropriadas a partir das ofertas de serviços disponíveis. Apesar de ter um SLA, a sua organização ainda tem a responsabilidade final para o desempenho.

redes de dados grandes redundantes física

As redes devem ser redundante e deve ter capacidade suficiente para acomodar o volume esperado e velocidade dos dados de entrada e saída, além do tráfego de rede “normal” experimentado pelo negócio. Como você começar a fazer grandes de dados é parte integrante da sua estratégia de computação, é razoável esperar volume e velocidade para aumentar.

Video: Synology Webinar - FS3017 product introduction

designers de infra-estrutura deve planejar para estes aumentos esperados e tentar criar implementações físicas que são “elástico”. Como o tráfego de rede fluxos e refluxos, o mesmo acontece com o conjunto de ativos físicos associados com a implementação. Sua infra-estrutura deve oferecer capacidades de monitoramento para que os operadores possam reagir quando são necessários mais recursos para lidar com mudanças nas cargas de trabalho.

Gerenciar hardware de dados grande: Armazenamento e servidores

Da mesma forma, o hardware (armazenamento e servidor) ativos deve ter velocidade e capacidade suficiente para lidar com todas as capacidades de dados grandes esperados. É de pouca utilidade para ter uma rede de alta velocidade com servidores lentos porque os servidores provavelmente irá se tornar um gargalo. No entanto, um conjunto muito rápido de servidores de armazenamento e computação pode superar o desempenho da rede variável. Claro, nada vai funcionar corretamente se o desempenho da rede é pobre ou não confiável.

operações de grandes infra-estrutura de dados

Outra consideração importante do projeto é o gerenciamento de operações de infra-estrutura. Os maiores níveis de desempenho e flexibilidade estará presente somente em um ambiente bem gerenciado. gerentes de centros de dados precisam ser capazes de antecipar e prevenir falhas catastróficas para que a integridade dos dados, e por extensão os processos de negócio, é mantida. As organizações de TI muitas vezes ignoram e, portanto, investir menos nesta área.