Clusters de rede e hadoop

Como acontece com qualquer sistema distribuído, a rede pode fazer ou quebrar um cluster Hadoop: “ir barato” Não Uma grande quantidade de conversa ocorre entre os nós mestre e nós escravos em um cluster Hadoop que é essencial para manter o cluster em execução, assim interruptores de classe empresarial está definitivamente recomendado.

Video: BigData || Hadoop || Hadoop 2.x Cluster Architecture Part-1 by Naveen

Para cada rack no seu cluster, você precisa de dois switches top-of-rack (ToR), tanto para redundância e desempenho. Use 10GbE para interruptores ToR.

interruptores ToR são switches de rede que conectam todos os computadores em um rack juntos. Você normalmente vê-los no topo de um rack, é por isso que as pessoas dizem “top-of-rack.” Uma abordagem de rede alternativa é usar de fim-de-linha (EOR) interruptores, mas, você não vê isso muito frequentemente.

A abordagem ToR é mais simples do ponto de vista de rede para clusters de crescimento. Por exemplo, adicionar nós escravos e racks adicionais é muito mais fácil com interruptores ToR que EoR.

Quando você tem mais de três prateleiras, você precisa de pelo menos dois switches core (novamente, principalmente para a redundância, mas também para o desempenho). Estes switches core lidar com grandes quantidades de tráfego, de modo 40GbE é uma necessidade.

Video: What is a Hadoop cluster?

Se você está construindo ou ampliando um cluster para abranger várias prateleiras, contratar peritos que estão familiarizados com Hadoop, seus planos de crescimento futuro, e sua carga de trabalho em rede. Bad rede pode prejudicar severamente o desempenho, mas também pode tornar o crescimento futuro doloroso e caro.