Big dados e as origens da mapreduce
MapReduce é cada vez mais útil para dados grandes. No início de 2000, alguns engenheiros da Google olhou para o futuro e determinou que, enquanto suas soluções atuais para aplicações como rastreamento web, frequência de consulta, e assim por diante foram adequados para a maioria dos requisitos existentes, eram inadequados para a complexidade que o previsto como o web dimensionada para mais e mais usuários.
Conteúdo
Video: Hadoop MapReduce Example | MapReduce Programming | Hadoop Tutorial For Beginners | Edureka
Esses engenheiros determinaram que se o trabalho poderia ser distribuídos em computadores de baixo custo e, em seguida, ligado à rede na forma de um “cluster,” eles poderiam resolver o problema. Distribuição por si só não era uma resposta suficiente. Esta distribuição de trabalho deve ser realizado em paralelo pelas três razões seguintes:
O processamento deve ser capaz de expandir e contrair automaticamente.
O processamento deve ser capaz de prosseguir, independentemente de falhas na rede ou os sistemas individuais.
Os desenvolvedores alavancar esta abordagem deve ser capaz de criar serviços que são fáceis de alavancar por outros desenvolvedores. Portanto, esta abordagem deve ser independente de onde os dados e cálculos ter executado.
MapReduce foi concebido como um modelo de programação genérica. Algumas das implementações iniciais fornecidos todos os requisitos essenciais de execução paralela, tolerância a falhas, balanceamento de carga e manipulação de dados. Os engenheiros responsáveis pelo projeto chamado o MapReduce iniciativa porque combina duas capacidades de linguagens de computador funcionais existentes: mapa e reduzir.
Os engenheiros do Google projetado MapReduce para resolver um problema prático específico. Por isso, foi concebido como um modelo de programação combinada com a implementação desse modelo - em essência, uma implementação de referência.
Video: Big Data Engineer immersion - Class 04 - Java Map Reduce overview
A implementação de referência foi utilizado para demonstrar a praticidade e eficácia do conceito e para ajudar a garantir que este modelo seria amplamente adotada pela indústria de computadores. Ao longo dos anos, outras implementações de MapReduce foram criados e estão disponíveis tanto como código aberto e produtos comerciais.