A origem e design do hadoop

Video: What is Hadoop?

Então, o que exatamente é essa coisa com o nome engraçado - Hadoop? Na sua essência, o Hadoop é um framework para armazenar dados em grandes aglomerados de mercadoria hardware - hardware computador todos os dias que é acessível e facilmente disponível - e aplicativos em execução contra esses dados. UMA grupo é um grupo de computadores interconectados (conhecido como nós) Que podem trabalhar juntos no mesmo problema.

O uso de redes de recursos de computação acessíveis para adquirir o conhecimento do negócio é a proposta de valor fundamental do Hadoop.

Quanto a esse nome, Hadoop, não olhe para qualquer grande importância lá- é simplesmente o nome que o filho de Doug Cutting deu a seu elefante de pelúcia. (. Doug Cutting, é claro, o co-criador do Hadoop) O nome é único e fácil de lembrar - características que a tornaram uma ótima escolha.

Video: Introduction To Mapreduce | Hadoop Tutorial For Beginners

Hadoop consiste em dois componentes principais: um quadro processamento distribuído chamado MapReduce (que agora é suportado por um componente chamado FIO) e um sistema de arquivos distribuídos conhecido como o Hadoop Distributed File System, ou HDFS.

Um aplicativo que está sendo executado no Hadoop recebe o seu trabalho dividido entre os nós (máquinas) no cluster, e HDFS armazena os dados que serão processados. Um cluster Hadoop pode abranger milhares de máquinas, onde HDFS armazena dados e trabalhos de MapReduce fazer seu processamento perto os dados, que mantém I / O baixo custo. MapReduce é extremamente flexível e permite o desenvolvimento de uma ampla variedade de aplicações.

Video: Hadoop Tutorial For Beginners | What Is Hadoop | Hadoop Tutorial | Hadoop Training | Edureka

Como você deve ter imaginado, um cluster Hadoop é uma forma de cluster de computação, um tipo de cluster que é usado principalmente para fins computacionais. Em um cluster de computação, muitos computadores (nós de computação) Pode compartilhar cargas de trabalho computacional e tirar proveito de uma grande largura de banda agregada em todo o cluster.

clusters Hadoop consistem tipicamente de alguns nós mestre, os quais comandam os sistemas de armazenamento e processamento em Hadoop, e muitos nós escravos, que armazenar todos os dados do cluster e é também onde os dados são processados.