A importação de dados em colmeia com sqoop

Video: Hadoop Certification - 01 Sqoop Import

Aqui, você importar toda a ordem de serviço de banco de dados diretamente do MySQL em Hive e executar uma consulta HiveQL contra o banco de dados recém-importado no Apache Hadoop. A listagem a seguir mostra como ele é feito.

Video: Hadoop Certification - 03 Sqoop Import

hivegt; criar banco de dados serviceorderdb-OKTime tomadas: 1.343 secondshivegt; usar serviceorderdb-OKTime tomadas: 0,062 segundos $ Sqoop importação jdbc --connect: mysql: // localhost / serviceorderdb - -P nome de usuário root - productinfo mesa - hive-import - hive-table serviceorderdb.productinfo senha 1Digite -m : ... 13/08/16 15:17:08 INFO hive.HiveImport: import Hive completo $ Sqoop importação --connect jdbc: mysql:. ​​// localhost / serviceorderdb - -P nome de usuário root - customercontactinfo-- mesa hive-import - hive-table serviceorderdb.customercontactinfo -m senha 1Digite: ... 13/08/16 17:21:35 INFO hive.HiveImport: import hive completo $ Sqoop importação jdbc --connect: mysql: //. localhost / serviceorderdb - -P nome de usuário root - serviceorders tabela - hive-import - mesa-hive serviceorderdb.serviceorders -m senha 1Digite: ... 13/08/16 17:26:56 INFO hive.HiveImport: hive importação completa.

Quando as operações de importação são completos, você corre o show tables comando para listar as tabelas recém-importados (veja a listagem a seguir):

Video: Ingesta de datos con Sqoop

hivegt; show de mesas-OKcustomercontactinfoproductinfoserviceordersTime tomadas: 0,074 segundos

Em seguida, execute uma consulta Hive para mostrar quais tecnologias Apache Hadoop tem ordens de serviço abertas no banco de dados:

hivegt; SELECIONE productdesc DE productinfogt; INNER JOIN serviceordersgt; ON productinfo.productnum = serviceorders.productnum -... OKSuporte HBase produtosSuporte Hive produtosSuporte Sqoop produtosSuporte Pig ProdutosTempo necessário: 28.552 segundos

Video: Exportar dados do Excel para Sql Server

Você pode confirmar os resultados. Você tem quatro ordens de serviço abertas sobre os produtos em negrito. A operação de importação Sqoop Hive funcionou, e agora a empresa de serviços pode alavancar Hive para consultar, analisar e transformar dados estruturados a sua ordem de serviço.

Além disso, a empresa agora pode combinar seus dados relacionais com outros tipos de dados (talvez não estruturados) como parte de quaisquer novas aplicações analíticas Hadoop. Muitas possibilidades já existem com o Apache Hadoop sendo parte da estratégia geral de TI!