Ibm grande sql e hadoop

Video: Big SQL 3.0: A Leap Forward for SQL on Hadoop

IBM tem uma longa história de trabalho com SQL e tecnologia de banco de dados. De acordo com esta história, a solução da IBM para SQL em Hadoop aproveita componentes de suas tecnologias de banco de dados relacionais que são portado para rodar em Hadoop.

Video: Hadoop Developer Day Part 3: Intro to Big SQL 1.0 for BigInsights

Se você está em todos familiarizados com nomenclatura de produtos da IBM para seus produtos e características de Big Data, você pode facilmente adivinhar o que eles nomearam seu SQL na solução Hadoop: Big SQL. O objetivo do Big SQL é fornecer uma interface SQL em Hadoop que dá aos usuários o máximo possível do que eles estão acostumados com as interfaces SQL para bancos de dados relacionais.

Isto significa amplo suporte a sintaxe de consulta, desempenho rápido que não requer usuários ter de macaco com suas consultas, e a capacidade de controlar a segurança dos dados.

A figura mostra uma implantação parcial de BigInsights, distribuição Hadoop da IBM executando grande SQL.

Video: Spark vs IBM Big SQL Performance

Aqui, você pode ver um subconjunto dos nós mestre e nós de dados por trás do firewall BigInsights. Um dos nós mestre está executando o servidor Big SQL, que inclui o compilador SQL da IBM e otimizador. Também incluído neste nó mestre é um catálogo, onde os metadados e estatísticas sobre todos os dados catalogados em HDFS é armazenada para uso pelo compilador / otimizador.

Subseções de consultas são enviadas para os nós de dados aplicáveis ​​onde os dados solicitados estão armazenados, e há o Big SQL Runtime (que é SQL runtime da IBM) executa a carga de trabalho. Ao invés de mapeador de corrida e processos redutor e persistir arquivos com conjuntos de resultados intermediários, Big SQL usa execução contínua daemons que passam mensagens entre si.

É importante notar que os dados que estão sendo consultados é armazenada e gerida por Hadoop. Big SQL suporta formatos de arquivos Hadoop padrão - por exemplo, RCFile e Parquet.

Big SQL fornece a mesma amplo suporte SQL como os produtos de banco de dados relacional IBM - por exemplo, ANSI SQL-2011, e compatibilidade para SQL Linguagem Procedural da IBM (SQL / PL). (No momento da escrita, a IBM estava trabalhando para fornecer suporte para dialeto SQL da Oracle e sua linguagem procedural PL / SQL).

Video: Big Data - An Introduction to Hive and HQL

Junto com o motor padrão SQL IBM vêm uma série de outros recursos, principalmente da IBM row- e segurança baseada em coluna (também conhecida como Fine-Grained Access Control, ou FGAC), onde somente usuários específicos podem ser autorizados a ver certos conjuntos de linhas de dados ou colunas.

Big SQL vem com o cliente padrão IBM Data Server, que inclui um pacote de driver. aplicações de banco de dados tradicionais podem se conectar ao cluster BigInsights Hadoop e segura troca de dados criptografados em SSL.