Serviços de middleware: movimentação de dados e carregamento de dados

Video: Aula 1 - Sistemas Distribuídos - Conceitos Básicos

Na maioria das situações, os dois serviços de middleware - selecção e extração, e garantia de qualidade - têm lugar na mesma plataforma (Sistema) em que a fonte de dados reside. Se o seu data warehouse será hospedado em uma plataforma diferente do que a fonte de dados, porém, você tem que usar um serviço de movimentação de dados para efetuar a transferência do sistema-a-sistema dos dados.

Você provavelmente pode usar um serviço relativamente simples (tratado por um programa de transferência de arquivos simples, por exemplo). O serviço de movimentação, se você precisar dele neste momento, simplesmente move os dados QA`d no ambiente em que você pretende fazer transformações adicionais.

Se você está fazendo a sua transformação e processamento QA em uma plataforma que é diferente da plataforma na qual você executar o seu armazém de dados de produção (em um servidor de desenvolvimento, por exemplo, em vez de no servidor operacional), você deve executar mais uma data- serviço de movimentação para obter os dados para o local onde você deseja que ele, eventualmente, residir. Este processo geralmente envolve apenas uma transferência de arquivo relativamente simples.

O serviço de carregamento de dados carrega o extraído, QA`d, transformado e re-QA`d dados em seu armazém. Você pode carregar dados através de um programa personalizado, SQL (uma instrução INSERT, por exemplo), ou um utilitário.

Se você precisar carregar um grande volume de dados, tente usar um utilitário de carregamento rápido, que geralmente envolve muito menos tempo do que uma abordagem programática ou baseados em SQL.

Video: Sistemas Distribuídos - Aula 13/10/2011 - Parte 1

Se você usar SQL para carregar seus dados em um banco de dados relacional, tentar fazer o carregamento o mais eficiente possível, desligando log (se o seu produto DBMS permite-lo). Se o trabalho de carregamento é terminado de forma anormal, você apenas tem que usar o DROP ou TRUNCATE declaração para se livrar de sua mesa parcialmente carregado, corrigir o problema que causou o encerramento e reiniciar o trabalho.

Este processo geralmente é muito mais rápido do que se você ativar as instalações necessárias para os dados de estilo OLTP e integridade da transação (com sobrecarga de acompanhamento).