Serviços de middleware: seleção de dados e extrações
O objetivo principal do-seleção de dados e serviço -extraction é selecionar
a partir de (encontrar em) uma fonte de dados os dados que você deseja mover para o armazém de dados e, em seguida, extrair (Retirar) que os dados em um formulário que pode ser preparado para serviços de garantia de qualidade.Video: Middleware - Trabalho
Você pode usar um dos dois tipos diferentes de serviços de seleção e extração para o seu ambiente de armazenamento de dados:
Pegá-los todos e classificar-los mais tarde: Encontrar e extrair todos os elementos de dados em uma fonte que deseja carregar em seu armazém de dados, independentemente de um elemento específico foi previamente extraído.
Alterar orientada: Encontrar e extrair apenas os elementos de dados que ou foram recentemente adicionados à fonte de dados ou atualizados desde a última extração.
O primeiro tipo de serviço requer menos lógica complexa, a fim de realizar a extração. Mas você tem que lidar com volumes maiores (por vezes, volumes muito maiores) de dados do que com o segundo tipo, o serviço orientado a mudança.
O método orientado a mudança de seleção e extração é bastante simples quando sua fonte é um banco de dados relacional que tem um carimbo de tempo que você pode usar para detectar quando uma linha de dados foi adicionado ou actualizado.
Video: Sistemas Distribuidos.flv
Você pode comparar uma linha de dados contra a data e hora do último processo de extração para determinar se os dados precisam ser selecionados e extraídos. Mas quando os dados são armazenados em um arquivo que não tem um carimbo de tempo (um arquivo VSAM, por exemplo), este processo pode ser significativamente mais difícil.
Você também pode enfrentar um desafio quando dados de origem foi excluído um arquivo ou um banco de dados. Se as regras de negócio para a sua chamada ambiente de data warehousing para a supressão de dados correspondentes a partir do armazém, você deve ter uma maneira de detectar exclusões que foram feitas desde o último processo de extração para garantir que eliminações apropriadas são feitas em seu armazém.
Video: Sistemas Distribuidos
O resultado da seleção e extração é, bem, um extrato de dados que está pronto para sofrer processamento adicional: verificar a qualidade dos dados.