SSIS – Criando seu próprio SCD 3

Neste post da série você irá aprender a configurar o componente Slowly Changing Dimension na ferramenta de Integração de Dados da Microsoft, o Integration Services.


Vamos agora iniciar os testes de carga da Dimensão de Clientes da Light LTDA. Utilizaremos em primeiro momento, o componente Slowly Changing Dimension do Integration Services.

Para que isso seja possível, precisamos criar primeiramente um projeto na ferramenta de ETL da Microsoft. Feito isso, abra o seu package default e arrastar da barra de ferramentas o componente Data Flow Task para o Control Flow.

Renomeie o componente para teste_1 e em seguida, abra-o. Após isso, vá até a barra de ferramentas e arraste para dentro do Data Flow Task, os componentes OLE DB Source e Slowly Changing Dimension. A tela da ferramenta deverá estar conforme abaixo.

Captura de Tela 2015-10-13 às 16.14.45

O círculo vermelho, no canto direito de cada um dos componentes, sinaliza que eles precisam ser configurados.

O componente OLE DB Source será responsável pela conexão com o banco de dados OLTP da Light LTDA.

Obs – Como exemplo, foi utilizado o OLE BD Source, porque foi utilizado o SQL Server. Caso você necessite extraia os dados de outro Database, ou mesmo de vários, o Integration Services tem a possibilidade de se conectar via ODBC a uma grande variedade de bancos.

Após configurado o componente de conexão à fonte de dados, você precisará ligá-lo ao componente Slowly Changing Dimension.

Ao abrir o componente SCD, será apresentada uma janela que lhe permitirá configurar as colunas de entrada de dados (colunas que virão da tabela Clientes do banco OLTP), as colunas da Dimensão de Clientes e a(s) chave(s) lookup. Configure conforme a figura abaixo.

Captura de Tela 2015-10-13 às 16.21.02

Após isso, você poderá selecionar na próxima janela de configuração os tipos de Slowly Changing Dimension que usará na carga da dimensão de Clientes.

É possível, através deste componente, manter os dados da coluna imutáveis (Fixed attibute), executar um update nos registros da coluna (Changing attibute), ou manter o histórico de alterações dos dados da coluna (Historical attribute).

Nesse caso, os dados de CPF do cliente não serão alterados, logo, esses serão códigos únicos por pessoa. O NOME do cliente foi marcado como Changing attibute porque, caso haja algum erro no cadastro, será possível corrigi-lo em uma carga futura. Já os campos DDD, TELEFONE e EMAIL foram definidos como Historical attribute, pois queremos guardar um histórico de todos os telefones e e-mails de nossos clientes. A tela de configuração ficará como na imagem a seguir.

Captura de Tela 2015-10-13 às 16.23.24

Avance na configuração do próximo passo do componente. Na tela de opções dos atributos históricos, selecione a opção use start and end dates to identify current and expired recordes e, para a opção Start date column, escolha o campo DATA_INICIAL e para a opção End date column, o campo DATA_FIM (esses campos guardarão a data de inicio e de fim de cada um dos registros históricos da dimensão).

Captura de Tela 2015-10-13 às 16.25.25

No próximo passo, desabilite a opção de suporte a membros inferidos. Ao final da configuração do componente, o próprio Slowly Changing Dimension se encarregará de construir todo o fluxo que fará a carga da nossa dimensão de Clientes da Light LTDA. O fluxo de ETL ficará conforme a imagem abaixo.

Captura de Tela 2015-10-13 às 16.28.14

Essa rotina de carga da dimensão DM_CLIENTES, se executada, terminará em um tempo médio de 2 horas e 25 minutos.


No próximo post da série você aprenderá a usar alguns componentes da Ferramenta de integração de Dados e ETL da Microsoft, o Integration Services, para criar um fluxo de carga de dados personalizado para popular a Dimensão de clientes.

Anúncios

Um comentário sobre “SSIS – Criando seu próprio SCD 3

  1. Pingback: SSIS – Criando seu próprio SCD 1 | Alex Souza

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

w

Conectando a %s