E ai fera, tudo beleza? Você que vem acompanhando meu trabalho, já parou pra pensar quantos pontos do nosso querido Azure Data Factory conseguimos explorar? Foram muitos eu sei, espero que você tenha conseguido absorver um pouco deles. Agora vamos parar de ladainha e partir para um nosso assunto! Antes, responde aqui uma uma perguntinha. Você que trabalha na área de Business Intelligence, utiliza alguma ferramenta para desenvolver seus processos de ETL?
Eu por muitos anos trabalhei e ainda trabalho com Microsoft SQL Server Integration Services, mais conhecido como SSIS, uma excelente ferramenta para integração.
No post anterior, apresentei uma forma de desenvolvimento de "pacotes" ETL usando o SSIS e o Azure Data Factory.
Agora vou apresentar para você uma possibilidade de executar seus pacotes do SSIS via Azure Data Factory.
É bem bacana e você vai curtir bastante.
Nesse post, vamos aprender a configurar uma Integration Runtime (IR) para SSIS, apresentarei de forma sucinta como realizamos um deploy de um pacote SSIS dentro do Azure SQL e por último como montar uma Pipeline para executar nosso pacote.
Acompanha aqui comigo.
Instalação do Azure SSIS Integration Runtime
O IR SSIS do Azure é um cluster totalmente gerenciado pelo Azure Data Factory e dedicado a execução de pacotes SSIS no Azure Data Factory.
Com o Azure-SSIS IR, você pode executar pacotes SSIS que são implantados no banco de dados do catálogo SSIS (SSISDB), hospedados em um servidor de Banco de Dados SQL do Azure, em uma instância SQL do Azure, executar os pacotes buscando diretamente de um sistema de arquivos (diretório), ou até de pacotes que possuem seu deploy realizado diretamente do banco de dados MSDB.
Primeiro passo para começar a configuração é realizando o login, cliquei aqui.
Feito isso vamos seguir os passo abaixo.
(1) Clicar na maletinha;
(2) Selecionar Integration runtimes;
(3) Clicar em New.
Após clicar em NEW, a janela da direita será carregada.
(0) Configuração IR;
(2) Clicar em New;
(3) Selecionar Azure-SSIS.
Na próxima tela, vamos trabalhar na configuração da nosso IR.
(1) Informar um nome para IR;
(2) Uma breve descrição;
(3) Region, Node Size, Node Number e Edition/licence deixarei default;
(4) Informações referente a cobrança;
(5) Clicar em Continue para prosseguir.
Na janela de configurações da IR, você precisa especificar se deseja criar SSISDB e implantar seus pacotes nele ou usar repositórios de pacotes IR do Azure-SSIS para implantar os pacotes SSIS (1).
Se você selecionar a criação de um SSISDB, será solicitado a especificar a assinatura do Azure (2) e a região onde o Azure SQL está localizado (3), levando em consideração que é recomendado ter o Azure SQL e o Azure SSIS IR no mesmo região.
Além disso, você precisa fornecer suas credenciais (usuário e senha) do servidor de Banco de Dados SQL do Azure onde o SSISDB será criado. Após isso o Azure Data Factory se conectar ao Azure SQL. (4 e 5)
A opção Armazenamento de Pacotes de IR do Azure SSIS oferece a capacidade de gerenciar os pacotes SSIS implantados em MSDB, sistema de arquivos ou Arquivos do Azure (6).
Para o servidor de Banco de Dados SQL do Azure selecionado, certifique-se de que a configuração Permitir acesso ao firewall de serviços do Azure esteja habilitada e que o servidor não tenha uma instância SSISDB já criada, pois o uso de uma instância SSISDB existente não é compatível.
E na última tela de configurações, podemos selecionar o número máximo de pacotes que serão executados simultaneamente por nó na IR (1), se deseja adicionar configurações personalizadas (2), se deseja associar a IR uma VNET (3) ou se deve configurar um IR como um proxy (4).
E para finalizar o processo de configuração, na próxima tela é apresentado um resumo da configuração.
(1) Informação sobre Azure Data Factory;
(2) Configuração da IR;
(3) Informação sobre o banco de dados (Azure SQL)
(4) Clicar em Continue para seguir.
Pronto! IR configurada e em execução.
(1) Clicar no ícone da maletinha;
(2) Clicar em Integration runtime;
(3) Nossa IR criada e em execução.
Depois de criado com êxito, certifique-se de que o status de IR do SSIS do Azure seja alterado para “Running” para usá-lo para executar os pacotes do SSIS. Isso pode ser verificado na aba Gerenciar (ícone da Maletinha), onde você pode ver que o status do Azure SSIS IR está em execução, com a capacidade de editar, monitorar, iniciar, parar ou excluir o Azure-SSIS IR dessa janela, levando em consideração que você precisa interrompê-lo antes de realizar qualquer alteração. Além disso, você pode criar um pipeline com a atividade Execute SSIS Package ou exibir o código JSON do Azure-SSIS IR na mesma página, conforme mostrado abaixo:
(0) Clicar na IR criada e em seguida clicar sobre os três pontinhos;
(1) Clicar em Execute SSIS package.
Quando você clica em Execute SSIS package, uma pipeline é carregada para que você faça a sua configuração. Acompanhe na próxima tela.
Pipeline carregada e pronta para ser configurada. Zero bala!!!
Um outra informação extremamente importante, é que ao navegar em nossos bancos de dados do Azure, podemos verificar que uma instância SSISDB foi criada conforme abaixo:
Pois bem, configuração da IR concluída com êxito. Vamos agora configurar nossos pacotes para serem executados dentro do Azure Data Factory.
Implantando Pacotes SSIS
Agora, o IR do Azure-SSIS está provisionado e pronto para uso. A próxima etapa é implantar o pacote SSIS no SSISDB para executá-lo no Azure Data Factory. Isso pode ser alcançado usando as ferramentas de dados do SQL Server, o SQL Server Management Studio e os utilitários de linha de comando dtutil e AzureDTExec (não vamos abordar nesse post).
Para realizar o nosso deploy, o primeiro passo será abrir o SQL Server Management Studio e realizar o login em nosso servidor de banco de dados do Azure.
Segue aqui comigo...
(1) Servidor do Azure SQL;
(2) Expandir em Integration Services Catalogs;
(3) Clicar sobre SSIS e selecionar Create Folder.
(1) Informar um nome para o Diretório que será criado;
(2) Informar uma breve descrição.
Próximo passo é realizar o deploy do nosso projeto do SSIS.
(1) Expandir o diretório que criamos no passo anterior, clicar com o botão direito do mouse e selecionar Deploy Project.
Na tela que for apresentada basta clicar em Next (1).
Próximo passo é selecionar a origem do nosso projeto, ou seja, onde estão os arquivos.
(1) Você possui duas opções, buscar de um arquivo gerado a partir do deploy do projeto ou buscar a partir de um outro servidor do Microsoft SQL Server. Vou selecionar a primeira opção;
(2) Selecionar o arquivo de Deploy;
(3) Clicar em Next para seguir.
Você pode selecionar dois destinos para a implantação do seu projeto. Estarei usando a primeira opção.
(1) Selecionar SSIS no SQL Server;
(2) Clicar em Next para avançar.
Na janela Selecionar Destino do Assistente de Implantação do Serviço de Integração, forneça o nome do servidor de Banco de Dados SQL do Azure onde o SSISDB está hospedado, as credenciais que serão usadas para se conectar a esse servidor e o caminho de implantação do pacote SSIS dentro do SSISDB, como mostrado abaixo:
(1) Informar qual o seu servidor do Azure SQL;
(2) Informar as credencias de autenticação;
(3) Informar o nome da pasta que será criada ao realizar o deploy;
(4) Clicar em Next para avançar.
Um breve resumo (1) será apresentado antes do deploy, estando tudo de acordo, basta clicar em Implantar (2).
Deploy realizado com sucesso (1).
Mais grande passo foi dado! IR configurada, deploy do pacote realizado com sucesso no Azure SQL, próximo passo será validar o deploy.
Validando Pacotes SSIS
Depois disso, o projeto SSIS será validado para erros de execução importantes antes de implantá-lo para ser executado no Azure Data Factory.
Quando clicamos com o botão direito do mouse sobre o pacote que implantamos no Azure SQL, quatro opções são apresentadas: Configure, Validate, Execute e Schedule.
Dessas quatro opções, a única que não abordaremos será a Schedule.
Vamos então começa para Configure.
(1) Opção Configure;
(2) Ao clicar sobre, essa tela é carregada;
(3) Conseguimos visualizar os parâmetros e configurações usadas em nosso pacote SSIS;
(4) Ao selecionar por exemplo Connection Managers, conseguimos visualizar as propriedades da nosso conexão;
(5) Para finalizar basta clicar em OK.
(1) Aba Validate.
Ao clicar nessa opção, um relatório é gerado com a validação do nosso pacote. Caso alguma inconsistência seja encontrada, esse relatório é de extrema importância.
Próximo passo é a aba Execute;
(1) Aba Execute;
(2) Ao clicar sobre, essa tela é apresentada. Nela é possível selecionar qual o pacote do nosso projeto iremos executar;
(3) Listagem de todos os pacotes existentes em nosso projeto;
(4) Para executar basta clicar em OK.
Após clicar em OK na tela anterior para executar o pacote, um relatório também é gerado onde é possível acompanhar a execução do pacote e ao término um resumo da execução é gerado.
Após validar o deploy do nosso pacote, vamos limpar nossa tabela de carga de cargos para execução pelo Azure Data Factory.
Execute o pacote SSIS
Depois de implantar o pacote na instância SSISDB que está conectada ao IR SSIS do Azure, você precisa criar um novo pipeline para executar o pacote SSIS usando uma atividade Execute SSIS package. Para conseguir isso, você pode navegar facilmente na página Gerenciar do Azure Data Factory, clicar em Integration Runtimes, em seguida, clicar nos três pontos ao lado do Azure SSIS IR e escolher a opção Execute SSIS package, conforme mostrado abaixo:
Para execução precisamos criar uma Pipeline. É bem simples, não muda nada do que vimos até aqui.
(1) Clicar no ícone do lápis (Aba Author);
(2) Sobre a aba Pipeline vamos clicar nos três pontinhos;
(3) Na janela que será apresentada escolher New Pipeline.
Dando continuidade ao passo anterior, vamos continuar a configuração.
(0) Aba Author;
(1) Informar um nome para a Pipeline;
(2) Em Activities;
(3) Em General;
(4) Escolher o componente Execute SSIS package;
(5) Ao clicar sobre, o componente será carregado em nosso fluxo;
(6) Aba General;
(7) Informar um nome para o nosso componente dentro do fluxo.
Vamos trabalhar com a opção de executar um pacote que teve seu deploy dentro do banco de catalogo SSISDB.
(0) Clicar sobre o o componente Execute SSIS package;
(1) Aba Settings;
(2) Selecionar a nossa IR configurada no inicio desse post;
(3) Em Package location, vamos selecionar SSISDB;
(4) Selecionar em qual diretório o nosso pacote está;
(5) Selecionar qual o projeto;
(6) Selecionar o pacote;
(7) Environment, Logging level e Manual entries, não vou entra em detalhes.
(0) Clicar sobre o componente Execute SSIS package;
(1) Aba Connection managers;
(2) Informações da nossa conexão são apresentadas;
(3) Possibilidade de armazenar essas informações no Azure Key Vault;
(4) Clicar em SAVE para finalizar.
Depois de fornecer todas as informações necessárias, valide as configurações do pipeline e clique no botão Deploy para habilitar o modo de depuração da execução do pipeline e monitorar a execução do pacote SSIS dentro do pipeline e garantir que o pacote SSIS seja executado com êxito no Azure Data Factory sem nenhum erro, conforme mostrado abaixo:
(0) Componente Execute SSIS package;
(1) Aba Output;
(2) Log de execução.
Podemos voltar em nosso SQL Server Management Studio e visualizar o resumo de nossas execuções.
(1) Execuções realizadas;
(2) Última execução via Azure Data Factory.
(3) Clicar em Overview para ir para próxima tela.
Ao clicar em Overview na tela anterior, conseguimos visualizar um resumo mais detalhado da última execução.
(1) Horário de inicio e fim;
(2) Quem executou;
(3) Fluxo do pacote executado.
Vamos consultar em nosso banco de dados para validar a carga.
(1) Conectar com o nosso servidor de banco de dados;
(2) Selecionar o nosso banco de dados;
(3) Consulta na tabela Cargo.
Conclusão
Meu amigo, é isso ai. Finalizamos aqui mais um assunto onde podemos verificar como que á simples executar um pacote SSIS dentro do Azure Data Factory.
Espero que tenham gostado.
Encontro vocês em nosso próximo post!!
Abraços e fique com Deus.
תגובות