CASES
Engenharia de Dados para acelerar a Transformação Digital.
Principal dor
Cliente possuía um desejo de ter um ambiente com controle de CI/CD mas não conseguia implantar isso internamente. Nas tentativas que ele realizou sempre esbarrava em alguma falha ou complicação técnica e isso somente gerava custos elevados e nenhum benefício.
Solução e Benefícios | Arquitetura de Data Lake
Após alinhamentos entre o time da Dataside, chegamos a um desenho que representa um alto nível dos processos e fluxos de dados. Implantamos um fluxo com CI/CD usando o Azure DevOps como orquestrador, os pipelines e os scripts SQL são desenvolvidos no Synapse Workspace. Uma outra vantagem/benefício da adoção do Synapse workspace é que, com a ajuda do Synapse Serverless a Camil ganhou uma agilidade muito maior, visto que os arquivos CSV que antes precisavam ser carregados para dentro do Synapse dedicated, agora são lidos instantaneamente com o Serverless a um custo muito reduzido.
Engenharia de Dados para acelerar a Transformação Digital.
Principal dor
Cliente possuía um desejo de ter um ambiente com controle de CI/CD mas não conseguia implantar isso internamente. Nas tentativas que ele realizou sempre esbarrava em alguma falha ou complicação técnica e isso somente gerava custos elevados e nenhum benefício.
Solução e Benefícios | Arquitetura de Data Lake
Após alinhamentos entre o time da Dataside, chegamos a um desenho que representa um alto nível dos processos e fluxos de dados. Implantamos um fluxo com CI/CD usando o Azure DevOps como orquestrador, os pipelines e os scripts SQL são desenvolvidos no Synapse Workspace. Uma outra vantagem/benefício da adoção do Synapse workspace é que, com a ajuda do Synapse Serverless a Camil ganhou uma agilidade muito maior, visto que os arquivos CSV que antes precisavam ser carregados para dentro do Synapse dedicated, agora são lidos instantaneamente com o Serverless a um custo muito reduzido.