O profissional mais presente aqui na UPBI, ocupando mais de 50% do nosso quadro de colaboradores, é o Engenheiro de Dados. Para quem não conhece, Engenharia de Dados envolve coletar, transformar, armazenar e distribuir os dados. Também é responsável por criar o pipeline, sustentá-lo e transformar os dados brutos em dados tratados para análise e tomadas de decisão.

Para o profissional, é exigido um profundo conhecimento de modelagem de banco de dados relacionais e não relacionais, linguagens de programação e habilidades de comunicação.

O Engenheiro de Dados é responsável pela construção de reservatórios de dados, conhecidos com Data Warehouses e Data Lakes.

As principais ferramentas utilizadas pelo engenheiro aqui na UPBI para ingestão e transformação dos dados são o Synapse Pipelines, Data Factory, Databricks e SQL Server Integration Services (SSIS). No caso do armazenamento, utilizamos o Data Lake, Data Base File System (DBFS) e o SQL Server.

As funções realizadas pelos nossos engenheiros são as seguintes:

• Entendimento do modelo AS-IS do cliente​
• Mapeamento dos objetos, mapas de carga e desenho TO-BE do cliente​
• Construção do Modelagem de dados​
• Entender as regras de negócios e aplicar na carga da base​
• Ingestão das informações / Parametrização do Robô UPBI​
• Definição do Padronização de nomenclatura do Banco de Dados

A Engenharia de Dados trabalha no backoffice para descomplicar a vida dos Cientistas de Dados, Analistas de Negócios, entre outros profissionais, e ajudar a promover a cultura de Dados dentro das empresas.

Para saber mais sobre nossos profissionais e projetos, entre em contato com a gente!

#dataegineer #engenheirodedados #data #azure #microsoft #dataanalytics #analytics #dados