MRV
Location
Rio de Janeiro, RJ | Brazil
Job description
Engenheiro de Dados – MRV – Home Office
RESPONSABILIDADES E ATRIBUIÇÕES
Deveres e Responsabilidades:
• Projetar, construir e manter pipelines de dados escaláveis para ingestão, processamento e armazenamento de grandes volumes de dados estruturados e não estruturados.
• Desenvolver e otimizar processos ETL e fluxos de trabalho de integração de dados para garantir consistência e precisão dos dados.
• Implementar verificações de qualidade de dados e regras de validação para identificar e resolver discrepâncias e anomalias nos dados.
• Colaborar com Arquitetos de Dados, Analistas BI e outros stakeholders para entender os requisitos de dados e implementar soluções de dados apropriadas.
• Monitorar e manter o desempenho, confiabilidade e segurança da infraestrutura de dados e sistemas de armazenamento.
• Trabalhar com diversas tecnologias de armazenamento de dados, como bancos de dados relacionais, bancos de dados NoSQL e data lakes.
• Desenvolver e manter documentação para processos de engenharia de dados, pipelines de dados e infraestrutura de dados.
• Manter-se atualizado com as melhores práticas da indústria e tecnologias emergentes em engenharia de dados e armazenamento de dados.
• Apoiar iniciativas de Data Science, auxiliando na preparação de dados para análises avançadas e no desenvolvimento de modelos preditivos e algoritmos de Machine Learning.
REQUISITOS E QUALIFICAÇÕES
Qualificações e Experiência:
• Graduação ou Mestrado em Ciência da Computação, Engenharia ou campo relacionado.
• +2 anos de experiência em projetar, criar e gerenciar pipelines de extração e transformação de dados, especificamente na plataforma Microsoft Azure.
• Proficiência na construção e otimização de pipelines de dados, arquiteturas e conjuntos de dados usando Azure Data Factory, Azure Databricks e outros serviços de dados Azure.
• Experiência prática com Azure Blob Storage, Azure SQL Data Warehouse e Azure Cosmos DB.
• Familiaridade com Azure DevOps para CI/CD no contexto de pipelines de dados.
• Capacidade comprovada de integrar serviços Azure com fontes de dados externas, desde APIs até logs e bancos de dados.
• Forte compreensão das melhores práticas relacionadas à segurança e conformidade de dados no Azure.
Job tags
Salary
