Tech lead - engenharia de dados

Location

São Paulo, SP | Brazil

Job description

Sólida experiência nas atividades abaixo relacionadas:

• Liderança de equipe de engenharia de Dados;
• Inglês avançado para leitura;
• Modelagem de Dados e Design de Banco de Dados: Proficiência em projetar modelos de dados eficientes e escaláveis, bem como selecionar tecnologias de banco de dados apropriadas com base nos requisitos do projeto. Isso inclui bancos de dados relacionais, bancos de dados NoSQL e soluções de data warehouse;
• ETL (Extração, Transformação, Carregamento): Experiência em construir e manter pipelines ETL para extrair dados de várias fontes, transformá-los em um formato utilizável e carregá-los em data warehouse de destino;
• Streaming de Dados: Conhecimentos em processamento de dados em tempo real e frameworks de processamento de stream, como Apache Kafka e Amazon Kinesis. Isso inclui a construção e otimização de pipelines de dados para processar dados de streaming com baixa latência e alta vazão;
• Data Warehousing e Ferramentas de BI: Conhecimento de conceitos de data warehousing e experiência com ferramentas de BI (Business Intelligence) para visualização de dados e geração de relatórios;
• Plataformas de Nuvem: Proficiência em plataformas de nuvem como Amazon Web Services (AWS), Microsoft Azure ou Google Cloud Platform (GCP), incluindo serviços relacionados a armazenamento de dados e computação; 
• Linguagens de Programação: habilidades avançadas de programação em linguagens comumente usadas em engenharia de dados, como Python (preferencialmente) e SQL (imprescindível). Isso inclui escrever código eficiente para processamento de dados, orquestração de pipelines e tarefas de automação; 
• Qualidade de Dados e Governança: compreensão das melhores práticas de qualidade de dados e experiência na implementação de processos de governança de dados para garantir integridade, consistência e conformidade dos dados com requisitos regulatórios; 
• Containerização e Orquestração: conhecimento de tecnologias de containerização e plataformas de orquestração de contêineres como Kubernetes para implantar e gerenciar aplicativos de engenharia de dados em ambientes escaláveis e resilientes;
• Aprendizado de Máquina: Compreensão básica de conceitos de aprendizado de máquina.
• Disponibilidade para atuação em São Paulo (Av. Paulista 3x/semana).

• Design Técnico: Colaborar com as partes interessadas para entender os requisitos do projeto e projetar soluções de dados escaláveis e eficientes, incluindo pipelines de dados, modelos de dados e arquitetura de dados; 
• Liderança de Equipe: Fornecer orientação técnica e mentoria para engenheiros de dados juniores, garantindo a adesão às melhores práticas, padrões de codificação e prazos do projeto; 
• Planejamento e Estimativa de Projeto: Trabalhar com gerentes de projeto e partes interessadas para definir o escopo do projeto, criar planos de projeto e estimar os recursos necessários para as tarefas de engenharia de dados; 
• Desenvolvimento Prático: Liderar pelo exemplo, contribuindo ativamente para o desenvolvimento de pipelines de dados, processos ETL e integrações de dados usando ferramentas e tecnologias adequadas; 
• Revisão de Código: Realizar revisões de código para garantir a qualidade, manutenibilidade e escalabilidade do código de engenharia de dados, fornecendo feedback e orientação aos membros da equipe; 
• Configuração e Gerenciamento de Infraestrutura: Configurar e gerenciar a infraestrutura de dados em plataformas de nuvem na AWS, incluindo provisionamento e dimensionamento de recursos de computação e armazenamento; 
• Modelagem de Dados: Projetar e implementar modelos de dados otimizados para desempenho, escalabilidade e flexibilidade, considerando bancos de dados relacionais, NoSQL e soluções de data warehousing; 
• Desenvolvimento de ETL: Desenvolver e manter processos ETL para extrair, transformar e carregar dados de diversas fontes em data warehouses, data lakes ou sistemas analíticos de destino; 
• Garantia de Qualidade de Dados: Implementar verificações de qualidade de dados e processos de validação para garantir a precisão, completude e consistência dos dados em diferentes estágios do pipeline de dados; 
• Otimização de Desempenho: Identificar gargalos de desempenho nos pipelines de dados e otimizar consultas, transformações de dados e configurações de armazenamento de dados para melhorar o throughput e reduzir a latência; 
• Monitoramento e Registro: Configurar sistemas de monitoramento, registro e alerta para acompanhar a saúde e o desempenho dos pipelines de dados, identificando e resolvendo problemas de forma proativa; 
• Segurança e Conformidade: Implementar as melhores práticas de segurança e requisitos de conformidade para o tratamento de dados, garantindo privacidade, confidencialidade e conformidade regulatória dos dados; 
• Documentação: Manter documentação para pipelines de dados, modelos de dados e arquitetura do sistema, fornecendo documentação clara e abrangente para referência e compartilhamento de conhecimento; 
• Colaboração e Comunicação: Colaborar com equipes multidisciplinares, incluindo cientistas de dados, analistas de negócios e engenheiros de software, para entender os requisitos e integrar soluções de dados em sistemas mais amplos;
• Aprendizado Contínuo e Melhoria: Manter-se atualizado sobre tecnologias emergentes, tendências e melhores práticas em engenharia de dados, melhorando continuamente habilidades e conhecimentos por meio de autoaprendizado e desenvolvimento profissional.

Job tags

Salary