Engenharia de Dados Pleno

Ilia

Location

Brasil | Brazil

Job description

Responsabilidade e atribuições:

Garantir uma boa experiência, adaptando as tecnologias disponíveis aos problemas dos usuários;
Garantir a disponibilidade, segurança e governança dos dados, através de padrões e processos bem definidos;
Habilitar a criação de datasets, oferecendo tecnologias para criar, atualizar, validar e compartilhar dados;
Habilitar a criação, publicação e diagnóstico de processos, garantindo a visibilidade e oferecendo métricas bem definidas;
Estender tecnologias existentes, para resolver problemas específicos;
Desenvolver tecnologias customizadas, incluindo o desenvolvimento de bibliotecas, APls e SDKs;
Garantir uma plataforma consistente, participando de discussões técnicas e propondo soluções simples e objetivas;
Desenvolver e manter pipelines de dados em batch e streaming que sejam escaláveis e monitoráveis;
Desenvolver rotinas ETL;
Desenvolver e manter data warehouses modernos e data, possibilitando o consumo de diversas áreas de negócio para tomada de decisão.

Requisitos:

Conhecimento em SQL
Conhecimento em alguma linguagem de programação para manipulação de grande escala de dados (Python (preferencialmente), Scala, Spark...)
Conhecimento com banco de dados relacionais e não relacionais (MySQL ou NoSQL);
Proficiência em Estruturação de Dados;
Computação distribuída;
Desenvolvimento distribuído com GIT;
Processamento em Batch e Streaming;
Orquestração de Pipeline de Dados(preferencialmente Airflow;
Conhecimento de GitHub

Você provavelmente irá se destacar nos demais se tiver:

Conhecimento em serviços de Cloud (GCP, AWS ...);
Protocolos: REST;
CI/CD;
Familiaridade com metodologias ágeis.
Conhecimento em modelagem dimensional;|
Experiência com ferramentas de visualização de dados, como Looker, Tableau, Power BI ou similares;
Conhecimento sobre o funcionamento de Data Lakes, ferramentas de mensageria (Kafka, Kinesis, PubSub):
Noções de LGPD.

Job tags

Salary