Ilia
Location
Brasília, DF | Brazil
Job description
Responsabilidade e atribuições:
Garantir uma boa experiência, adaptando as tecnologias disponíveis aos problemas dos usuários; Garantir a disponibilidade, segurança e governança dos dados, através de padrões e processos bem definidos; Habilitar a criação de datasets, oferecendo tecnologias para criar, atualizar, validar e compartilhar dados; Habilitar a criação, publicação e diagnóstico de processos, garantindo a visibilidade e oferecendo métricas bem definidas; Estender tecnologias existentes, para resolver problemas específicos; Desenvolver tecnologias customizadas, incluindo o desenvolvimento de bibliotecas, APls e SDKs; Garantir uma plataforma consistente, participando de discussões técnicas e propondo soluções simples e objetivas; Desenvolver e manter pipelines de dados em batch e streaming que sejam escaláveis e monitoráveis; Desenvolver rotinas ETL; Desenvolver e manter data warehouses modernos e data, possibilitando o consumo de diversas áreas de negócio para tomada de decisão. Requisitos: Conhecimento em SQL Conhecimento em alguma linguagem de programação para manipulação de grande escala de dados (Python (preferencialmente), Scala, Spark...) Conhecimento com banco de dados relacionais e não relacionais (MySQL ou NoSQL); Proficiência em Estruturação de Dados; Computação distribuída; Desenvolvimento distribuído com GIT; Processamento em Batch e Streaming; Orquestração de Pipeline de Dados(preferencialmente Airflow; Conhecimento de GitHub Você provavelmente irá se destacar nos demais se tiver: Conhecimento em serviços de Cloud (GCP, AWS ...); Protocolos: REST; CI/CD; Familiaridade com metodologias ágeis. Conhecimento em modelagem dimensional;| Experiência com ferramentas de visualização de dados, como Looker, Tableau, Power BI ou similares; Conhecimento sobre o funcionamento de Data Lakes, ferramentas de mensageria (Kafka, Kinesis, PubSub): Noções de LGPD.Job tags
Salary
