Location
Home office | Brazil
Job description
Estamos à procura de um novo # Confidencial (Apenas para Cadastrados) ER para integrar um time de alto nível, que atua na automatização e engenharia de dados que impactam diretamente as tomadas de decisão do nosso negócio. Trabalhará em um ambiente dinâmico, e desafiador, com grandes volumes de dados, apoiando a definição de novos data products visando sempre atender os nossos clientes finais.
Atuará de forma cross como ponto focal da área para definição da arquitetura da plataforma de dados, conhecendo profundamente os dados desde o transacional, até o tratado nas camadas de dados mais agregados da plataforma de dados.
Estará focado em uma das squads de data "incubadas" junto aos times de engenharia de software, cocriando produtos de dados embedados nas soluções/plataformas da IP, com bastante interação com as principais clientes do grupo IP, demais times de negócio e tecnologia.
Seguirá melhores práticas e guidelines para os times de engenharia de dados da diretoria de dados direcionados pelo time cross de engenharia.
Ter experiência em analisar grandes volume de dados, e apoiar os times construir relatórios e análises de alta complexidade;
Apoiar junto ao seu gestor e time de engenharia a construção de um ambiente integrado de metadados, apoiando a alfabetização de dados da empresa, desde o primeiro momento descritivo até o preditivo e prescritivo
Manter-se atualizado com as tecnologias e tendências emergentes para engenharia de dados (do descritivo ao prescritivo)
Experiência com papéis similares em empresas do ecossistema logística/e-commerce será um diferencial.
Boa capacidade de comunicação e negociação;
Responsabilidades e atribuições
Para ajudar a empresa a atingir sua missão de transformar a logística com tecnologia inteligente, suas atribuições serão:
- Projetar, desenvolver e manter pipelines de dados eficientes e escaláveis para processamento e armazenamento de grandes volumes de dados.
- Coletar, integrar e transformar dados de diferentes fontes para garantir sua qualidade, consistência e disponibilidade.
- Implementar soluções de armazenamento e recuperação de dados, como bancos de dados NoSQL, data lakes e data warehouses.
- Colaborar com equipes multidisciplinares(engenheiros de software, analistas de dados, PM etc) para entender os requisitos e fornecer soluções de dados eficazes.
- Identificar e resolver problemas de desempenho, segurança e integridade dos dados.
- Experiência na construção de modelos de dados normalizados e não normalizados definindo melhores práticas relacionadas à estratégia de ingestão e modelagem de dados, experiência na otimização de dados, e avaliando com frequência os custos de cloud x novos desenvolvimentos e entregas, definindo o ambiente CI/CD
- Colaborativo, motivado, capacidade de construir relacionamentos fortes e trabalhar de forma transversal na área de tecnologia e produto
- Perfil de solucionador de problemas, identificando causas raiz, e apoiando a definição de planos de ação com dados, reavaliando processos, identificando como fazer o charge management de novas soluções de dados integradas
Requisitos e qualificações
Você deve ter:
- Experiência com ambientes cloud AWS, conhecimento de diferentes serviços, incluindo Open source, como o Apache Pinot, Trino, dentre outros.
- Experiência em SQL, Python(bibliotecas Pandas, Arrow, scikit-learn, PySpark) avançado, Spark ou Scala para construção de pipelines;
- Experiência em modelagem de dados Lakehouse em um arquitetura lambda
- Experiência mais de 5 anos na construção de pipelines de dados complexos considerando latência, volume, privacidade e diferentes tipos de fontes de dados. Experiência trabalhando com ferramentas ETL/ELT
- Experiência em construção de pipelines utilizando Data bricks, Docker/Kubernetes, sistemas de processamento de dados distribuídos (Hadoop, Spark, Kafka).
- Experiência em Aws Glue, Kinesis entre outras
- Experiência em construção de observabilidade de pipelines, e showback de custos para as áreas.
- Experiência em uso do GIT para versionamento de data products, e criação de plataforma de dados com CI/CD automáticos (do descritivo ao prescritivo)
- Diferencial se tiver experiência em plataforma MLops (Kubflow, dentre outros), utilizando para treinamento de modelos, acompanhamento da acuracidade e evolução de modelos embedados dentro de produtos
- Diferencial se tiver conhecimento em ferramentas de Data Visualization para apoiar analistas de dados a otimizar consultas e entregas, preferencialmente em Power Bi ou Tableau.
- Experiência em mascaramento e anonimização de dados
- Conhecimento em estratégias e ferramentas de gestão do ciclo de vida dos dados e replicação;
- Conhecimento em soluções e conceitos para implementar Governança de Dados cross empresa (qualidade, segurança, linhagem, políticas)
- Experiência em documentação e catalogação de dados, utilizando soluções como Apache CKAN, Amundsen ou outro de mercado
- Bacharel em Ciência da Computação, Engenharia de Computação. Engenharia, Estatística / Matemática ou similar;
- Inglês Avançado.
Informações adicionais
O que oferecemos?
- PLR;
- Assistência Médica:
- Assistência Odontológica;
- Vale Transporte (Opcional);
- Seguro de Vida;
- Auxílio Creche;
- Licença Parental (Maternidade/Paternidade);
- Programa de Parcerias Confidencial (Apenas para Cadastrados) : (Bem-Estar & Qualidade de Vida;
- Day Off no mês de Aniversário;
- Vale Refeição / VaIe Alimentação R$ 924,00 Mês (Cartão de benefícios flexíveis);
- Se desenvolver e crescer em uma Startup com ambiente dinâmico e desafiador;
- Trabalhar com pessoas inspiradoras
Job tags
Salary
