DATA ENGINEER DATABRICKS (IT)
Location
Malakoff, Hauts de Seine | France
Job description
CONTEXTE :
La mission aura lieu dans le Département DATA, équipe BI à la direction Technologie
Contexte du projet :
Intégré à l?équipe agile BI composée de 8 personnes au sein de la direction Data l'Ingénieur de données aura pour mission de jouer un rôle clé dans la mise en place du socle technique relative à l?alimentation de la nouvelle data plateforme, en se focalisant sur l'utilisation de Databricks. Il devra apporter son expertise issue de missions précédentes pour contribuer au développement, à la maintenance et à l'optimisation des solutions basées sur cette plateforme.
La maîtrise de la langue anglaise est requise pour communiquer efficacement avec les équipes internationales.
DESCRIPTION DE LA MISSION :
Objectifs de la mission :
- Conception et développement des pipelines de données : Concevoir et développer des pipelines de données efficaces et évolutifs sur la plateforme Databricks, en utilisant des langages de programmation Python(Pyspark) et SQL.
- Optimisation des performances : Optimiser les pipelines de données déjà développés pour garantir des performances optimales, savoir mettre en place du partitionnement. Proposer des améliorations sur la gestion des clusters, de l?ordonnancement des traitements.
- Documentation et standardisation : Contribuer à la documentation et à la standardisation des architectures, des processus et des bonnes pratiques pour assurer la cohérence et la pérennité des solutions mises en place.
- Formation et support : Fournir une aide et un support aux autres membres de l'équipe sur l'utilisation de Databricks et des pipelines de données développés.
Localisation :
Le poste sera basé à Malakoff
Le travail à distance pourrait être envisagée à raison de 2 jours/semaine.
Profil candidat:
CONNAISSANCES EXIGÉES :
Compétences attendues :
- Excellente maîtrise de Databricks, PySpark et de SQL.
- Expertise avancée dans la mise en place de pipelines de données ETL/ELT (Azure data factory).
- Connaissance approfondie des concepts de Big Data et des architectures distribuées.
- Expérience démontrée dans des migrations de systèmes legacy vers Databricks.
- Familiarité avec les outils de gestion de versions comme Azure Devops ou Git.
- Capacité à travailler dans un environnement Agile.
- Anglais : FLUENT
SÉNIORITÉ REQUISE :
- 5 à 10 ans d?expérience (Confirmed) : Grade 3
- 10 à 15 ans d?expérience (Advanced) : Grade 4
CALENDRIER :
La mission commencera ASAP pour 3 mois potentiellement renouvelable.
Job tags
Salary
10k € a 65k €/an