Collective.work
Taux journalier (TJM): 450
CONTEXTE DE LA MISSION
Nous recherchons un Data Engineer expérimenté spécialisé dans l'écosystème Databricks, capable de concevoir, développer et industrialiser des pipelines de données performants dans un environnement Cloud.
Le consultant interviendra sur des projets Data à forte valeur ajoutée, avec des enjeux de performance, de gouvernance, de qualité et de fiabilité des données.
RESPONSABILITÉS
*
Concevoir et développer des pipelines de données complexes en PySpark et Spark SQL, en mode batch et streaming.
*
Implémenter et maintenir une architecture Medallion (Bronze / Silver / Gold) basée sur Delta Lake.
*
Orchestrer et superviser les traitements via Databricks Workflows, Azure Data Factory ou Airflow.
*
Optimiser les performances et les coûts des traitements Spark : partitionnement, Z-Order, gestion des clusters et Photon.
*
Mettre en œuvre la gouvernance des données avec Unity Catalog : gestion des accès, data li…
Fersiwn fyrrach o'r rhestriad yw hon. Darllenwch y rhestriad llawn ar France Travail
Daw'r rhestriad hwn o France Travail. Nid yw InkludX wedi gwirio arferion cynhwysiant y cyflogwr hwn, felly gwiriwch y manylion gyda'r cyflogwr cyn gwneud cais.