Contexte

Dans le cadre de l'évolution d'une plateforme data à forte volumétrie, nous recherchons plusieurs Data Engineers seniors pour renforcer une équipe en charge de la conception et de l'industrialisation des flux de données.
Vous interviendrez dans un environnement moderne orienté Lakehouse, avec Databricks au coeur des traitements.

Missions principales

Intégré à une équipe data transverse, vous participerez à la mise en place de pipelines robustes, scalables et industrialisés :

• Concevoir et développer des pipelines de données en PySpark, en batch et potentiellement en streaming

• Structurer et optimiser des traitements complexes sur des volumes de données importants

• Mettre en place des mécanismes d'ingestion fiables depuis des sources multiples (API, fichiers, bases de données)

• Garantir la résilience des pipelines (gestion des erreurs, reprise sur incident, supervision)

• Déployer des contrôles qualité afin d'assurer la fiabilité et la fraîcheur des données

• Contribuer à la documentation des flux et à la mise en place de standards de développement

• Participer activement à l'amélioration continue de la plateforme et des pratiques data

Compétences techniques

• Très bonne maîtrise de Databricks (gestion des clusters, jobs, notebooks, Delta Lake)

• Excellente maîtrise de Python et PySpark

• Expérience confirmée en Data Engineering sur des architectures distribuées

• Bonne compréhension des modèles Data Lake et Lakehouse

• Solides compétences en optimisation de performances sur Spark

• Expérience avec des outils d'orchestration (Airflow, Data Factory ou équivalent)

• Sensibilité aux problématiques de gouvernance et de qualité des données

• Expérience dans l'exposition de données à destination d'outils BI (notamment Power BI)

Profil recherché

• Data Engineer expérimenté F/H avec une expertise avérée sur Databricks

• Expérience sur des projets data à forte volumétrie

• Capacité à concevoir des pipelines fiables, performants et industrialisés

• Bonne maîtrise des environnements cloud, idéalement Azure

• Approche rigoureuse sur les sujets de qualité, performance et gouvernance

• Aisance dans un environnement collaboratif avec des équipes Data Science et BI

• Poste en full remote

Notre groupe est au service de la transformation digitale des entreprises depuis 20 ans.

De l'étude à la réalisation en passant par le conseil, nous travaillons sur des projets de refonte d'infrastructure, de Cloud, d'Intelligence artificielle, de Cybersécurité, d'équipements « Endpoint », de Smartcity ou encore en développement web et applicatif.

Nous sommes convaincus qu'il ne suffit pas de transformer l'IT et qu'il faut aussi être capable de digitaliser les produits, les services et plus généralement les métiers

#DIGITALWAY

La complémentarité de nos différents pôles et de leurs expertises respectives permet aujourd'hui à REEL IT de se distinguer par son hyper-compétence, sa polyvalence et son dynamisme.

La cohésion entre nos différents pôles d'expertise constitue notre force pour faire face à la complexité et à l'ampleur de tous les projets que nous abordons.