Numérique & IA

Data engineer Databricks et Spark : traiter de gros volumes de données

Proposée par Idcacademy · certifié Qualiopi

Durée
25 h
Lieu
Paris 08
Format
Hybride
Niveau
Tout public

Ce que vous allez apprendre

Vous manipulez déjà Python ou SQL et souhaitez passer à des volumes importants ? Cette formation vous fait pratiquer la plateforme Databricks, de la prise en main jusqu'à la mise en production de vos traitements.

À l'issue de la formation, vous serez capable de

  • Prendre en main l'espace de travail Databricks, les notebooks et la gestion des catalogues et des droits
  • Concevoir des traitements Spark structurés et performants s'appuyant sur Delta Lake
  • Organiser, tester et automatiser vos traitements grâce aux workflows et à l'intégration continue
  • Suivre et déployer des modèles de machine learning avec MLflow

Programme

Fondamentaux Databricks

  • Prise en main de l'espace de travail
  • Gestion des dépôts de code
  • Catalogues et permissions

Traitements Spark et Delta

  • Spark SQL et DataFrames
  • Optimisation des tables avec OPTIMIZE et Z-ORDER
  • Traitements en flux continu

Industrialisation

  • Jobs et workflows
  • Tests et intégration continue
  • Suivi des performances et des coûts

MLflow et déploiement de modèles

  • Suivi des expériences, registre et déploiement avec MLflow
  • Mise à disposition des modèles sur Databricks
  • Optimisation des pipelines de machine learning

Pour qui ?

Prérequis

Public: Data engineers, data scientists et architectes data.

Prérequis: Bases en Python et en SQL, notions de data lake.

Questions fréquentes

Combien de temps dure la formation ?

Elle dure 24 h 30 au total.

Faut-il des prérequis ?

Il faut avoir des bases en Python ou en SQL et connaître les notions de data lake.

Quel document remet-on à la fin ?

Un document attestant de la fin de la formation, qui indique les acquis évalués.

Où se déroule la formation ?

Elle alterne présentiel et distance, avec une partie à Paris 08.

Peut-on la financer ?

Elle n’est pas indiquée comme éligible au CPF, mais France Travail ou votre employeur peuvent la financer selon votre situation.

Comment payer cette formation ?

  • Votre CPFCette formation n’est pas indiquée comme éligible au CPF. Le centre vous dira si une autre version l’est.
  • Si vous cherchez un emploiFrance Travail peut financer tout ou partie de la formation avec l’aide individuelle à la formation (AIF), si elle vous aide à retrouver un poste.
  • Si vous êtes salarié(e)Votre employeur peut la prendre en charge dans son plan de formation, souvent avec l’aide de son OPCO.
Estimer mon reste à charge Lire le guide : France Travail et AIF Découvrir le métier : Data Engineer

Idcacademy

Idcacademy est un organisme de formation spécialisé dans les domaines de l'informatique (cloud Azure/AWS, DevOps, data, IA, cybersécurité) et du BTP, basé à Paris et proposant des formations à distance.

Découvrir le centre

Quelle formation cherchez‑vous ?