Numérique & IA
Data engineer Databricks et Spark : traiter de gros volumes de données
Proposée par Idcacademy · certifié Qualiopi
- Durée
- 25 h
- Lieu
- Paris 08
- Format
- Hybride
- Niveau
- Tout public
Ce que vous allez apprendre
Vous manipulez déjà Python ou SQL et souhaitez passer à des volumes importants ? Cette formation vous fait pratiquer la plateforme Databricks, de la prise en main jusqu'à la mise en production de vos traitements.
À l'issue de la formation, vous serez capable de
- Prendre en main l'espace de travail Databricks, les notebooks et la gestion des catalogues et des droits
- Concevoir des traitements Spark structurés et performants s'appuyant sur Delta Lake
- Organiser, tester et automatiser vos traitements grâce aux workflows et à l'intégration continue
- Suivre et déployer des modèles de machine learning avec MLflow
Programme
Fondamentaux Databricks
- Prise en main de l'espace de travail
- Gestion des dépôts de code
- Catalogues et permissions
Traitements Spark et Delta
- Spark SQL et DataFrames
- Optimisation des tables avec OPTIMIZE et Z-ORDER
- Traitements en flux continu
Industrialisation
- Jobs et workflows
- Tests et intégration continue
- Suivi des performances et des coûts
MLflow et déploiement de modèles
- Suivi des expériences, registre et déploiement avec MLflow
- Mise à disposition des modèles sur Databricks
- Optimisation des pipelines de machine learning
Pour qui ?
Prérequis
Public: Data engineers, data scientists et architectes data.
Prérequis: Bases en Python et en SQL, notions de data lake.
Questions fréquentes
Combien de temps dure la formation ?
Elle dure 24 h 30 au total.
Faut-il des prérequis ?
Il faut avoir des bases en Python ou en SQL et connaître les notions de data lake.
Quel document remet-on à la fin ?
Un document attestant de la fin de la formation, qui indique les acquis évalués.
Où se déroule la formation ?
Elle alterne présentiel et distance, avec une partie à Paris 08.
Peut-on la financer ?
Elle n’est pas indiquée comme éligible au CPF, mais France Travail ou votre employeur peuvent la financer selon votre situation.
Comment payer cette formation ?
- Votre CPFCette formation n’est pas indiquée comme éligible au CPF. Le centre vous dira si une autre version l’est.
- Si vous cherchez un emploiFrance Travail peut financer tout ou partie de la formation avec l’aide individuelle à la formation (AIF), si elle vous aide à retrouver un poste.
- Si vous êtes salarié(e)Votre employeur peut la prendre en charge dans son plan de formation, souvent avec l’aide de son OPCO.

Idcacademy
Idcacademy est un organisme de formation spécialisé dans les domaines de l'informatique (cloud Azure/AWS, DevOps, data, IA, cybersécurité) et du BTP, basé à Paris et proposant des formations à distance.
Découvrir le centreChez Idcacademy, aussi
Éligible CPF

Formations similaires
Éligible CPF
Éligible CPF