- Durée
- 3 jours
- Lieu
- Paris 13
- Format
- Présentiel
- Niveau
- Avancé
Ce que vous allez apprendre
Vous manipulez de grandes masses de données et souhaitez y entraîner des modèles prédictifs ? Cette formation vous fait passer de la donnée brute au modèle prêt à l'emploi, en répartissant les calculs sur plusieurs machines.
À l'issue de la formation, vous serez capable de
- Comprendre le fonctionnement du calcul distribué et l'architecture de Spark
- Manipuler de volumineux jeux de données grâce aux DataFrames et à Spark SQL
- Concevoir des chaînes de traitement de machine learning avec Spark ML
Lire la suite
- Optimiser les traitements et les rendre fiables en production
- Charger, nettoyer et transformer des données à grande échelle avec PySpark
- Entraîner, évaluer et régler un modèle, puis le réappliquer à de nouvelles données
- Repérer la cause d'un traitement ralenti grâce à l'interface de Spark
Programme
Jour 1: calcul distribué et manipulation des données
- Pourquoi répartir les calculs au-delà des limites d'une seule machine
- Architecture de Spark: driver, exécuteurs, partitions et tâches
- Modes d'exécution: local, cluster et plateformes managées
- Lecture de fichiers CSV, JSON, Parquet et Delta
- Transformations, actions et évaluation paresseuse
- Spark SQL, fenêtrage et jointures
- Travaux pratiques: préparation d'un jeu de données volumineux
Jour 2: machine learning avec Spark ML
- Rappels sur l'apprentissage supervisé et non supervisé
- Transformers, estimators et chaînes de traitement
- Préparation des variables: encodage, normalisation, assemblage
- Régression, classification et clustering
- Validation croisée et recherche d'hyperparamètres
- Métriques d'évaluation et interprétation des résultats
- Travaux pratiques: un modèle de prédiction de bout en bout
Jour 3: performances et industrialisation
- Partitionnement, mise en cache et persistance
- Lecture de l'interface Spark: étapes, échanges de données, déséquilibres
- Bonnes pratiques d'écriture des traitements
- Sauvegarde et rechargement d'un pipeline
- Suivi des expériences et des modèles avec MLflow
- Principes du traitement en flux avec Structured Streaming
- Atelier de synthèse: de la donnée brute au modèle déployé en lot
Pour qui ?
Prérequis
Public: Profils techniques souhaitant traiter de grands volumes de données et y appliquer du machine learning.
Prérequis: Bonne maîtrise de Python et du SQL. Une familiarité avec les statistiques et les notions de régression ou de classification est recommandée.
Questions fréquentes
Combien de temps dure la formation ?
La formation dure 3 jours, en inter-entreprise.
Faut-il des prérequis ?
Il est recommandé de bien maîtriser Python et le SQL, et d'avoir des notions de statistiques et de machine learning.
À quoi sert cette formation ?
Elle permet d'apprendre à traiter de gros volumes de données et à construire des modèles de machine learning avec Spark.
Où se déroule la formation ?
Elle a lieu en présentiel, à Paris 13.
Peut-on la financer ?
Elle n’est pas indiquée comme éligible au CPF, mais France Travail ou votre employeur peuvent la financer selon votre situation.
Comment payer cette formation ?
- Votre CPFCette formation n’est pas indiquée comme éligible au CPF. Le centre vous dira si une autre version l’est.
- Si vous cherchez un emploiFrance Travail peut financer tout ou partie de la formation avec l’aide individuelle à la formation (AIF), si elle vous aide à retrouver un poste.
- Si vous êtes salarié(e)Votre employeur peut la prendre en charge dans son plan de formation, souvent avec l’aide de son OPCO.

A.d.B.I.
A.d.B.I. est un cabinet de conseil et formation spécialisé en Data et Intelligence Artificielle. L'organisme propose des formations sur des outils comme Talend, Power BI, Snowflake, Python ou l'IA générative, avec des stages pratiques en présentiel dans ses locaux, en inter ou intra-entreprise.
Découvrir le centreFormations similaires
Éligible CPF
Éligible CPF
