Numérique & IA

Spark et Machine Learning : traiter et modéliser de gros volumes

Proposée par A.d.B.I.

Durée
3 jours
Lieu
Paris 13
Format
Présentiel
Niveau
Avancé

Ce que vous allez apprendre

Vous manipulez de grandes masses de données et souhaitez y entraîner des modèles prédictifs ? Cette formation vous fait passer de la donnée brute au modèle prêt à l'emploi, en répartissant les calculs sur plusieurs machines.

À l'issue de la formation, vous serez capable de

  • Comprendre le fonctionnement du calcul distribué et l'architecture de Spark
  • Manipuler de volumineux jeux de données grâce aux DataFrames et à Spark SQL
  • Concevoir des chaînes de traitement de machine learning avec Spark ML
Lire la suite
  • Optimiser les traitements et les rendre fiables en production
  • Charger, nettoyer et transformer des données à grande échelle avec PySpark
  • Entraîner, évaluer et régler un modèle, puis le réappliquer à de nouvelles données
  • Repérer la cause d'un traitement ralenti grâce à l'interface de Spark

Programme

Jour 1: calcul distribué et manipulation des données

  • Pourquoi répartir les calculs au-delà des limites d'une seule machine
  • Architecture de Spark: driver, exécuteurs, partitions et tâches
  • Modes d'exécution: local, cluster et plateformes managées
  • Lecture de fichiers CSV, JSON, Parquet et Delta
  • Transformations, actions et évaluation paresseuse
  • Spark SQL, fenêtrage et jointures
  • Travaux pratiques: préparation d'un jeu de données volumineux

Jour 2: machine learning avec Spark ML

  • Rappels sur l'apprentissage supervisé et non supervisé
  • Transformers, estimators et chaînes de traitement
  • Préparation des variables: encodage, normalisation, assemblage
  • Régression, classification et clustering
  • Validation croisée et recherche d'hyperparamètres
  • Métriques d'évaluation et interprétation des résultats
  • Travaux pratiques: un modèle de prédiction de bout en bout

Jour 3: performances et industrialisation

  • Partitionnement, mise en cache et persistance
  • Lecture de l'interface Spark: étapes, échanges de données, déséquilibres
  • Bonnes pratiques d'écriture des traitements
  • Sauvegarde et rechargement d'un pipeline
  • Suivi des expériences et des modèles avec MLflow
  • Principes du traitement en flux avec Structured Streaming
  • Atelier de synthèse: de la donnée brute au modèle déployé en lot

Pour qui ?

Prérequis

Public: Profils techniques souhaitant traiter de grands volumes de données et y appliquer du machine learning.

Prérequis: Bonne maîtrise de Python et du SQL. Une familiarité avec les statistiques et les notions de régression ou de classification est recommandée.

Questions fréquentes

Combien de temps dure la formation ?

La formation dure 3 jours, en inter-entreprise.

Faut-il des prérequis ?

Il est recommandé de bien maîtriser Python et le SQL, et d'avoir des notions de statistiques et de machine learning.

À quoi sert cette formation ?

Elle permet d'apprendre à traiter de gros volumes de données et à construire des modèles de machine learning avec Spark.

Où se déroule la formation ?

Elle a lieu en présentiel, à Paris 13.

Peut-on la financer ?

Elle n’est pas indiquée comme éligible au CPF, mais France Travail ou votre employeur peuvent la financer selon votre situation.

Comment payer cette formation ?

  • Votre CPFCette formation n’est pas indiquée comme éligible au CPF. Le centre vous dira si une autre version l’est.
  • Si vous cherchez un emploiFrance Travail peut financer tout ou partie de la formation avec l’aide individuelle à la formation (AIF), si elle vous aide à retrouver un poste.
  • Si vous êtes salarié(e)Votre employeur peut la prendre en charge dans son plan de formation, souvent avec l’aide de son OPCO.
Estimer mon reste à charge Lire le guide : France Travail et AIF

A.d.B.I.

A.d.B.I. est un cabinet de conseil et formation spécialisé en Data et Intelligence Artificielle. L'organisme propose des formations sur des outils comme Talend, Power BI, Snowflake, Python ou l'IA générative, avec des stages pratiques en présentiel dans ses locaux, en inter ou intra-entreprise.

Découvrir le centre

Quelle formation cherchez‑vous ?