Numérique & IA

Apache Spark : traitements distribués sur gros volumes

Proposée par Retengr · certifié Qualiopi

Durée
28 h sur 4 jours
Lieu
Toulouse
Format
Hybride
Niveau
Intermédiaire

Ce que vous allez apprendre

Maîtrisez Apache Spark pour concevoir des applications capables de traiter de gros volumes de données, du batch au streaming, en exploitant la puissance du calcul distribué en mémoire.

À l'issue de la formation, vous serez capable de

  • Concevoir une application avec Apache Spark
  • Comprendre le principe de distribution des traitements
  • Maîtriser les concepts fondamentaux des RDD (Resilient Distributed Dataset)
Lire la suite
  • Utiliser les dataframes via Spark SQL
  • Utiliser SparkUI pour analyser les jobs et tâches de Spark
  • Positionner SparkML dans un contexte de data science
  • Traiter des données en continu avec Spark Streaming

Programme

Présentation de Spark

  • Spark: un besoin de distribuer vos traitements
  • Architecture de Spark runtime: driver, executor, master
  • Positionner Spark vs Hadoop
  • Les langages du framework: Java, Scala, Python, R

RDD: Resilient Distributed Dataset

  • RDD: le composant fondateur du fonctionnement de Spark
  • Les partitions: la base de la distribution
  • Transformations, actions et directed acyclic graph
  • Manipuler un RDD: une API riche
  • Le cas particulier des Pairs RDD

SparkSQL, Dataframes et Datasets

  • Un modèle de programmation haut niveau
  • Initialisation d'un dataframe
  • Manipulation: sélection, tri et fonctions d'agrégation
  • Dataset: une surcouche typée des dataframes
  • Comprendre le plan d'exécution d'une requête
  • Bonnes et mauvaises pratiques avec SparkSQL

Mise en cluster: les infrastructures de déploiement

  • Les composants d'une exécution Spark: jobs, stages et tasks
  • Un principe important: data locality
  • Distribution des données dans le cadre d'un cluster: les partitions
  • Redistribution des données: le shuffle
  • Bonnes pratiques et performance

Machine Learning

  • Comprendre les principes fondamentaux du Machine Learning
  • Apprentissage et création d'un modèle avec SparkML

Spark Streaming

  • Collecte et traitement des données en continu
  • Stream processing avec Spark
  • Comprendre le principe du micro-batching

Pour qui ?

Prérequis

Public: Architectes, développeurs, chefs de projet, data miners.

Prérequis: Une connaissance d'un langage de programmation est demandée. Un entretien téléphonique avec le formateur permet de valider le niveau et les attentes.

Questions fréquentes

Combien de temps dure la formation Apache Spark ?

La formation dure 4 jours, soit 28 heures, avec 70% de travaux pratiques.

À qui s'adresse cette formation ?

Elle est conçue pour les architectes, développeurs, chefs de projet et data miners.

Faut-il des prérequis pour suivre cette formation ?

Une connaissance d'un langage de programmation est nécessaire. Un entretien téléphonique avec le formateur permet de vérifier le niveau.

Où se déroule la formation ?

Elle alterne présentiel et distance, avec une partie à Toulouse.

Peut-on la financer ?

Elle n’est pas indiquée comme éligible au CPF, mais France Travail ou votre employeur peuvent la financer selon votre situation.

Quel est le prix de la formation ?

Le centre affiche 2 200 €.

Comment payer cette formation ?

  • Votre CPFCette formation n’est pas indiquée comme éligible au CPF. Le centre vous dira si une autre version l’est.
  • Si vous cherchez un emploiFrance Travail peut financer tout ou partie de la formation avec l’aide individuelle à la formation (AIF), si elle vous aide à retrouver un poste.
  • Si vous êtes salarié(e)Votre employeur peut la prendre en charge dans son plan de formation, souvent avec l’aide de son OPCO.
Estimer mon reste à charge Lire le guide : France Travail et AIF

Retengr

Retengr est un centre de formation spécialisé dans les hautes technologies informatiques, basé à Toulouse. Cet organisme de formation propose des formations expertes pour les professionnels de l'informatique, avec une expertise reconnue en Data, DevOps, Web client, Agilité, Mobilité et Architecture logicielle.

Découvrir le centre
2 200 €

Quelle formation cherchez‑vous ?