- Durée
- 7 h sur 1 jour
- Lieu
- Montbonnot St Martin
- Format
- Hybride
- Niveau
- Intermédiaire
Ce que vous allez apprendre
Vous manipulez déjà des données avec Pandas ? Cette journée vous fait passer au traitement distribué sur cluster Spark, avec PySpark, sur des jeux de données réalistes.
À l'issue de la formation, vous serez capable de
- Reconnaître les spécificités du traitement de données en environnement Big Data
- Comprendre le rôle du driver, du master et des exécuteurs dans un cluster Spark
- Expliquer le partitionnement des données et le shuffle
- Appliquer les principales manipulations de données avec PySpark
Programme
Big Data et clusters Spark
- Architecture d'un cluster Spark: driver, master, exécuteurs
Lecture et écriture de données
- Lecture et écriture de données
- Partitionnement des données
Exécution paresseuse
- Exécution paresseuse (lazy evaluation) et récupération des résultats
DataFrames Spark
- Spark DataFrames
- Manipulation de données de base
Exécution d'une application Spark
- Structure d'une application: jobs, stages, tasks
- Notion de shuffle
- Interface Spark UI
Agrégation et jointure
- Group by
- Jointures
Spark et SQL
- Requêtes SQL sur les données Spark
Pour qui ?
Prérequis
Public: Toute personne ayant déjà manipulé des données en Python, notamment avec Pandas, et souhaitant transposer ces traitements avec PySpark.
Prérequis: Connaître les bases de la manipulation de données en Python avec Pandas, par exemple après la formation PY2. Documentation de la formation en anglais, sessions données en français. Ordinateur individuel et connexion internet; en distanciel, double écran recommandé.
Questions fréquentes
Combien de temps dure la formation ?
La formation dure 1 jour, soit 7 heures.
Faut-il des prérequis pour suivre cette formation ?
Oui, il faut connaître les bases de la manipulation de données en Python avec Pandas, par exemple après la formation PY2.
À qui s'adresse cette formation ?
Elle s'adresse aux personnes qui ont déjà manipulé des données en Python et veulent passer à PySpark pour le Big Data.
Où se déroule la formation ?
Elle alterne présentiel et distance, avec une partie à Montbonnot St Martin.
Peut-on la financer ?
Elle n’est pas indiquée comme éligible au CPF, mais France Travail ou votre employeur peuvent la financer selon votre situation.
Quel est le prix de la formation ?
Le centre affiche 990 €.
Comment payer cette formation ?
- Votre CPFCette formation n’est pas indiquée comme éligible au CPF. Le centre vous dira si une autre version l’est.
- Si vous cherchez un emploiFrance Travail peut financer tout ou partie de la formation avec l’aide individuelle à la formation (AIF), si elle vous aide à retrouver un poste.
- Si vous êtes salarié(e)Votre employeur peut la prendre en charge dans son plan de formation, souvent avec l’aide de son OPCO.

Probayes
Probayes, cabinet de conseil et formation filiale du Groupe La Poste, propose des formations en intelligence artificielle, data science et recherche opérationnelle.
Découvrir le centreFormations similaires
Éligible CPF
Éligible CPF
