Numérique & IA

PySpark : initiation au traitement de données Big Data en Python

Proposée par Probayes

Durée
7 h sur 1 jour
Lieu
Montbonnot St Martin
Format
Hybride
Niveau
Intermédiaire

Ce que vous allez apprendre

Vous manipulez déjà des données avec Pandas ? Cette journée vous fait passer au traitement distribué sur cluster Spark, avec PySpark, sur des jeux de données réalistes.

À l'issue de la formation, vous serez capable de

  • Reconnaître les spécificités du traitement de données en environnement Big Data
  • Comprendre le rôle du driver, du master et des exécuteurs dans un cluster Spark
  • Expliquer le partitionnement des données et le shuffle
  • Appliquer les principales manipulations de données avec PySpark

Programme

Big Data et clusters Spark

  • Architecture d'un cluster Spark: driver, master, exécuteurs

Lecture et écriture de données

  • Lecture et écriture de données
  • Partitionnement des données

Exécution paresseuse

  • Exécution paresseuse (lazy evaluation) et récupération des résultats

DataFrames Spark

  • Spark DataFrames
  • Manipulation de données de base

Exécution d'une application Spark

  • Structure d'une application: jobs, stages, tasks
  • Notion de shuffle
  • Interface Spark UI

Agrégation et jointure

  • Group by
  • Jointures

Spark et SQL

  • Requêtes SQL sur les données Spark

Pour qui ?

Prérequis

Public: Toute personne ayant déjà manipulé des données en Python, notamment avec Pandas, et souhaitant transposer ces traitements avec PySpark.

Prérequis: Connaître les bases de la manipulation de données en Python avec Pandas, par exemple après la formation PY2. Documentation de la formation en anglais, sessions données en français. Ordinateur individuel et connexion internet; en distanciel, double écran recommandé.

Questions fréquentes

Combien de temps dure la formation ?

La formation dure 1 jour, soit 7 heures.

Faut-il des prérequis pour suivre cette formation ?

Oui, il faut connaître les bases de la manipulation de données en Python avec Pandas, par exemple après la formation PY2.

À qui s'adresse cette formation ?

Elle s'adresse aux personnes qui ont déjà manipulé des données en Python et veulent passer à PySpark pour le Big Data.

Où se déroule la formation ?

Elle alterne présentiel et distance, avec une partie à Montbonnot St Martin.

Peut-on la financer ?

Elle n’est pas indiquée comme éligible au CPF, mais France Travail ou votre employeur peuvent la financer selon votre situation.

Quel est le prix de la formation ?

Le centre affiche 990 €.

Comment payer cette formation ?

  • Votre CPFCette formation n’est pas indiquée comme éligible au CPF. Le centre vous dira si une autre version l’est.
  • Si vous cherchez un emploiFrance Travail peut financer tout ou partie de la formation avec l’aide individuelle à la formation (AIF), si elle vous aide à retrouver un poste.
  • Si vous êtes salarié(e)Votre employeur peut la prendre en charge dans son plan de formation, souvent avec l’aide de son OPCO.
Estimer mon reste à charge Lire le guide : France Travail et AIF

Probayes

Probayes, cabinet de conseil et formation filiale du Groupe La Poste, propose des formations en intelligence artificielle, data science et recherche opérationnelle.

Découvrir le centre
990 €

Quelle formation cherchez‑vous ?