Numérique & IA

Formation Data Engineer – construisez des pipelines de données fiables

Proposée par DataScientest

Durée
400 h sur 13 semaines
Lieu
À distance
Format
Distanciel
Niveau
Tout public

Ce que vous allez apprendre

Vous voulez devenir data engineer ? Cette formation vous apprend à construire et automatiser des pipelines de données avec Python, Airflow, Spark et AWS. Accessible à distance, elle prépare à un titre RNCP de niveau 7 et à la certification AWS Cloud Practitioner.

À l'issue de la formation, vous serez capable de

  • Élaborer une architecture technique de gestion de données
  • Déployer une solution d'analyse de données massives intégrant l'intelligence artificielle
  • Construire et automatiser des pipelines de données fiables pour l'entreprise
  • Maîtriser Python, Airflow, Spark et AWS pour le traitement de données
  • Préparer et passer la certification AWS Cloud Practitioner

Programme

Introduction à Python

  • Maîtriser les variables, types de données et structures de contrôle
  • Utiliser les fonctions, classes et modules pour structurer le code
  • Comprendre les décorateurs, le multithreading et l'asynchronisme pour optimiser l'exécution
  • Introduire les annotations et la bibliothèque MyPy pour améliorer la lisibilité du code

RGPD et Éthique

  • Comprendre les principes du RGPD et leur impact sur la gestion des données
  • Découvrir les concepts d'anonymisation et de pseudonymisation

Prompt Engineering et Gen IA (optionnel)

  • Fondamentaux de l'IA générative et du Prompt Engineering, des bases aux techniques avancées
  • Applications professionnelles: productivité, créativité, analyse et synthèse
  • Enjeux éthiques et juridiques: RGPD, AI Act et limites de l'usage des IA

Outils avancés

  • Git: introduction au système de gestion de version, initialisation d'un dépôt, branches, tags et merges
  • GitHub: plateforme collaborative, Fork, Pull Request, Issues, GitHub Actions
  • Système Linux et Script Bash: bases, terminal, scripts Bash pour automatiser des tâches
  • Webscraping avec BeautifulSoup: navigation dans un document HTML et extraction d'informations

Big Data – Variété

  • SQL: bases de données relationnelles, langage SQL pour interroger et manipuler des données
  • MongoDB: bases de données NoSQL, syntaxe des requêtes pour manipuler les documents
  • HBase: bases de données orientées colonnes, requêtes avec Python et Happybase
  • Elasticsearch: moteur de recherche, index, mapping, Ingest Node, Text Analyzer
  • Neo4J: bases de données orientées graphes, langage Cypher, client Python pour Neo4J

Batch et Streaming

  • PySpark: calcul distribué, APIs RDD et DataFrame, pipeline de traitement distribué, Machine Learning avec Spark MLlib
  • Streaming avec Spark: Spark Streaming, mini-batch streaming, Structured Streaming, pipeline en temps réel
  • Kafka: architecture, Producers, partitionnement, Consumers, Consumer Groups
Voir tout le programme

Data Warehouse

  • Snowflake: Data Warehousing avec sécurité renforcée, stockage et analyse SQL optimisés pour le cloud
  • Data Warehousing avec DBT (ELT): transformations depuis un data warehouse, automatisation, documentation interactive

AWS Cloud Practitioner (optionnel)

  • Acquérir une compréhension globale du cloud AWS
  • Découvrir les principes architecturaux de base: sécurité, support, tarification et gouvernance

Machine Learning pour les Data Engineers

  • Prétraiter les données pour optimiser l'entraînement des modèles
  • Sélectionner et optimiser un algorithme de Machine Learning adapté aux données
  • Implémenter des algorithmes de régression et de classification
  • Développer des modèles de clustering pour segmenter les données

Matplotlib

  • Utiliser Matplotlib pour représenter les données sous forme de graphiques adaptés
  • Construire des visualisations avancées: barplots, scatter plots, box plots, pie charts

Pour qui ?

Prérequis

Public: Toute personne souhaitant devenir data engineer, ingénieur big data ou développeur ETL.

Questions fréquentes

Combien de temps dure la formation Data Engineer ?

Vous pouvez la suivre en bootcamp intensif de 13 semaines ou à temps partiel sur 11 mois. Elle représente plus de 400 heures de formation.

À qui s'adresse cette formation ?

Elle est conçue pour les personnes qui veulent devenir data engineer, ingénieur big data ou développeur ETL. Aucun prérequis spécifique n'est mentionné.

Comment se déroule la formation ?

Elle est 100 % en ligne. Vous alternez des périodes d'apprentissage sur une plateforme interactive avec des masterclass animées par un professeur expert, plusieurs fois par semaine.

Peut-on la financer avec le CPF ?

Oui, elle est indiquée comme éligible au CPF. Le centre vous précise la prise en charge selon votre situation.

Quels sont les prérequis ?

Public : Toute personne souhaitant devenir data engineer, ingénieur big data ou développeur ETL.

Comment payer cette formation ?

  • Avec votre CPFCette formation est éligible : vous pouvez la payer avec votre compte personnel de formation. 150 € restent à votre charge, sauf si votre employeur ou France Travail complète.
  • Si vous cherchez un emploiFrance Travail peut financer tout ou partie de la formation avec l’aide individuelle à la formation (AIF), si elle vous aide à retrouver un poste.
  • Si vous êtes salarié(e)Votre employeur peut la prendre en charge dans son plan de formation, souvent avec l’aide de son OPCO.
Estimer mon reste à charge Lire le guide : Le CPF en 2026 Découvrir le métier : Data Engineer

DataScientest

Liora, anciennement DataScientest, forme aux métiers de la tech pour les particuliers, les étudiants en alternance et les entreprises. Ses parcours, notamment dans la data, le machine learning et la cybersécurité, se suivent en bootcamp ou à distance avec des formateurs experts.

Découvrir le centre

Quelle formation cherchez‑vous ?