Numérique & IA
Formation Data Engineer – construisez des pipelines de données fiables
Proposée par Liora
- Durée
- 400 h sur 13 semaines
- Lieu
- À distance
- Format
- Distanciel
- Niveau
- Tout public
Ce que vous allez apprendre
Maîtrisez Python, Airflow, Spark et AWS pour automatiser le traitement des données. Une formation complète de plus de 400 heures, éligible au CPF, avec certification RNCP de niveau 7.
À l'issue de la formation, vous serez capable de
- Élaborer une architecture technique de gestion de données
- Déployer une solution d’analyse de données massives intégrant l’intelligence artificielle
- Construire et automatiser des pipelines de données fiables avec Python, Airflow et AWS
Lire la suite
- Maîtriser les outils de gestion de version (Git, GitHub) et l’environnement Linux
- Traiter des données en batch et en streaming avec PySpark, Kafka et Spark Streaming
- Mettre en place un data warehouse avec Snowflake et DBT
Programme
Introduction à Python
- Maîtriser les variables, types de données et structures de contrôle
- Utiliser les fonctions, classes et modules pour structurer le code
- Comprendre les décorateurs, le multithreading et l’asynchronisme
- Introduire les annotations et la bibliothèque MyPy
- Comprendre les principes du RGPD et leur impact sur la gestion des données
- Découvrir les concepts d’anonymisation et de pseudonymisation
- Fondamentaux de l’IA générative et du Prompt Engineering (optionnel)
- Applications professionnelles: productivité, créativité, analyse et synthèse
- Enjeux éthiques et juridiques: RGPD, AI Act et limites de l’usage des IA
Outils avancés
- Introduction au système de gestion de version Git
- Initialisation d’un dépôt Git pour suivre l’évolution des projets
- Approfondir les concepts clés: branches, tags et merges
- Découvrir la plateforme GitHub et ses outils collaboratifs
- Explorer les fonctionnalités majeures: Fork, Pull Request et Issues
- Partager ses modifications via les commandes pull et push
- Présenter GitHub Actions et ses applications pour l’automatisation
- Présenter les bases des systèmes Linux et leur fonctionnement
- Prendre en main un terminal et exécuter des commandes essentielles
- Écrire et exécuter des scripts Bash pour automatiser des tâches courantes
- S’initier au Web Scraping avec la bibliothèque BeautifulSoup
- Apprendre à naviguer dans un document HTML et extraire des informations spécifiques
Big Data Variété
- Introduire les bases de données relationnelles et leur fonctionnement
- Apprendre les bases du langage SQL pour interroger et manipuler des données
- Approfondir les concepts SQL et leurs applications pour des analyses avancées
- Présenter MongoDB et son approche des bases de données NoSQL
- Se familiariser avec la syntaxe des requêtes pour manipuler les documents
- Découvrir les bases de données orientées colonnes et leurs spécificités
- Effectuer des requêtes et modifier des données avec Python et Happybase
- Comprendre le fonctionnement d’un moteur de recherche et son architecture
- Présenter les index, leur mode d’emploi et le mapping des données
- Prétraiter les données avec Ingest Node et analyser du texte avec Text Analyzer
- Introduire les bases de données orientées graphes et leurs cas d’usage
- Apprendre le langage de requête Cypher pour interroger des données relationnelles
- Charger des données et manipuler un client Python pour Neo4J
- Présenter MongoDB et son approche des bases de données NoSQL
- Se familiariser avec la syntaxe des requêtes pour manipuler les documents
Batch Streaming
- Introduire le calcul distribué avec PySpark pour traiter de grands volumes de données
- Présenter les APIs RDD et DataFrame pour optimiser les manipulations de données
- Construire un pipeline de traitement de données distribuées avec PySpark
- Explorer le Machine Learning distribué avec Spark MLlib
- Prendre en main Spark Streaming pour traiter des données en temps réel
- Comprendre le fonctionnement du mini-batch streaming dans Spark Streaming
- Découvrir les fonctionnalités avancées du Structured Streaming
- Créer un pipeline de traitement en temps réel avec Structured Streaming
- Présenter l’architecture et les avantages de la plateforme Kafka
- Gérer les paramètres des Producers et configurer les clés de partitionnement
- Maîtriser les paramètres des Consumers et organiser les Consumer Groups
Data Warehouse
- Utiliser le Data Warehousing avec une sécurité renforcée et compatible avec les fournisseurs cloud
- Stocker et analyser des données SQL optimisées pour le cloud
- Exploiter une architecture qui sépare le stockage et le calcul pour optimiser les coûts et performances
- Effectuer des transformations directement depuis un data warehouse
- Produire des datasets de haute qualité pour l’analyse
- Automatiser l’exécution des transformations et générer une documentation interactive
- Acquérir une compréhension globale du cloud AWS (optionnel)
- Découvrir les principes architecturaux de base: sécurité, support, tarification et gouvernance
Machine Learning
- Prétraiter les données pour optimiser l’entraînement des modèles
- Sélectionner et optimiser un algorithme de Machine Learning adapté aux données
- Implémenter des algorithmes de régression et de classification
- Développer des modèles de clustering pour segmenter les données
- Utiliser Matplotlib pour représenter les données sous forme de graphiques adaptés
- Construire des visualisations avancées: barplots, scatter plots, box plots, pie
Pour qui ?
Prérequis
Public: Toute personne souhaitant devenir data engineer, ingénieur big data ou développeur ETL.
Questions fréquentes
Combien de temps dure la formation Data Engineer ?
Vous pouvez la suivre en bootcamp intensif de 13 semaines ou à temps partiel sur 11 mois, pour un total de plus de 400 heures.
À qui s’adresse cette formation ?
Elle est conçue pour les personnes qui souhaitent devenir data engineer, ingénieur big data ou développeur ETL. Aucun prérequis spécifique n’est mentionné.
Comment se déroule la formation ?
Elle est 100 % en ligne. Vous alternez entre des périodes d’apprentissage sur une plateforme interactive et des masterclass animées par un professeur expert, plusieurs fois par semaine.
Peut-on la financer avec le CPF ?
Oui, elle est indiquée comme éligible au CPF. Le centre vous précise la prise en charge selon votre situation.
Quels sont les prérequis ?
Public : Toute personne souhaitant devenir data engineer, ingénieur big data ou développeur ETL.
Comment payer cette formation ?
- Avec votre CPFCette formation est éligible : vous pouvez la payer avec votre compte personnel de formation. 150 € restent à votre charge, sauf si votre employeur ou France Travail complète.
- Si vous cherchez un emploiFrance Travail peut financer tout ou partie de la formation avec l’aide individuelle à la formation (AIF), si elle vous aide à retrouver un poste.
- Si vous êtes salarié(e)Votre employeur peut la prendre en charge dans son plan de formation, souvent avec l’aide de son OPCO.

Liora
Liora, anciennement DataScientest, propose des formations aux métiers de la tech, notamment la data science, l'analyse de données, le machine learning et l'administration systèmes, réseaux, cloud et cybersécurité.
Découvrir le centreChez Liora, aussi

Éligible CPF
Éligible CPFFormations similaires
Éligible CPF
Éligible CPF
Éligible CPF