Numérique & IA
Architecture Big Data : concepts, technologies et valeur des données
Proposée par Retengr · certifié Qualiopi
- Durée
- 21 h sur 3 jours
- Lieu
- Toulouse
- Format
- Hybride
- Niveau
- Intermédiaire
Ce que vous allez apprendre
Vous êtes DSI, architecte ou chef de projet et vous voulez comprendre comment tirer parti du Big Data ? Cette formation de 3 jours vous donne les clés pour définir une architecture, choisir les bonnes technologies et organiser la collecte de données.
À l'issue de la formation, vous serez capable de
- Définir les concepts du Big Data et identifier sa valeur ajoutée
- Déterminer la valeur que l'on peut tirer des données disponibles
- Cadrer l'écosystème technologique adapté à votre besoin
Lire la suite
- Penser et organiser la collecte des données
- Choisir une technologie de stockage de données adaptée à votre usage
- Connaître les technologies pour traiter des données volumineuses
- Comprendre les différents métiers: data scientist, data engineer
Programme
Comprendre les concepts et les enjeux du Big Data
- Origines et définition du Big Data
- Les 3 V: Volume, Vélocité et Variété
- Diversité dans les cas d'usage: données chaudes, données froides
- Vos données: quelle valeur en tirer ?
- Un exemple d'architecture Big Data
- Exercice: parcourir différentes sources de données accessibles via le Web (API)
Expliquer les technologies du Big Data
- Quelles données et pour quoi faire ?
- Définir les outils de collecte de données
- Anticiper les moyens de stockage en fonction des usages
- Le datalake: votre référentiel de données
- Paralléliser ou traiter vos données en continu ?
- S'approprier les données avec des analyses visuelles: la dataviz
Stocker des données
- État de l'art: le NoSQL sonne-t-il le glas des bases de données relationnelles ?
- Le triangle de CAP
- Pourquoi le NoSQL ?
- Les différentes approches: document / wide column / key-value
- Tour d'horizon des solutions: MongoDB, Cassandra, HBase
- Exercice: définir et mettre en place un modèle de stockage de type document avec MongoDB
Collecter les données
- Comprendre les différentes sources de données: IoT, SI, réseaux sociaux, API
- Gérer des formats de données différents: JSON, XML, CSV, binaires
- De l'importance des connecteurs
- Tour d'horizon des outils du marché: NIFI, Node Red, Flume, Sqoop
- Exercice: utiliser NIFI pour collecter les données d'une API publique
Hadoop
- Comprendre le périmètre de Hadoop: stockage et traitement
- Une plateforme de traitement batch et de stockage de données froides
- Architecture et composants de la plateforme Hadoop
- HDFS, YARN et MapReduce: les 3 piliers
- Un écosystème complexe et complet: Hive, HBase
- Exercice: manipuler des fichiers via Hue, mise en place de tables et requêtes Hive sur une plateforme Hadoop
Spark
- Un framework pour paralléliser des traitements
- Positionnement Spark / Hadoop
- Quelle infrastructure de déploiement
- Comprendre la complexité de la parallélisation des traitements
- SparkML: une librairie pour la datascience
- Exercice: mise en place et analyse d'un traitement simple
Voir tout le programme
Stream processing
- Le besoin de traitement au fil de l'eau
- Streaming ETL
- Streaming analytics
- Prise de décision en temps réel
- Les approches et outils de streaming: Spark Streaming, Kafka Streaming, Flink
- Exercice: analyse en continu d'un flux de données simple
Transporter vos données: Kafka
- Définir le besoin d'un bus de données
- Les middleware orientés messages dans un contexte Big Data
- Définir les acteurs: producers, consumers
- Comprendre les composants: messages, brokers, topics
- Un outil taillé pour les performances
- Kafka Connect: connectez vos outils à Kafka
- Exercice: mise en place d'un bus Kafka pour permettre à Elasticsearch de manipuler des données extraites via NIFI
Big Data et Intelligence Artificielle
- Présentation de l'Intelligence Artificielle
- Positionnement de l'IA dans un contexte Big Data
- Les différentes approches du machine learning: clusterisation, classification, régression
- Les implémentations: Scikit Learning, SparkML
- Le deep learning
- Démo: processus complet d'un projet de datascience (analyse des données, sélection de données, apprentissage, scoring)
Datavisualization
- Pourquoi faire ?
- Dataviz pour comprendre les données
- L'écosystème de la dataviz: outils et API
- Exercice: analyse visuelle d'un jeu de données
Pour qui ?
Prérequis
Public: DSI, architecte SI, chef de projet, développeur, data miner, data scientist.
Prérequis: Connaissance d'un langage de programmation structuré et bases du monde relationnel. Un entretien téléphonique avec le formateur confirme le niveau et les attentes.
Questions fréquentes
Combien de temps dure la formation ?
La formation dure 3 jours, soit 21 heures, en présentiel ou à distance.
À qui s'adresse cette formation ?
Elle s'adresse aux DSI, architectes SI, chefs de projet, développeurs, data miners et data scientists.
Faut-il des prérequis pour suivre cette formation ?
Il est souhaitable d'avoir des bases en programmation structurée et en bases de données relationnelles. Un entretien téléphonique avec le formateur permet de valider votre niveau.
Où se déroule la formation ?
Elle alterne présentiel et distance, avec une partie à Toulouse.
Peut-on la financer ?
Elle n’est pas indiquée comme éligible au CPF, mais France Travail ou votre employeur peuvent la financer selon votre situation.
Quel est le prix de la formation ?
Le centre affiche 2 100 €.
Comment payer cette formation ?
- Votre CPFCette formation n’est pas indiquée comme éligible au CPF. Le centre vous dira si une autre version l’est.
- Si vous cherchez un emploiFrance Travail peut financer tout ou partie de la formation avec l’aide individuelle à la formation (AIF), si elle vous aide à retrouver un poste.
- Si vous êtes salarié(e)Votre employeur peut la prendre en charge dans son plan de formation, souvent avec l’aide de son OPCO.

Retengr
Retengr est un centre de formation spécialisé dans les hautes technologies informatiques, basé à Toulouse. Cet organisme de formation propose des formations expertes pour les professionnels de l'informatique, avec une expertise reconnue en Data, DevOps, Web client, Agilité, Mobilité et Architecture logicielle.
Découvrir le centreChez Retengr, aussi



Formations similaires
Éligible CPF
Éligible CPF
Éligible CPF