Formation Flux de données avec Storm
Domaine : Data Science – Deep learning
DURÉE
2.0 jour(s)
OBJECTIFS
Savoir mettre en oeuvre Storm pour le traitement de flux de données.
Pré-requis
Connaissance d'un langage de programmation comme Java ou Python.
Participants
Chef de projet, data scientist, développeur.
coût
Nous contacter pour une formation sur mesure ou en intra
LIEUx de formation
Notre centre de formation à GrenobleNotre centre de formation à MoiransNotre centre de formation à Sophia Antipolis
Sur votre site en formation intraEn classe distancielle
PROGRAMME DE FORMATION
Flux de données avec Storm
Introduction
Présentation de Storm (Fonctionnalités, Architecture, Langages supportés)
Définitions (spout, bolt, topology)
Définitions (spout, bolt, topology)
Architecture
Etude des composants d'un cluster Storm (Master node 'nimbus' et worker nodes)
Positionnement par rapport à un cluster Hadoop (Le modèle de données, Différents types de flux)
Positionnement par rapport à un cluster Hadoop (Le modèle de données, Différents types de flux)
Premiers pas
Configuration d'un environnement de développement
Installation d'un cluster Storm
Travaux pratiques sur le projet storm-starter
Installation d'un cluster Storm
Travaux pratiques sur le projet storm-starter
Flux de données
Définition du nombre de flux dans un noeud
Création de topologies regroupants des flux entre différents noeuds
Communication entre flux en JSON
Lecture de flux d'origines diverses (JMS, Kafka )
Création de topologies regroupants des flux entre différents noeuds
Communication entre flux en JSON
Lecture de flux d'origines diverses (JMS, Kafka )
Haute disponibilité
Tolérance aux pannes (Principe de fiabilisation des master node, workers node, nimbus)
Garantie de traitement des flux (Principe et paramètres, TOPOLOGY_MESSAGE_TIMEOUT_ SECS, TOPOLOGY_ACKERS)
Traitements en temps réel avec Trident
Scalabilité (Parallélisme dans un cluster storm, Ajouts de noeuds, Commande 'storm rebalance')
Garantie de traitement des flux (Principe et paramètres, TOPOLOGY_MESSAGE_TIMEOUT_ SECS, TOPOLOGY_ACKERS)
Traitements en temps réel avec Trident
Scalabilité (Parallélisme dans un cluster storm, Ajouts de noeuds, Commande 'storm rebalance')
dates des formations a grenoble
dates des formations a SOPHIA ANTIPOLIS
formations associées
- Apache Flink
- Blockchain : Mise en pratique
- Apache Pig : Développement de scripts
- Apache Cassandra : Administration
- BIG DATA Gestion et pilotage de projets
- BIG DATA Architecture et technologies
- BIG DATA Hadoop Infrastructure sécurisée
- BIG DATA Cassandra
- BIG DATA Hadoop - Lécosysteme
- BIG DATA Elastic Stack : Présentation
- BIG DATA Hadoop Stockage avec HBase
- BIG DATA Elastic Stack pour administrateurs
- BIG DATA Intégration SQL, Hive, SparkDataFrames
- BIG DATA Hadoop Cloudera Administration
- BIG DATA Kafka : Ingestion et traitement de messages
- BIG DATA NEO4J Graphes et analyse
- BIG DATA Hadoop Développement
- BIG DATA Hadoop EMR
- BIG DATA Programmation R et intégration Big Data
- BIG DATA Hadoop Hortonworks Administration
- BIG DATA Spark : Traitement de données
- BIG DATA Supervision
- BIG DATA La synthèse