Accueil > Formations > Data Science – Deep learning > BIG DATA Kafka : Ingestion et traitement de messages

Formation BIG DATA Kafka : Ingestion et traitement de messages

Domaine : Data Science – Deep learning

DURÉE
2 jour(s)

OBJECTIFS

Comprendre le fonctionnement de Kafka. Acquérir les bonnes pratiques de distribution de messages. Savoir configurer Kafka pour intégrer les données de différents formats et de sources diverses.

Pré-requis

Connaissance de l’écosystème Hadoop et disposer de bases en programmation (dans un langage objet tel que java, scala ou python).

Participants

Chef de projet, développeur souhaitant mettre en oeuvre Kafka pour la distribution de messages.

coût

Formation en cours collectif
Tarif par personne : 1225 € HT

Nous contacter pour une formation sur mesure ou en intra

programme

Télécharger le plan de cours

Consulter le plan de cours

LIEUx de formation

Notre centre de formation à Grenoble Notre centre de formation à Moirans

Notre centre de formation à Sophia AntipolisOu sur votre site en formation intra

PROGRAMME DE FORMATION
BIG DATA Kafka : Ingestion et traitement de messages

Introduction

Le projet kafka (Historique, Fonctionnalités, Principe de fonctionnement)
Présentation de l’architecture et du rôle de chaque composant (Broker, producer, consumer)
Liaison avec Zookeeper

Mise en oeuvre

Préconisations d’installation et prérequis
Travaux pratiques (Installation et lancement de Zookeeper et du kafka-server, Création d’un topic simple, Mise en oeuvre d’une chaîne de base)
Visualisation des messages avec kafka-console-consumer

Multi-broker

Etude de la configuration du broker
Travaux pratiques (Création d’une configuration multi-broker, Démarrage de plusieurs noeuds)

Applicatif

Conception d'applications avec Kafka
Principe de fonctionnment
Travaux pratiques (Développement de prototypes de Python, Java, Scala, Couplage avec SparkStreaming en mode batch, en mode continu)

La réplication

Facteur de réplication
Partitions
Travaux Pratiques (Tests de haute disponibilité dans une configuration multi-noeuds)

Kafka Connect

Présentation des fonctionnalités (Intégration de données d’origines multiples, Modes de fonctionnement (standalone ou distribué))
Types de connecteurs
Travaux pratiques (Configuration de connecteurs, Ingestion de données, Création d’une chaîne de transformation)

Sécurisation

Chiffrement SSL et authentification SASL
Sécurisation de l’infrastructure (Zookeeper, proxy Rest)

Exploitation

Mise en oeuvre de kafka-tool
Gestion des logs
Détection de pannes (Méthodes et outils)
Benmarks

dates des formations a grenoble

Du 04/02/21 au 05/02/21
Réserver
Du 10/06/21 au 11/06/21
Réserver
Du 11/10/21 au 12/10/21
Réserver
Du 14/12/21 au 15/12/21
Réserver

dates des formations a SOPHIA ANTIPOLIS

Du 04/02/21 au 05/02/21
Réserver
Du 10/06/21 au 11/06/21
Réserver
Du 11/10/21 au 12/10/21
Réserver
Du 14/12/21 au 15/12/21
Réserver

formations associées

Apache Pig : Développement de scripts
Blockchain : Mise en pratique
Flux de données avec Storm
Apache Flink
BIG DATA Gestion et pilotage de projets
BIG DATA Architecture et technologies
BIG DATA Hadoop Infrastructure sécurisée
BIG DATA Cassandra
BIG DATA Hadoop - L’écosysteme
BIG DATA Elastic Stack : Présentation
BIG DATA Hadoop Stockage avec HBase
BIG DATA Elastic Stack pour administrateurs
BIG DATA Intégration SQL, Hive, SparkDataFrames
BIG DATA Hadoop Cloudera Administration
BIG DATA NEO4J Graphes et analyse
BIG DATA Hadoop Développement
BIG DATA Hadoop EMR
BIG DATA Programmation R et intégration Big Data
BIG DATA Hadoop Hortonworks Administration
BIG DATA Spark : Traitement de données
BIG DATA Supervision
BIG DATA La synthèse