Formation BIG DATA Supervision
Domaine : Data Science – Deep learning
DURÉE
3 jour(s)
OBJECTIFS
Connaître les outils et mécanismes permettant de superviser des fermes BigData. Identifier les critères de choix.
Pré-requis
Connaissance générale des systèmes d’informations et des bases de données.
Participants
Exploitant, architecte BigData, chef de projet et toute personne souhaitant mettre en oeuvre un système de supervision d’une ferme BigData.
coût
Nous contacter pour une formation sur mesure ou en intra
LIEUx de formation
Notre centre de formation à Sophia AntipolisOu sur votre site en formation intra
PROGRAMME DE FORMATION
BIG DATA Supervision
Supervision : Définitions
Les objectifs de la supervision, les techniques disponibles (La supervision d’une ferme BigData)
Objets supervisés (Les services et ressources, Protocoles d’accès, Exporteurs distribués de données)
Définition des ressources à surveiller (Journaux et métriques)
Application aux fermes BigData (Hadoop, Cassandra, MongoDB)
Objets supervisés (Les services et ressources, Protocoles d’accès, Exporteurs distribués de données)
Définition des ressources à surveiller (Journaux et métriques)
Application aux fermes BigData (Hadoop, Cassandra, MongoDB)
Mise en oeuvre
Besoin de base de données avec agents distribués, de stockage temporel (timeseriesDB)
Produits (Prometheus, Graphite, ElasticSearch)
Présentation, architectures
Les sur-couches (Kibana, Grafana)
Produits (Prometheus, Graphite, ElasticSearch)
Présentation, architectures
Les sur-couches (Kibana, Grafana)
JMX
Principe des accès JMX (Mbeans, Visualisation avec jconsole et jmsterm)
Suivi des performances cassandra (Débit d’entrées/sorties, Charges, volumes de données, tables, Volumes de données, tables, Tables)
Suivi des performances cassandra (Débit d’entrées/sorties, Charges, volumes de données, tables, Volumes de données, tables, Tables)
Prometheus
Installation et configuration de base
Définition des ressources supervisées, des intervalles de collecte
Démarrage du serveur Prometheus
Premiers pas dans la console web et l’interface graphique
Exporteur JMX / Exporteur mongodb
Démonstration avec Cassandra ou Hadoop/Hbase
Configuration des agents sur les noeuds de calculs
Agrégation des données JMX (Expressions régulières, Requêtage, Visualisation des données)
Définition des ressources supervisées, des intervalles de collecte
Démarrage du serveur Prometheus
Premiers pas dans la console web et l’interface graphique
Exporteur JMX / Exporteur mongodb
Démonstration avec Cassandra ou Hadoop/Hbase
Configuration des agents sur les noeuds de calculs
Agrégation des données JMX (Expressions régulières, Requêtage, Visualisation des données)
Graphite
Modèle de données et mesures
Format des données stockées (Notion de timestamp)
Types de mesures (Compteurs, jauges, histogrammes, résumés)
Identification des ressources supervisées (Notions d’instance, de jobs)
Démonstration avec Cassandra
Comparaison avec Prometheus
Format des données stockées (Notion de timestamp)
Types de mesures (Compteurs, jauges, histogrammes, résumés)
Identification des ressources supervisées (Notions d’instance, de jobs)
Démonstration avec Cassandra
Comparaison avec Prometheus
Exploration et visualisation des données
Mise en oeuvre de Grafana (Installation, configuration)
Pose de filtres sur Prometheus et remontée des données
Etude des différents types de graphiques disponibles
Agrégation de données (Appairage des données entre Prometheus et Grafana)
Visualisation et sauvegarde de graphiques (Création de tableaux de bord et rapports à partir des graphiques)
Pose de filtres sur Prometheus et remontée des données
Etude des différents types de graphiques disponibles
Agrégation de données (Appairage des données entre Prometheus et Grafana)
Visualisation et sauvegarde de graphiques (Création de tableaux de bord et rapports à partir des graphiques)
Kibana : Installation et configuration
Installation, configuration du mapping avec Elasticsearch
Paramétrage dans le fichier kibana.yml
Mapping automatique ou manuel
Configuration des indexes à explorer
Paramétrage dans le fichier kibana.yml
Mapping automatique ou manuel
Configuration des indexes à explorer
dates des formations a grenoble
dates des formations a SOPHIA ANTIPOLIS
formations associées
- Apache Flink
- Flux de données avec Storm
- Blockchain : Mise en pratique
- Apache Pig : Développement de scripts
- Apache Cassandra : Administration
- BIG DATA Gestion et pilotage de projets
- BIG DATA Architecture et technologies
- BIG DATA Hadoop Infrastructure sécurisée
- BIG DATA Cassandra
- BIG DATA Hadoop - L’écosysteme
- BIG DATA Elastic Stack : Présentation
- BIG DATA Hadoop Stockage avec HBase
- BIG DATA Elastic Stack pour administrateurs
- BIG DATA Intégration SQL, Hive, SparkDataFrames
- BIG DATA Hadoop Cloudera Administration
- BIG DATA Kafka : Ingestion et traitement de messages
- BIG DATA NEO4J Graphes et analyse
- BIG DATA Hadoop Développement
- BIG DATA Hadoop EMR
- BIG DATA Programmation R et intégration Big Data
- BIG DATA Hadoop Hortonworks Administration
- BIG DATA Spark : Traitement de données
- BIG DATA La synthèse