Formation BIG DATA Hadoop EMR
Domaine : Data Science – Deep learning
DURÉE
3 jour(s)
OBJECTIFS
Savoir mettre en oeuvre les techniques de calcul distribué avec Hadoop EMR.
Pré-requis
Connaissance des fondamentaux du cloud/
Participants
Architecte, chef de projets souhaitant bénéficier des services offerts par la distribution Hadoop fournie par AWS.
coût
Formation en cours collectif
Tarif par personne : 1900 € HT
Nous contacter pour une formation sur mesure ou en intra
LIEUx de formation
Notre centre de formation à Sophia AntipolisOu sur votre site en formation intra
PROGRAMME DE FORMATION
BIG DATA Hadoop EMR
Présentation AWS Hadoop EMR
Rappels des services de base (EC2 (Elastic Compute Cloud), VPC (Virtual Private Cloud), S3 (Simple Storage Service), EBS (Elastic Block Storage), RDS (Relational Database Service))
Caractéristiques du calcul distribué et du service EMR (Amazon Elactis MapReduce)
Caractéristiques du calcul distribué et du service EMR (Amazon Elactis MapReduce)
La distribution Hadoop EMR
Historique du projet hadoop
Les fonctionnalités (Stockage, outils d'extraction, de conversion, ETL, analyse…)
Exemples de cas d'utilisation sur des grands projets
Les principaux composants (HDFS pour le stockage, YARN pour les calculs)
Les distributions et leurs caractéristiques (Composants de la distribution Hadoop EMR)
Les fonctionnalités (Stockage, outils d'extraction, de conversion, ETL, analyse…)
Exemples de cas d'utilisation sur des grands projets
Les principaux composants (HDFS pour le stockage, YARN pour les calculs)
Les distributions et leurs caractéristiques (Composants de la distribution Hadoop EMR)
Mise en oeuvre
Démonstrations sur une architecture Hadoop multi-noeuds
Travaux pratiques (Mise en place d'une configuration de base avec Hbase, Cycle de fonctionnement, Transferts par s3, Envoi des travaux, Visualisation des résultats, Suivi des travaux avec Hue, Interactivité avec les Notebooks : jupyter)
Configuration des composants de la distribution
Travaux pratiques (Mise en place d'une configuration de base avec Hbase, Cycle de fonctionnement, Transferts par s3, Envoi des travaux, Visualisation des résultats, Suivi des travaux avec Hue, Interactivité avec les Notebooks : jupyter)
Configuration des composants de la distribution
Exploitation
Gestion des évènements avec Events (Contrôle du réseau et des VPC)
Automatisation de l'exécution sur AWS depuis un poste local (Suivi distant des travaux)
Journalisation, visualisation des logs (Utilisation de la ferme aws en débordement d'une ferme locale)
Sécurité : mise en place d'une configuration de sécurité
Liens avec IAM
Automatisation de l'exécution sur AWS depuis un poste local (Suivi distant des travaux)
Journalisation, visualisation des logs (Utilisation de la ferme aws en débordement d'une ferme locale)
Sécurité : mise en place d'une configuration de sécurité
Liens avec IAM
Optimisation
Analyse des performances
Déploiement d'une configuration avec Spark
Evaluation des performances par rapport à une ferme locale
Comparaison des coûts
Mise en place d'automates d'optimisation
Déploiement d'une configuration avec Spark
Evaluation des performances par rapport à une ferme locale
Comparaison des coûts
Mise en place d'automates d'optimisation
dates des formations a grenoble
dates des formations a SOPHIA ANTIPOLIS
formations associées
- Apache Pig : Développement de scripts
- Blockchain : Mise en pratique
- Flux de données avec Storm
- Apache Flink
- BIG DATA Gestion et pilotage de projets
- BIG DATA Architecture et technologies
- BIG DATA Hadoop Infrastructure sécurisée
- BIG DATA Cassandra
- BIG DATA Hadoop - L’écosysteme
- BIG DATA Elastic Stack : Présentation
- BIG DATA Hadoop Stockage avec HBase
- BIG DATA Elastic Stack pour administrateurs
- BIG DATA Intégration SQL, Hive, SparkDataFrames
- BIG DATA Hadoop Cloudera Administration
- BIG DATA Kafka : Ingestion et traitement de messages
- BIG DATA NEO4J Graphes et analyse
- BIG DATA Hadoop Développement
- BIG DATA Programmation R et intégration Big Data
- BIG DATA Hadoop Hortonworks Administration
- BIG DATA Spark : Traitement de données
- BIG DATA Supervision
- BIG DATA La synthèse