Formation BIG DATA Hadoop EMR
Domaine : Data Science – Deep learning
DURÉE
3 jour(s)
OBJECTIFS
Savoir mettre en oeuvre les techniques de calcul distribué avec Hadoop EMR
Pré-requis
Connaissance des fondamentaux du cloud
Participants
Architectes, chefs de projets souhaitant bénéficier des services offerts par la distribution Hadoop fournie par AWS
coût
Formation en cours collectif
Tarif par personne : 1900 € HT
Nous contacter pour une formation sur mesure ou en intra
LIEUx de formation
Notre centre de formation à Sophia AntipolisOu sur votre site en formation intra
PROGRAMME DE FORMATION
BIG DATA Hadoop EMR
Présentation AWS Hadoop EMR
Rappels des services de base: EC2 (Elastic Compute Cloud), VPC (Virtual Private Cloud), S3 (Simple Storage Service), EBS (Elastic Block Storage), RDS (Relational Database Service)
Caractéristiques du calcul distribué et du service EMR (Amazon Elactis MapReduce)
Caractéristiques du calcul distribué et du service EMR (Amazon Elactis MapReduce)
La distribution Hadoop EMR
Historique du projet hadoop
Les fonctionnalités : stockage, outils d'extraction, de conversion, ETL, analyse, ...
Exemples de cas d'utilisation sur des grands projets.
Les principaux composants :HDFS pour le stockage et YARN pour les calculs.
Les distributions et leurs caractéristiques. Composants de la distribution Hadoop EMR
Les fonctionnalités : stockage, outils d'extraction, de conversion, ETL, analyse, ...
Exemples de cas d'utilisation sur des grands projets.
Les principaux composants :HDFS pour le stockage et YARN pour les calculs.
Les distributions et leurs caractéristiques. Composants de la distribution Hadoop EMR
Mise en œuvre
Démonstrations sur une architecture Hadoop multi-nœuds
TP : mise en place d'une configuration de base avec HBase. Cycle de fonctionnement. Transferts par s3. Envoi des travaux. Visualisation des résultats.
TP : mise en place d'une configuration de base avec HBase. Cycle de fonctionnement. Transferts par s3. Envoi des travaux. Visualisation des résultats.
Exploitation
Gestion des évènements avec Events. Contrôle du réseau et des VPC.
Automatisation de l'exécution sur AWS depuis un poste local. Suivi distant des travaux
Journalisation, visualisation des logs.Utilisation de la ferme aws en débordement d'une ferme locale
Sécurité : mise en place d'une configuration de sécurité
Liens avec IAM
Automatisation de l'exécution sur AWS depuis un poste local. Suivi distant des travaux
Journalisation, visualisation des logs.Utilisation de la ferme aws en débordement d'une ferme locale
Sécurité : mise en place d'une configuration de sécurité
Liens avec IAM
Optimisation
Analyse des performances
Déploiement d'une configuration avec Spark.
Evaluation des performances par rapport à une ferme locale.
Comparaison des coûts.
Mise en place d'automates d'optimisation
Déploiement d'une configuration avec Spark.
Evaluation des performances par rapport à une ferme locale.
Comparaison des coûts.
Mise en place d'automates d'optimisation
dates des formations a grenoble
dates des formations a SOPHIA ANTIPOLIS
formations associées
- BIG DATA Hadoop : infrastructure sécurisée
- BIG DATA Architecture et technologies
- BIG DATA Cassandra
- BIG DATA Hadoop : l'écosystème
- BIG DATA Hadoop Stockage avec Hbase
- BIG DATA ElasticSearch : Indexation
- BIG DATA ElasticSearch pour administrateurs
- BIG DATA Intégration SQL, Hive, SparkDataFrames
- BIG DATA Kafka Ingestion et traitement de messages
- BIG DATA Hadoop Cloudera Administration
- BIG DATA NEO4J Graphes et analyse
- BIG DATA Hadoop : développement
- BIG DATA Programmation R et intégration BigData
- BIG DATA Spark : traitement de données
- BIG DATA Hadoop HORTONWORKS
- BIG DATA Supervision
- BIG DATA La synthèse