• Meylan
  • Moirans
  • Sophia Antipolis
  • Les Webinaires ATP
04 76 41 14 20
Atp Formation
  • Formations
  • Certifications
  • Société
  • Contact
Plan de cours
Accueil > Formations > Data Science – Deep learning > BIG DATA Hadoop Développement

Formation BIG DATA Hadoop Développement

Domaine : Data Science – Deep learning

DURÉE
3.0 jour(s)

 
OBJECTIFS
Connaître les principes du framework Hadoop et savoir utiliser la technologie MapReduce pour paralléliser des calculs sur des volumes importants de données.
 
Pré-requis
Connaissance d'un langage de programmation objet comme Java, Python, etc.

Participants

Chef de projet informatique, développeur, data scientist, et toute personne souhaitant comprendre les techniques de développement avec MapReduce dans l'environnement Hadoop.

coût

Nous contacter pour une formation sur mesure ou en intra

programme

Télécharger le plan de cours

Consulter le plan de cours

LIEUx de formation
Notre centre de formation à GrenobleNotre centre de formation à MoiransNotre centre de formation à Sophia Antipolis
Sur votre site en formation intraEn classe distancielle

PROGRAMME DE FORMATION
BIG DATA Hadoop Développement

Introduction
Les fonctionnalités du framework Hadoop
Le projet et les modules (Hadoop Common, HDFS, YARN, Spark, MapReduce)
Utilisation de yarn pour piloter les jobs mapreduce
MapReduce
Principe et objectifs du modèle de programmation MapReduce
Fonctions map() et reduce() (Couples (clés, valeurs))
Implémentation par le framework Hadoop
Etude de la collection d'exemples
Travaux pratiques (Rédaction d'un premier programme et exécution avec Hadoop)
Programmation
Configuration des jobs (Notion de configuration)
Les interfaces principales (mapper, reducer)
La chaîne de production (entrées, input splits, mapper, combiner, shuffle/sort, reducer, sortie.)
Format des entrées et sorties d'un job MapReduce (InputFormat et OutputFormat.)
Travaux pratiques (Type personnalisé : création d'un writable spécifique, Utilisation et contraintes)
Outils complémentaires
Mise en oeuvre du cache distribué
Paramétrage d'un job (ToolRunner, Transmission de propriétés)
Accès à des systèmes externes (S3, hdfs, har…)
Travaux pratiques (Répartition du job sur la ferme au travers de yarn)
Streaming
Définition du streaming map/reduce
Création d'un job map/reduce en python
Répartition sur la ferme (Avantages et inconvénients)
Liaisons avec des systèmes externes
Introduction au pont HadoopR
Travaux pratiques (Suivi d'un job en streaming)
Pig
Présentation des pattern et best practices Map/reduce
Introduction à Pig
Caractéristiques du langage : latin
Travaux pratiques (Installation/lancement de pig)
Ecriture de scripts simples pig (Les fonctions de base)
Ajouts de fonctions personnalisées (Les UDF, Mise en oeuvre)
Hive
Simplification du requêtage
Etude de la syntaxe de base
Travaux pratiques (Création de tables, Ecriture de requêtes)
Comparaison pig/hive
Sécurité en environnement hadoop
Mécanisme de gestion de l'authentification
Travaux pratiques (Configuration des ACLs)
dates des formations a grenoble
  • Formation sur mesure, nous contacter
    Intra
dates des formations a SOPHIA ANTIPOLIS
  • Formation sur mesure, nous contacter
    Intra
formations associées
  • Apache Flink
  • Flux de données avec Storm
  • Blockchain : Mise en pratique
  • Apache Pig : Développement de scripts
  • Apache Cassandra : Administration
  • BIG DATA Gestion et pilotage de projets
  • BIG DATA Architecture et technologies
  • BIG DATA Hadoop Infrastructure sécurisée
  • BIG DATA Cassandra
  • BIG DATA Hadoop - L’écosysteme
  • BIG DATA Elastic Stack : Présentation
  • BIG DATA Hadoop Stockage avec HBase
  • BIG DATA Elastic Stack pour administrateurs
  • BIG DATA Intégration SQL, Hive, SparkDataFrames
  • BIG DATA Hadoop Cloudera Administration
  • BIG DATA Kafka : Ingestion et traitement de messages
  • BIG DATA NEO4J Graphes et analyse
  • BIG DATA Hadoop EMR
  • BIG DATA Programmation R et intégration Big Data
  • BIG DATA Hadoop Hortonworks Administration
  • BIG DATA Spark : Traitement de données
  • BIG DATA Supervision
  • BIG DATA La synthèse

Atp Formation
Formation informatique à Grenoble et Sophia Antipolis

31, avenue du Granier
38 240 Meylan

170, rue de Chatagnon
38 430 Moirans

1501/1503 route des Dolines
06560 Valbonne

  • Mentions légales
  • Conditions générales de vente
  • Contact
  • Formations
  • Certifications
  • Société
  • Contact