Accueil > Formations > Data Science – Deep learning > BIG DATA Intégration SQL, Hive, SparkDataFrames
Formation BIG DATA Intégration SQL, Hive, SparkDataFrames
Domaine : Data Science – Deep learning
DURÉE
2 jour(s)
OBJECTIFS
Connaître les caractéristiques techniques des bases de données NoSQL, les différentes solutions disponibles. Identifier les critères de choix.
Pré-requis
Connaissance générale des systèmes d’informations et des bases de données.
Participants
Expert en bases de données, chef de projet et toute personne souhaitant comprendre le fonctionnement et les apports des bases NoSQL.
coût
Nous contacter pour une formation sur mesure ou en intra
LIEUx de formation
Notre centre de formation à Sophia AntipolisOu sur votre site en formation intra
PROGRAMME DE FORMATION
BIG DATA Intégration SQL, Hive, SparkDataFrames
Présentation
Besoin (Comment concilier le quoi et le comment ?, Faciliter la manipulation de gros volumes de données en conservant une approche utilisateurs)
Rappels sur le stockage (HDFS, Cassandra, Hbase)
Formats de données (Parquet, orc, raw, clés/valeurs)
Les outils (Hive, Impala, Tez, Presto, Drill, Pig, Spark/QL)
Rappels sur le stockage (HDFS, Cassandra, Hbase)
Formats de données (Parquet, orc, raw, clés/valeurs)
Les outils (Hive, Impala, Tez, Presto, Drill, Pig, Spark/QL)
Hive et Pig
Présentation (Mode de fonctionnement, Rappel sur map/reduce)
Hive (Le langage HiveQL)
Pig (Le langage pig/latin)
Exemples
Hive (Le langage HiveQL)
Pig (Le langage pig/latin)
Exemples
Impala
Présentation (Cadre d’utilisation, Contraintes, Liaison avec le métastore Hive)
Travaux pratiques (Mise en évidence des performances)
Travaux pratiques (Mise en évidence des performances)
Presto
Cadre d’utilisation (Sources de données utilisables)
Travaux pratiques (Mise en oeuvre d’une requête s’appuyant sur Cassandra, HDFS et PostgreSQL)
Travaux pratiques (Mise en oeuvre d’une requête s’appuyant sur Cassandra, HDFS et PostgreSQL)
Spark Data Frame
Les différentes approches (Syntaxe Spark/SQL, APIs QL)
Compilation catalyst (Syntaxe, opérateurs, Comparaisons avec Presto)
Travaux pratiques (Mise en oeuvre d’une requête s’appuyant sur Hbase et HDFS)
Compilation catalyst (Syntaxe, opérateurs, Comparaisons avec Presto)
Travaux pratiques (Mise en oeuvre d’une requête s’appuyant sur Hbase et HDFS)
Drill/sqoop
Indépendance Hadoop
Contraintes d’utilisation
Performances
Contraintes d’utilisation
Performances
Comparatifs
Approches des différents produits
Critères de choix
Critères de choix
dates des formations a grenoble
dates des formations a SOPHIA ANTIPOLIS
formations associées
- Apache Pig : Développement de scripts
- Blockchain : Mise en pratique
- Flux de données avec Storm
- Apache Flink
- BIG DATA Gestion et pilotage de projets
- BIG DATA Architecture et technologies
- BIG DATA Hadoop Infrastructure sécurisée
- BIG DATA Cassandra
- BIG DATA Hadoop - L’écosysteme
- BIG DATA Elastic Stack : Présentation
- BIG DATA Hadoop Stockage avec HBase
- BIG DATA Elastic Stack pour administrateurs
- BIG DATA Hadoop Cloudera Administration
- BIG DATA Kafka : Ingestion et traitement de messages
- BIG DATA NEO4J Graphes et analyse
- BIG DATA Hadoop Développement
- BIG DATA Hadoop EMR
- BIG DATA Programmation R et intégration Big Data
- BIG DATA Hadoop Hortonworks Administration
- BIG DATA Spark : Traitement de données
- BIG DATA Supervision
- BIG DATA La synthèse