Formation BIG DATA Gestion et pilotage de projets
Domaine : Data Science – Deep learning
DURÉE
4 jour(s)
OBJECTIFS
Appréhender les spécificités d'un projet Big Data. Etre au fait des risques et du cadre juridique d'un projet Big Data. Apprendre à constituer et piloter l'équipe d'un projet Big Data. Maîtriser le pilotage du cycle de vie des données : collecte, exploitation, analyse, visualisation.
Pré-requis
Disposer de connaissances en bases de données relationnelles et sur le langage SQL. Avoir une expérience en conduite de projet. Une connaissance générale sur les concepts du Big Data sera appréciée.
Participants
Chefs de projets informatiques, analystes de données…
coût
Nous contacter pour une formation sur mesure ou en intra
LIEUx de formation
Notre centre de formation à Sophia AntipolisOu sur votre site en formation intra
PROGRAMME DE FORMATION
BIG DATA Gestion et pilotage de projets
Définitions et contexte des projets Big Data
Les origines du Big Data
Les données (Les données au cœur des enjeux, Explosion du nombre de données)
Liens entre Big Data et Internet des Objets (IoT pour internet on Things)
Problématique des données dans un projet Big Data (Données structurées, Données semi-structurées, Données non structurées)
Définition d'un système Big Data, architecture générale et fonctionnement
Les différentes offres du marché
Les données (Les données au cœur des enjeux, Explosion du nombre de données)
Liens entre Big Data et Internet des Objets (IoT pour internet on Things)
Problématique des données dans un projet Big Data (Données structurées, Données semi-structurées, Données non structurées)
Définition d'un système Big Data, architecture générale et fonctionnement
Les différentes offres du marché
Propriété de la donnée, réglementation et sécurité
Sécurité éthique et enjeux juridiques
Les données personnelles
Les informations sensibles (interdites à la collecte)
La CNIL : régulation des données numériques
Les données personnelles
Les informations sensibles (interdites à la collecte)
La CNIL : régulation des données numériques
Technologies, compétences et métiers
Classification des technologies (Hadoop, MapReduce, Pig, Hive, Impala, Spark, Elasticsearch…)
Différences de savoir-faire pour le chef de projet avec la BI (Business Intelligence) "traditionnelle"
Zoom sur Hadoop
Les métiers "informatiques" concernés par le Big Data (Administrateur, développeur, analyste, data scientist…)
Quel élargissement des compétences pour les administrateurs et les développeurs Hadoop ?
Exemple d'une architecture Big Data en production et positionnement des métiers
La journée type du chef de projet Big Data
Conséquences financières selon les choix techniques
Différences de savoir-faire pour le chef de projet avec la BI (Business Intelligence) "traditionnelle"
Zoom sur Hadoop
Les métiers "informatiques" concernés par le Big Data (Administrateur, développeur, analyste, data scientist…)
Quel élargissement des compétences pour les administrateurs et les développeurs Hadoop ?
Exemple d'une architecture Big Data en production et positionnement des métiers
La journée type du chef de projet Big Data
Conséquences financières selon les choix techniques
Comprendre et traiter les spécificités d'un projet Big Data
Différents critères (Organisationnels, Méthodologiques, Technologiques, Economiques, Juridiques, Humains)
Démarche méthodologique et étapes clé du "chantier"
Les prérequis à réunir et points de vigilance à surveiller
Comment gouverner et piloter le chantier Big Data
Contributeurs internes à mobiliser, profils et compétences nécessaires à intégrer
Démarche méthodologique et étapes clé du "chantier"
Les prérequis à réunir et points de vigilance à surveiller
Comment gouverner et piloter le chantier Big Data
Contributeurs internes à mobiliser, profils et compétences nécessaires à intégrer
Composer et piloter une équipe Big Data
Hadoop dans le SI (processus d'adoption)
Conserver les ressources humaines "rares" dans le contexte du Big Data
Datalab : une équipe, un lieu, une approche
Elaboration d'un Datalab ?
Conserver les ressources humaines "rares" dans le contexte du Big Data
Datalab : une équipe, un lieu, une approche
Elaboration d'un Datalab ?
Manager le processus de mise en place d'un projet Big Data
Gouvernance des Données et "Culture Données"
Définir une véritable stratégie de données
Partager les enjeux
Investir sur des initiatives ciblées et porteuses de valeur pour les métiers
Rompre avec les visions en silos
Promouvoir une "Culture Données"
Savoir communiquer
Définir une véritable stratégie de données
Partager les enjeux
Investir sur des initiatives ciblées et porteuses de valeur pour les métiers
Rompre avec les visions en silos
Promouvoir une "Culture Données"
Savoir communiquer
La collecte et le stockage de données
Quelles données, quelles sources ?
L'importance de la qualité des données (ou data quality)
Exemple de traitement avec un ETL (Extract Transform Load) dédié au Big Data)
Les différentes phases de la collecte dans un projet
L'importance de la qualité des données (ou data quality)
Exemple de traitement avec un ETL (Extract Transform Load) dédié au Big Data)
Les différentes phases de la collecte dans un projet
L'exploitation des données
Données structurées, semi structurées et non structurées
La réconciliation avec le référentiel interne
La question du Master Data Management
Big Data ou Smart Data ?
La réconciliation avec le référentiel interne
La question du Master Data Management
Big Data ou Smart Data ?
L'analyse des données
Définitation de l'analyse statistique
La Data Science
La place du Data Scientist dans un projet Big Data
Datamining
L'implémentation d'indicateurs à destination du décisionnel
Les différentes phases et formes de l'analyse dans un projet
La Data Science
La place du Data Scientist dans un projet Big Data
Datamining
L'implémentation d'indicateurs à destination du décisionnel
Les différentes phases et formes de l'analyse dans un projet
La visualisaton des données (ou Dataviz)
Ce que les statistiques ne disent pas
Les objectifs de la visualisation
Graphes et usages
Représentation de données complexes (Encodage visuel, Visualisation interactive)
Apprendre à communiquer sur les analyses de données (Data Storytelling)
Les objectifs de la visualisation
Graphes et usages
Représentation de données complexes (Encodage visuel, Visualisation interactive)
Apprendre à communiquer sur les analyses de données (Data Storytelling)
Piloter et maîtriser les risques des projets Big Data
Les différentes méthodes pour piloter un datalab (Business Driven, Lean, Scrum)
Tests et analyses de performances
Stratégie pour le code de débogage MapReduce
Test local du code en utilisant LocalJobRunner
Ecriture et utlisation de fichiers journaux
Déploiement des algorithmes en production et intégration continue
Test local du code en utilisant LocalJobRunner
Ecriture et utlisation de fichiers journaux
Déploiement des algorithmes en production et intégration continue
dates des formations a grenoble
dates des formations a SOPHIA ANTIPOLIS
formations associées
- Apache Pig : Développement de scripts
- Blockchain : Mise en pratique
- Flux de données avec Storm
- Apache Flink
- BIG DATA Architecture et technologies
- BIG DATA Hadoop Infrastructure sécurisée
- BIG DATA Cassandra
- BIG DATA Hadoop - L’écosysteme
- BIG DATA Elastic Stack : Présentation
- BIG DATA Hadoop Stockage avec HBase
- BIG DATA Elastic Stack pour administrateurs
- BIG DATA Intégration SQL, Hive, SparkDataFrames
- BIG DATA Hadoop Cloudera Administration
- BIG DATA Kafka : Ingestion et traitement de messages
- BIG DATA NEO4J Graphes et analyse
- BIG DATA Hadoop Développement
- BIG DATA Hadoop EMR
- BIG DATA Programmation R et intégration Big Data
- BIG DATA Hadoop Hortonworks Administration
- BIG DATA Spark : Traitement de données
- BIG DATA Supervision
- BIG DATA La synthèse