Formation Architectures Big Data

1 – Big Data : les fondamentaux

Science des données

• Le continuum de la compréhension : données, informations, connaissances, sagesse.
• Positionnement par rapport à l’IA : Machine Learning et Data Analytics.
• Les cinq « V » du sujet Big Data : Volume, Variété, Vélocité, Véracité, Valeur.
• Caractérisitiques Big Data : données structurées vs non structurées (Web, IoT, etc.).
• Le smart data : positionnement par rapport au small data et thick data.

Les enjeux pour l’entreprise

• Enjeux techniques : maîtrise de la data gravity et des flux temps réel, protection des données personnelles, RGPD et anonymisation.
• Enjeux stratégiques : mesure de la performance, exploration des données, analyse des comportements sociaux, expérimentation de nouvelles questions.
• Les meilleurs cas d’usage dans l’industrie.
• Succès et échecs de projets Big Data.

Opportunités

• Progrès matériels : mémoire flash, disque SSD, combinaison CPU/GPU, réseaux haut débit.
• Clusters de serveurs à grande échelle.
• Technologies éprouvées : logiciel libre, services cloud.
• Nouveaux produits et services basés sur les données.

2 – Architectures big data

Architectures de données parallèles

• Objectifs : speed up, scale up, scale out, élasticité.
• Parallélisme de données : inter-requête, inter-opération, intra-opération, pipeline.
• Clusters de serveurs : Shared Disk vs Shared Nothing.
• Techniques : stockage en colonne, sharding, transactions, réplication, haute disponibilité et failover, parallélisation.

SGBD parallèles

• La pile logicielle du SGBD SQL : requêtes décisionnelles et transactions, distribution.
• Produits principaux : Actian, IBM, Microsoft, Oracle Exadata, MySQL Cluster, SAP Sybase, Teradata, Vertica, ParAccel, GreenPlum.
• Étude de cas : la base de données Walmart avec Teradata.

La pile logicielle Big Data

• Les niveaux fonctionnels : stockage, organisation, traitement, intégration, indexation et analyse.
• La persistance polyglotte.

L’architecture Hadoop

• MapReduce et SQL-on-Hadoop, Hbase.
• Gestion de ressources avec Yarn.
• Coordination avec Zookeeper.
• Hadoop Distributed File System (HDFS) : intégration dans Yarn, failover.

3 – Moteurs de recherche pour le Big Data

Indexation et recherche d’information dans le Big Data

• Techniques : index, fichiers inverses, recherche par mot-clé, recherche par contenu.
• Moteurs de recherche : Bing, Google Search, ElasticSearch, Exalead, Lucene, Indexma, Qwant, Splink.
• Google Search : l’algorithme PageRank, l’architecture en cluster Shared Nothing.
• Étude de cas : assurance qualité Monoprix avec Exalead.

Le Web sémantique

• Exemple d’application phare : Google Knowledge Graph.
• RDF (Resource Description Framework) et les ontologies.
• Le langage de requêtes SPARQL.
• Les triplestores : 4Store, AllegroGraph, Marklogic, Sesame, SparqlDB, Virtuoso, CumulusRDF, Seevl.

4 – Bases de données Big Data : NoSQL et NewSQL

Motivations

• La fin de l’approche « taille unique » du relationnel.
• Scalabilité et haute disponibilité dans le Cloud.
• Le théorème CAP : analyse et impact.

SGBD NoSQL

• Modèles de données : clé-valeur, document, tabulaire, graphe.
• Architecture distribuée scalable.
• Systèmes : DynamoDB, Cassandra, Hbase, MongoDB, CouchBase, Neo4J, etc.
• Use cases dans l’industrie.

SGBD NewSQL

• Comment associer cohérence SQL et scalabilité/haute disponibilité NoSQL.
• HTAP : analytics et transactionnel sur les mêmes données opérationnelles.
• Systèmes : CockroachDB, SAP HANA, Esgyn, LeanXcale, MemSQL, NuoDB, Splice Machine, Google Spanner, VoltDB.
• Use cases : la base Google AdWords avec Spanner ; supervision de SI avec LeanXcale.

5 – Frameworks Big Data

MapReduce

• Objectif : analyse de Big Data en mode batch.
• Modèle de programmation : les fonctions Map et Reduce.
• Architecture distribuée : partitionnement de données, tolérance aux fautes et équilibrage de charge.

CEP

• Objectif : analyse de flux de données en temps réel
• Les concepts : Data Streams, requêtes continues, données temporaires, fenêtre glissante.
• Principaux CEP : InfoSphere Streams, Kafka, Parstream, Streambase, StreamInsight.
• Pattern streaming temps-réel.
• Use case : détection de fraude en temps réel.

Spark

• Objectif : analyse de Big Data en mode interactif et itératif.
• Extensions du modèle MapReduce : le langage Scala, transformations et actions, Resilient Distributed Datasets.
• Les outils : Spark SQL, Spark Streaming, MLlib (Machine Learning), GraphX (graphes).
• Use case Spark Streaming.

6 – Intégration de Big Data

Intégration de données

• Intégration réelle (Data Warehouse – DW) ou virtuelle (fédérateur de données).
• Médiateur, adaptateur et ETL.
• Intégration de schémas et d’ontologies : les conflits sémantiques, le problème de la résolution d’entité.
• Qualité des données, nettoyage, et Master Data Management.

Le Data Lake

• Problèmes avec le DW : développement ETL, schéma en écriture.
• Apports : schéma en lecture, traitement de données multiworkload, RoI.
• Enterprise Hadoop : intégration, sécurité et gouvernance, outils BI.
• Chargement de données parallèles : exemple avec HDFS, pattern extracteur de sources.
• Use case dans le commerce de détail.
• Bonnes pratiques.

Intégration du Big Data dans un DW

• Nouveaux besoins en acquisition, organisation, analyse.
• Tables externes SQL et pattern connecteur.
• Place de Hadoop : les ETL comme Splunk, accès HDFS avec tables externes SQL.
• Offres des éditeurs de DW : Microsoft HDInsight et Polybase, IBM Analytics Engine, Oracle Big Data Appliance.

7 – Big Data dans le Cloud

Architecture Cloud

• Modèles de services : SaaS, IaaS, PaaS, XaaS.
• Différents types de Clouds : public, privé, communautaire, hybride.
• Exemples de PaaS : AWS, Azure, OVH.
• Modèles de déploiement multitenant.

Cloud hybride et iPaaS

• Cloud privé virtuel, le projet OpenStack.
• iPaaS : objectifs, architecture.
• Acteurs : Apigee, Dell Boomi, Informatica, Mulesoft, CloudHub, SnapLogic,

Microsoft, Oracle, SAP.

Database as a Service (DBaaS)

• Positionnement par catégorie : polyglotte, SQL, NoSQL, NewSQL, DW.
• Exemples : AWS RedSchift, Snowflake.
• Migration vers DBaaS.

Big Data as a Service

• Positionnement des acteurs.
• Chargement de Big Data dans le Cloud.
• Accès au big data dans le Cloud.

8 – Méthodologie pour projets Big Data

Stratégie pour un projet Big Data

• Préparation : objectifs métiers, besoins en données, qualité des données.
• Equipe : rôles et compétences, cadre pour la gouvernance des données.
• Outils : le cho

ix de développer du code ou utiliser.

• Analytics : du réactif au prescriptif.
• Gouvernance : éviter le data swamp avec le MDM.
• Impact du RGPD : chiffrement et anonymisation des données personnelles.

Conduite de projet Big Data

• Limites de la méthode en cascade.
• Méthodes itératives : l’exemple CRISP-DM.
• Méthodes agiles : Scrum et Big Data.
• Bonnes pratiques.