Formation Architectures d’Applications Distribuées

1 – Architectures d’applications distribuées dans le Web

Applications distribuées

• Vecteurs de la distribution : Web, Cloud, Big Data et Machine Learning, Internet des Objets (IoT) et Edge Computing.
• Réseaux sociaux, communautés professionnelles, crowdsourcing et collaboration à grande échelle.
• Data analytics : analyse descriptive, prédictive et prescriptive.
• Vue 360 : visibilité des clients ou produits dans toutes les directions.

Le Web

• Protocoles et architectures.
• Les formats d’échange de données : XML vs JSON.
• Langages de programmation interprétés : JavaScript, Python, Grovy, Ruby, etc.
• Les APIs : principes, Web API vs API endpoint.
• Du client léger au client riche avec HTML5, CSS3, JavaScript et AJAX.
• Intégration de services avec les mashups.
• Web services : architecture, services standards, WSDL, le protocole SOAP, composition de services avec BPEL.
• Web sémantique : RDF et SPARQL, l’exemple de Google Knowledge Graph, les Triplestores.

2 – Evolution des architectures d’applications distribuées

Architectures distribuées

• Modèles d’architecture : 1-tier, 2-tiers, 3-tiers, n-tiers.
• Les différents niveaux : présentation, sécurité, application, intégration, ressources.
• La distribution des clients : client léger, lourd ou riche.
• La distribution des serveurs : présentation, Web, sécurité, applications, données.
• La distribution des services : l’avènement des micro-services.
• Centralisation avec le Cloud versus décentralisation avec le Peer-to-Peer (P2P) et le Edge Computing.

Sécurité

• Sécurité des SI : confidentialité, intégrité, disponibilité, auditabilité.
• Le chiffrement : clés privées, clés publiques, certificats.
• Principaux modèles d’authentification.
• Techniques de protection des données : serveur de données chiffrées, contrôle d’accès DAC, RBAC et MAC.
• L’anonymisation : enjeux, randomisation vs généralisation, use cases, les bonnes pratiques.
• Protection des données personnelles et législation : impact du RGPD sur le SI.

3 – Architectures de données

Intégration de données

• Intégration réelle (Data Warehouse – DW) ou virtuelle (fédérateur de données).
• Médiateur, adaptateur et ETL.
• Intégration de schémas et d’ontologies : les conflits sémantiques, le problème de la résolution d’entité.
• Qualité des données, nettoyage, et Master Data Management.
• L’offre produits et services.

Transactions et réplication de données

• Transactions distribuées : les propriétés ACID, le protocole 2PC, tolérance aux pannes et scalabilité.
• Transactions de compensation : les sagas.
• Réplication de données : cohérence et rafraichissement des copies.
• Produits principaux : Oracle, IBM DB2, SQL Server, SAP Sybase, PostgreSQL, MySQL.
• Tolérance aux fautes et consensus distribué : les algorithmes Paxos et PBFT.

Le Peer-to-Peer

• Autonomie des pairs, contrôle décentralisé, auto-adaptation, très grande échelle.
• Topologie des réseaux P2P : non structurés, structurés (DHT), superpeers.
• Applications principales : partage de contenu, communication, calcul distribué.

La Blockchain

• Confiance dans un monde numérique : problèmes avec une autorité centrale.
• Blockchain publique ou privée, le Bitcoin.
• Concepts : P2P, réplication, consensus (mining), transactions, chiffrement à clé publique.
• L’attaque Goldfinger des 51%.
• Blockchain 2.0 : la Blockchain programmable, les Smart Contracts, le projet Hyperledger.
• Etudes de cas : services financiers, micropaiements, droits numériques, identité numérique, logistique, IoT.
• Opportunités et risques.

4 – Architectures de services

Service Oriented Architecture (SOA)

• Éléments essentiels : messages descriptifs, format d’échange standard, extensibilité, découverte de service.
• ESB : interopérabilité des Web Services, gestion de messages distribués, équilibrage de charge.
• L’offre du marché.
• Succès et échecs du SOA ; écueils à éviter.

Web Oriented Architecture (WOA)

• Le modèle d’architecture REST; SOAP vs REST.
• Les frameworks de services RESTful.
• Principes de conception WOA.
• Etude de cas : Textile.com.

Architecture microservice

• Le modèle d’architecture monolithique : avantages et inconvénients.
• Principes d’une architecture microservice : conception dirigée par le domaine, KISS.
• Les frameworks de microservices : Kubernetes, Cloud Spring.
• Déploiement dans les conteneurs d’application ; Docker, sécurité des conteneurs.
• Patterns et antipatterns : migration, intégration, gestion globale, sagas.
• Impact sur l’organisation du SI et des équipes.

Event-Driven Architecture (EDA)

• SI dirigés par les événements : Event-Driven BPM, Business Activity Monitoring (BAM).
• Gestion d’événements complexes avec Complex Event Processing (CEP).
• SQL pour streaming de données.
• Principaux CEP : InfoSphere Streams, Kafka, Parstream, Streambase, StreamInsight.
• Etude de cas : détection de fraude en ligne.

5 – Architectures Big Data

La pile logicielle Big Data

• Les niveaux fonctionnels : persistance polyglotte, organisation, traitement, intégration, indexation et analyse.
• L’architecture Hadoop : gestion de ressources avec Yarn, coordination avec Zookeeper.
• Le stockage en fichiers distribués avec HDFS.

Technologies Big Data

• SGBD NoSQL : modèles clé-valeur, document, tabulaire, graphe.
• Etude de cass NoSQL dans l’industrie.
• SGBD NewSQL : cohérence SQL et scalabilité/haute disponibilité NoSQL.
• HTAP : analytics et transactionnel sur les mêmes données opérationnelles.
• Etude de cass : la base Google AdWords avec Spanner ; supervision de SI avec LeanXcale.
• Spark: le langage Scala, transformations et actions, stockage in-memory, Spark SQL, Spark Streaming.

Le Data Lake

• Problèmes avec le DW : développement ETL, schéma en écriture.
• Apports : schéma en lecture, traitement de données multiworkload, RoI.
• Enterprise Hadoop : intégration, sécurité et gouvernance, outils BI.
• Chargement de données parallèles : exemple avec HDFS, pattern extracteur de sources.
• Etude de cas dans le commerce de détail.
• Bonnes pratiques.

Intégration du Big Data dans un DW

• Nouveaux besoins en acquisition, organisation, analyse.
• Tables externes SQL et pattern connecteur.
• Offres des éditeurs de DW : AWS RedSchift, Microsoft HDInsight, IBM Analytics Engine, Oracle Big Data Appliance, Snowflake.

Méthodologie pour un projet Big Data

• Stratégie : objectifs métiers, besoins en données, qualité des données.
• Equipe : rôles et compétences, cadre pour la gouvernance des données.
• Outils : le choix de développer du code ou utiliser.
• Analytics : du réactif au prescriptif.
• Gouvernance : comment éviter le data swamp.
• Méthodes itératives : l’exemple CRISP-DM.
• Méthodes agiles : Scrum et Big Data.
• Bonnes pratiques.

6 – Cloud Computing

Concepts de base

• Modèles de services : SaaS, IaaS, PaaS, XaaS.
• Différents types de Clouds : public, privé, communautaire, hybride.
• Fonctions d’un Cloud : administration, sécurité, annuaire, virtualisation des serveurs, gestion des SLA.
• Exemples de PaaS : AWS, Azure, OVH.
• Les applications Cloud ready : principes de construction.

Cloud hybride et iPaaS

• Cloud privé virtuel, le projet OpenStack.
• iPaaS : objectifs, architecture.
• Acteurs : Dell Boomi, Informatica, Mulesoft, CloudHub, SnapLogic, Microsoft, Oracle, SAP.

Database as a Service (DBaaS)

• Positionnement par catégorie : polyglotte, SQL, NoSQL, NewSQL, DW.
• Exemples : AWS RedSchift, Snowflake.
• Migration vers DBaaS.

Big Data as a Service

• Positionnement des acteurs.
• Chargement de Big Data dans le Cloud.
• Accès au big data dans le Cloud

7 – Edge Computing

Concepts de base

• L’informatique en périphérie du réseau : clients intelligents, edge servers, réseaux 4G ou 5G.
• Applications : IoT, CDN, Industrie 4.0, réalité augmentée, bâtiment intelligent, etc.
• Edge analytics, big data et small data.

Positionnement par rapport au cloud

• Fog computing, micro data centers et cloudlets.
• Le protocole MQTT entre objets hétérogènes distants.

Architectures et standardisation

• OpenFog et Fog as a Service (FaaS).
• Multi-access Edge Computing (MEC)
• Les acteurs majeurs : Cisco, Amazon, Dell, Intel, Microsoft.
• Les problèmes de sécurité.
• Etude de cas : ville intelligente.