 |
Les enjeux de la qualité des données |
|
Le positionnement
- Les définitions : DQM, une préoccupation globale, MDM, la qualité et la pertinence des données patrimoniales (données de référence).
- La qualité des données en tant que vecteur de création de valeur.
- Les événements déclencheurs : mise en place d’un ERP, fusion d’entreprises, concurrence, etc.
L’impact de la qualité des données sur les performances de l’entreprise
- « Garbage in, garbage out » : la qualité des résultats dépend de la qualité des entrées.
- Les enjeux : réduction des risques et des coûts, « compliance ».
- Les conséquences négatives d’une non-qualité : traitements à recommencer, remise à niveau des Bases de Données, résultats erronés, clients mécontents.
- Tout ce que peut attendre l’entreprise d’une démarche qualité : valorisation du chiffre d’affaires, performances métier, meilleure satisfaction des utilisateurs, etc.
La réticence des entreprises
- Une responsabilité non revendiquée.
- Le manque d’implication de la direction générale.
- Une qualité mal perçue et mal positionnée dans le SI.
- La crainte de devoir reconsidérer l’architecture applicative du SI.
- Un ROI parfois contesté.
Les niveaux de maturité de l’entreprise vis-à-vis de ses données
- Les quatre niveaux de maturité : indiscipliné, réactif, proactif et managé.
- Les critères caractéristiques et les moyens de passer d’un niveau à l’autre.
|
 |
La démarche qualité |
|
Données, informations et connaissances
- La prise en compte du Big Data.
- L’hétérogénéité des sources de données.
- La nécessité de procéder à une véritable cartographie des données existantes.
- Émergence de nouvelles représentations : XML, NoSQL, JSON, etc.
- Le traitement qualité, spécifique de chacun des types de données : Internet, texte, bureautique, XML, Base de Données.
Les cercles vertueux de la qualité
- Cercle 0 : les Bases de Données structurées et les données centrales (MDM).
- Cercle 1 : les données publiques (Open Data) et les données partenaires professionnels (banques, administration, etc.).
- Cercle 2 : les données semi-structurées issues de liens XML.
- Cercle 3 : les données internes issues de la bureautique.
- Cercle 4 : les données en provenance des réseaux sociaux d’entreprise et publics.
- Cercle 5 : les données issues de la presse et d’Internet.
La modélisation des données : l’acte fondateur
- Le lien entre modélisation et qualité.
- Les solutions pour modéliser les données et l’apport particulier de Merise.
- Exemple concret.
Les bonnes questions à se poser
- Quelles sont les contraintes et les spécificités liées à chaque cercle vertueux ?
- Les modes de traitement (différé, temps réel, mobile, etc.) ont-ils une influence sur la stratégie de qualité ?
- Quelles natures de contrôles faut-il instaurer ?
- Quel niveau de confiance accorder aux historiques ?
Les facteurs de réussite
- Standardisation, prendre son temps, recherche d’unicité des données, bonne gestion des habilitations, définition des KPI, etc.
- Exemples concrets.
|
 |
Les critères de qualité |
|
Les principaux critères de qualité
- Fraîcheur.
- Disponibilité.
- Complétude.
- Exactitude.
- Conformité aux standards.
- Sécurité.
- Sémantique.
- Représentativité.
- « Trouvabilité » (Findability).
- Duplication, intégrité, cohérence.
La personnalisation des critères
- La signification réelle des critères de qualité selon le domaine métier.
- Exemples concrets.
|
 |
Les indicateurs de qualité |
|
Le recours aux indicateurs
- Les indicateurs (KPI), au cœur du suivi qualité.
- Les familles de critères.
- Cas concrets.
Comment les choisir ou les définir
- Méthodes (souvent empiriques) de détermination des critères.
- Exemples concrets.Comment les mesurer.
- Techniques de mesure et de calcul des critères.
- Exemples concrets.
L’exposition des critères aux usagers
- Systèmes d’alerte.
- Applications spécifiques.
- Dashboards et scoreboards.
|
 |
Les outils de la démarche qualité |
|
Les méthodologies (Frameworks) liées à l’approche qualité
- Les principes méthodologiques.
- TDQM, TIQM.
Les techniques d’amélioration de la qualité
- Le profilage (Profiling).
- La standardisation.
- Le nettoyage (Cleansing).
- Le rapprochement (Matching).
- L’enrichissement.
- La décomposition (Parsing).
- La surveillance (Monitoring).
- L’élimination du bruit.
- Exemples concrets.
Panorama des solutions actuelles
- Les outils de travail « foncier » sur les données.
- Les solutions intégrées à une plateforme globale : SAP, IBM, Oracle.
- Les outils issus du décisionnel : SAS (DataFlux), Talend, Informatica, Microsoft.
|
 |
Le projet qualité |
|
L’organisation du projet
- Structure de l’équipe.
- Le rôle accompagnateur de l’informatique.
- Mise en œuvre d’une structure permanente de contrôle.
- Les profils sur lesquels s’appuyer.
- L’importance du projet pilote (POC).
- La seule « vraie » comparaison à faire.
Le phasage
- Détermination des domaines de pertinence de la qualité.
- Détermination des services nécessaires à la mise en place et au bon fonctionnement du processus de qualité.
- Cartographie des fournisseurs et consommateurs de données : maintenance, qualité, gestion et cycle de vie des données.
- Mise en œuvre des moyens de calcul et de mesure des indicateurs permettant d’illustrer les apports de la qualité sur la performance de l’entreprise.
- Mise en œuvre des livrables de suivi à destination du management de l’entreprise, de la DSI, des directions opérationnelles.
|
 |
MDM : Master Data Management |
|
Les données « maîtres »
- Définition des données « maîtres » (références ou patrimoniales) uniques et communes à l’ensemble du SI.
- Cartographie des processus de création et de mise à jour des données « maîtres ».
- Les liens entre MDM et démarche qualité.
- Les données candidates au modèle MDM : clients, produits, identités, etc.
- La réalité du terrain : les applications anciennes, les progiciels externes fermés.
Les motivations MDM
- Amélioration de la fiabilité opérationnelle des applications.
- Simplification de l’architecture applicative globale du SI.
- ROI démontrable : gains en chiffre d’affaires, maintenance simplifiée, anomalies clients réduites.
Ce qu’implique un projet MDM
- Distinction entre construction du référentiel et interactions avec les applications.
- Identification des sources de données référentielles.
- Collecte des données, interfaces et transformations.
- Mise en place des règles d’administration et de gestion.
- Les usages MDM : collaboratif, opérationnel et analytique.
|
 |
Les architectures MDM |
|
Le « golden record » ou point de vérité
- Définition.
- Avantages du point de vérité unique.
- Un spectre étendu : du « replâtrage » à la refonte des applications consommatrices.
Les trois architectures envisageables
- Consolidée unique, consolidée avec référentiels multiples, mode registre.
- Conséquences sur les applications existantes : fonctionnement « avant » et « après ».
- Conséquences sur les nouveaux projets.
- Publication et synchronisation.
- Avantages, inconvénients, complexité, coûts.
- Comparaison récapitulative des solutions.
- Un mini projet concret avec point de vérité unique.
|
 |
Les fonctions MDM |
|
Les fonctionnalités assurées par un MDM
- Gestion des identifications : cohérence des données par domaines d’usage.
- Gestion de la qualité.
- Gestion de la hiérarchie des données, des groupes et des liens entre données.
- Gestion du cycle de vie des données : création, modification, suppression.
- Sécurité, confidentialité, « logging ».
Les métadonnées
- Equilibre et choix des métadonnées.
- Les familles de métadonnées : nom, cycle de vie, contacts, définition, représentation, gestion.
- Normes et références envisageables.
- Exemples concrets.
|
 |
Les solutions MDM |
|
Les offres du marché
- Les offres verticales : environnements dédiés.
- Les offres multidomaines : ouverture aux produits tiers et données externes.
- La segmentation en MDM collaboratifs, transactionnels et analytiques.
- Les solutions concrètes de DataFlux, IBM, Informatica, Microsoft, Oracle, Orchestra Networks, SAP, Software AG, Talend.
L’interfaçage MDM avec les applications externes
- Interfaçage des données.
- Accès aux fonctionnalités MDM depuis un applicatif tiers, les Frameworks.
- Solutions concrètes : IBM Infosphere, SAP Java API MDM, Talend, Informatica, etc.
|
 |
Vers la gouvernance des données |
|
Convergence de la qualité et MDM
Les bonnes pratiques
- Nécessité de faire apparaître la gouvernance des données comme un levier clé de l’entreprise, accepté par tous : avoir l’appui de la direction générale.
- Prendre son temps et bien choisir les premières cibles. Importance du POC sur un domaine « garanti ».
- Mise en œuvre et positionnement d’une structure responsable, située à un niveau suffisant de l’organigramme.
- Permettre aux usagers, au-delà de la qualité, de suivre leurs données métier.
- Déléguer aux métiers la mise en place des règles liées aux données.
- Suivre les métriques associées aux données.
- Mettre en œuvre des outils (proches de la qualité) pour nettoyer, enrichir et valider les données.
|
