Les enjeux d’une plateforme IA maîtrisée

• Maîtriser les coûts, les volumes consommés et les arbitrages entre API, cloud, capacité dédiée et on-premise
• Maîtriser la disponibilité et la continuité de service face aux risques commerciaux, de concentration du marché ou géopolitiques
• Préserver la confidentialité des données, de la propriété intellectuelle et des savoir-faire qui ne doivent pas être transmis à des tiers ou à de potentiels concurrents
• Assurer la conformité aux exigences réglementaires, contractuelles, sectorielles et internes
• Définir, appliquer et contrôler les usages autorisés, tolérés ou interdits selon les populations, les données et les processus concernés

Jour 1 – Concevoir la plateforme et ses capacités

1 – Les enjeux d’une plateforme IA d’entreprise

• Du cas d’usage isolé à la plateforme mutualisée
• Les attentes des métiers, de la DSI, de la cybersécurité, de la data et de la conformité
• Les différents niveaux de maîtrise : consommation de services, modèles hébergés, modèles open weights et infrastructure dédiée
• Les critères d’arbitrage : sécurité, souveraineté, performance, coût, délai de mise en œuvre et réversibilité
• Les principales architectures de plateforme IA

2 – Les modèles et services IA

• Les principales familles de modèles : modèles de langage, modèles multimodaux, modèles de raisonnement et modèles spécialisés
• Comparer les modèles propriétaires, les modèles open weights et les services managés
• Les critères de sélection : qualité, contexte, langues, latence, coût, licence, sécurité et capacité d’évolution
• Évaluer les modèles sur des cas d’usage métier
• Mettre en place un catalogue de modèles et des règles d’usage

3 – Panorama des infrastructures Cloud, GPU et on-premise

• Les différents modèles de fourniture : API de modèles, plateformes IA managées, instances GPU, clusters dédiés, cloud privé et infrastructure on-premise
• Les offres des hyperscalers, des clouds GPU spécialisés, des fournisseurs européens et des intégrateurs d’infrastructures privées
• Les architectures on-premise : cluster GPU dans le data center de l’entreprise, infrastructure hébergée en colocation, cloud privé et infrastructure dédiée opérée par un tiers
• Les composants d’une infrastructure IA : GPU, serveurs, réseau, stockage, interconnexion, ordonnanceur de charges, sécurité et supervision
• Les contraintes spécifiques de l’on-premise : énergie, refroidissement, espace, capacité réseau, maintenance matérielle, mises à jour logicielles et continuité d’activité
• Les critères de choix : sensibilité des données, latence, volume de traitements, stabilité de la charge, exigences de souveraineté et compétences disponibles
• Choisir entre consommation à la demande, réservation de capacité, infrastructure dédiée, on-premise ou modèle hybride

4 – Dimensionnement, coût complet et stratégie de capacité

• Évaluer les besoins selon les usages : nombre d’utilisatrices/utilisateurs, volume de requêtes, contexte, latence et disponibilité
• Distinguer les coûts d’inférence, de fine-tuning et d’entraînement
• Comparer Capex et Opex : achat et amortissement d’un cluster GPU, location de capacité dédiée, réservation cloud et consommation à la demande
• Construire le coût total de possession sur trois à cinq ans : matériel, réseau, stockage, licences, énergie, refroidissement, maintenance, équipes d’exploitation et renouvellement
• Calculer le coût unitaire d’inférence : coût par requête, par million de tokens, par utilisateur actif ou par processus traité
• Déterminer le point mort entre infrastructure interne et services cloud selon le taux d’utilisation, la durée d’amortissement, le coût de l’énergie et la capacité réellement disponible
• Évaluer la valeur actualisée des scénarios et la sensibilité des hypothèses : évolution de la charge, baisse des prix GPU, renouvellement matériel et choix de modèles
• Construire un tableau de bord associant consommation, coûts, qualité de service et valeur métier produite

Jour 2 – Construire, sécuriser et opérer

5 – Les composants de la plateforme IA

• Les couches applicatives, middleware et infrastructure
• La passerelle de modèles : accès unifié, authentification, journalisation et gestion des quotas
• Le rôle du harnais applicatif : la couche d’orchestration qui relie les modèles, les données, les outils, les règles de sécurité et les interfaces utilisatrices/utilisateurs
• Les outils d’orchestration : prompts, chaînes de traitement, workflows, agents et connecteurs
• Les services partagés : gestion des identités, secrets, stockage, registre de modèles, évaluation et observabilité
• Les critères de sélection des frameworks et solutions : intégration SI, portabilité, maintenabilité et compétences disponibles
• Construire une architecture cible adaptée à son organisation

6 – RAG, agents et MCP : connecter données, modèles et outils

• Les principes du RAG : ingestion, indexation, recherche, génération et traçabilité des sources
• Le rôle des bases de données vectorielles dans la recherche sémantique et les architectures RAG
• Les évolutions du RAG : recherche hybride, GraphRAG et Agentic RAG
• La gestion des droits d’accès aux connaissances et données d’entreprise
• Différencier assistant conversationnel, workflow augmenté et agent intelligent
• Les niveaux d’autonomie, le human-in-the-loop et les limites d’exécution
• Le rôle du MCP (Model Context Protocol) pour connecter les agents et applications IA aux données, ressources et outils du SI
• Sécuriser les serveurs MCP : authentification, autorisation, gestion des secrets, journalisation et contrôle des actions
• Identifier les risques : injection de prompts, fuite de données, outils non fiables et exécution d’actions non maîtrisées

7 – Déploiement, routage et supervision des usages IA

• Déployer des modèles open weights et organiser leur mise à jour
• Mettre en place des services d’inférence performants et évolutifs
• Mettre en place une passerelle de modèles et de routage des requêtes
• Comparer les approches de routage internes et les services spécialisés, tels qu’OpenRouter, au regard de la confidentialité, de la réversibilité, du coût et de la maîtrise des flux
• Router les requêtes selon le niveau de sensibilité des données, le coût, la performance, la latence et la disponibilité
• Mettre en place des mécanismes de repli entre modèles et fournisseurs
• Contrôler les flux entrants et sortants : prompts, documents, réponses et appels aux outils
• Mesurer la qualité, les coûts, les incidents et les usages
• Mettre en œuvre l’observabilité et l’évaluation continue des modèles et des agents

8 – Organiser l’exploitation et la gouvernance de la plateforme

• Les rôles et compétences nécessaires : architecture, plateforme, MLOps/LLMOps, data, cybersécurité, conformité et métiers
• Les responsabilités d’exploitation selon le modèle retenu : fournisseur, infogérant, équipe cloud ou équipe infrastructure interne
• Les compétences nécessaires à l’exploitation d’une infrastructure on-premise : plateforme, GPU, réseau, stockage, sécurité et MLOps/LLMOps
• Organiser la gestion de capacité, le provisionnement des environnements, les mises à jour et la supervision
• Définir les processus de résilience, de sauvegarde, de reprise d’activité et de traitement des incidents
• Organiser la gouvernance de la plateforme, du catalogue de modèles et des usages
• Arbitrer entre internalisation, infogérance et partenariat technologique
• Construire les tableaux de bord : adoption, qualité, disponibilité, risques et coûts
• Élaborer une feuille de route de construction, du pilote à l’industrialisation

Ce programme a été mis à jour le 16 septembre 2026.