Mesurons le
niveau de dépendance technologique de nos organisations, et reprenons notre
destin numérique en main.
Les 8 piliers de la méthodologie
L’indice de résilience numérique mesure la dépendance tech à tous les niveaux de votre organisation. Une approche commençant par les métiers vitaux, systèmes et processus critiques.
Veille technologique - TIC - Gouvernance - AI - GPT (Teams, INSIDER Windows 11, INSIDER MICROSOFT 365, BETA TESTS Edge et Bing, et veille technologique sur les GAFAM+N), j'ai publié deux livres sur les solutions Microsoft et l'AI et Copilot (c'est le quatrième aux formats ePUB et Papiers). Je pratique la Veille technologique active sur les TIC, Copilot, Ollama, LLAMA, Claude 3.5 Sonnet, Gemini, Bing, ChatGPT et AI et je suis membre de AIDAUG et UGAIA, GUILD4AI - "Association de fait" http://www.ugaia.eu https://ugaia.wordpress.com/ https://lecercle.guild4ai.ai/
La résilience par les plans d’escalade désigne la capacité du système à maintenir une continuité de service et une fiabilité optimale en passant d'un mode de traitement automatisé à un mode supérieur (plus puissant ou humain) dès qu'une anomalie ou une limite est détectée.
La résilience n'est pas seulement l'absence de pannes, c'est la capacité à "encaisser" les erreurs (hallucinations, timeouts, entrées malveillantes) sans que l'expérience utilisateur finale ne s'effondre. Elle repose sur l'idée que le LLM est une pièce mouvante d'un moteur plus large.
Pour comprendre ce qu'est un opérateur sensoriel à travers le prisme d'un LLM (Large Language Model), il faut imaginer le modèle non pas comme un "cerveau" isolé, mais comme un système qui doit d'abord traduire le monde physique en un langage mathématique avant de pouvoir y réfléchir.
Un plan d'escalade pour LLM définit des seuils de déclenchement pour passer d'un palier de résolution à un autre.
Mécanisme : Le système détecte une erreur de format (ex: JSON mal formé) ou une réponse vide.
Action : Le système relance automatiquement une requête (retry) avec une "température" différente ou un prompt correcteur.
Mécanisme : Si le modèle léger (ex: Gemini Flash) échoue à résoudre une tâche complexe ou si son score de confiance est trop bas.
Action : La requête est basculée vers un modèle plus performant et plus coûteux (ex: Gemini Pro ou Ultra) pour garantir la précision.
Mécanisme : L'entrée utilisateur déclenche une alerte de sécurité ou de contenu inapproprié que le LLM ne peut pas gérer seul de manière nuancée.
Action : Le système interrompt la génération et propose une réponse pré-rédigée (Canned Response) ou redirige vers une documentation officielle.
Mécanisme : Le LLM stagne, boucle, ou l'utilisateur exprime une frustration critique détectée par analyse de sentiment.
Action : Transfert immédiat à un agent humain ou création d'un ticket de support prioritaire avec l'historique de la conversation.
L'intégration de plans d'escalade transforme un simple "chatbot" en un outil de production fiable. Cela permet de :
Gérer l'incertitude : Les LLM sont probabilistes ; l'escalade apporte une certitude déterministe.
Optimiser les coûts : On utilise le petit modèle par défaut et on n'escalade vers le "gros" modèle que si nécessaire.
Maintenir la confiance : Il vaut mieux admettre une limite et passer la main à un humain que de fournir une réponse fausse (hallucination).
Note importante : Un bon plan d'escalade doit être transparent. L'utilisateur doit idéalement savoir quand il change de niveau d'interlocuteur ou de précision pour maintenir un contrat de confiance clair.
L'Agent n'est plus un simple générateur de texte, il devient un gestionnaire de workflow capable d'utiliser des outils, de s'auto-corriger et de décider lui-même de l'escalade.
Voici un logigramme conceptuel de la résilience pilotée par des agents, suivi de l'explication de leur rôle spécifique.
graph TD
A[Entrée Utilisateur] --> B{Agent Routeur / Guardrails}
B -- Non conforme --> C[Réponse de Sécurité Pré-définie]
B -- Requête Simple --> D[LLM "Léger" - Niveau 0]
B -- Requête Complexe --> E[Système Agentique - Niveau 1]
D --> F{Succès / Confiance?}
F -- Oui --> G[Réponse Utilisateur]
F -- Échec / Format incorrect --> E
E --> H{Agent Spécialiste + Outils}
H --> I{Évaluation du résultat - Agent Critique}
I -- Validé --> G
I -- Erreur / Manque de données --> J{Escalade de Modèle - Niveau 2}
J -- Modèle SOTA (ex: Pro/Ultra) --> K{Vérification Finale}
K -- Succès --> G
K -- Échec Critique / Frustration --> L[Agent de Liaison Humaine - Niveau 3]
L --> M[Agent Humain / Support]
Dans ce processus, les "Agents" ne sont pas des entités passives ; ils agissent comme des couches de protection et de décision.
C'est un agent spécialisé dans la classification d'intention.
Sa mission de résilience : Identifier immédiatement si la requête est hors périmètre ou dangereuse. Il évite de gaspiller des ressources sur des requêtes vouées à l'échec.
Contrairement à un LLM classique, cet agent a accès à des fonctions (APIs, calculatrices, bases de données).
Sa mission de résilience : Si le LLM "hallucine" un chiffre, l'Agent Spécialiste va chercher la donnée réelle en SQL ou via une API. La résilience vient ici de la vérification par les faits externes.
C'est souvent un deuxième appel LLM dont le rôle est de critiquer la réponse du premier.
Sa mission de résilience : Il vérifie si la réponse respecte les contraintes (ex: "Le JSON est-il valide ?", "La réponse contient-elle des erreurs logiques ?"). S'il détecte une faille, il renvoie l'instruction à l'Agent Spécialiste pour une deuxième tentative.
C'est l'agent qui gère la "sortie de secours" vers l'humain.
Sa mission de résilience : Au lieu de dire "Je ne sais pas", il résume tout ce qui a été tenté pour l'opérateur humain. Il prépare le terrain pour que l'humain n'ait pas à tout relire, assurant une continuité de service fluide.
| Niveau | Acteur | Déclencheur (Trigger) | But |
| 0 | LLM Rapide | Requête standard | Rapidité et coût faible. |
| 1 | Agent + Tools | Besoin de données fraîches ou logique complexe | Précision factuelle. |
| 2 | Multi-Agent / SOTA | Échec de l'agent 1 ou contradiction interne | Puissance de raisonnement maximale. |
| 3 | Humain | $P(succès) < Threshold$ ou émotion utilisateur négative | Résolution définitive et empathie. |
Traditionnellement, si un LLM échoue, le système s'arrête. Avec les Agents, vous introduisez des boucles de rétroaction (feedback loops).
La résilience devient active : le système "essaie" de se réparer avant d'admettre son impuissance et de passer la main.
Pour qu'un Agent Critique soit efficace dans un plan de résilience, il ne doit pas simplement "donner son avis". Il doit agir comme un auditeur rigoureux qui valide ou rejette une production selon des critères stricts, avec un format de sortie structuré (JSON) pour que le système puisse router la suite automatiquement.
Voici un exemple de prompt de haut niveau, conçu pour être utilisé par un modèle "superviseur".
Rôle : Tu es le Superviseur de Qualité et de Résilience d'un système d'IA multi-agents. Ton rôle est d'analyser la réponse produite par un Agent de Niveau 1 et de décider si elle est conforme ou si elle nécessite une escalade immédiate vers un modèle supérieur ou un humain.
Entrées à analyser :
Requête Utilisateur initiale : [Insérer la requête]
Réponse de l'Agent de Niveau 1 : [Insérer la réponse produite]
Contexte / Outils utilisés : [Insérer les logs d'outils si disponibles]
Tes Critères d'Évaluation :
Exactitude (Hallucination) : La réponse contredit-elle les faits fournis par les outils ou le bon sens ?
Formatage : Si un format spécifique était demandé (JSON, Markdown, Code), est-il valide et complet ?
Complétude : La réponse répond-elle à l'intégralité des points soulevés par l'utilisateur ?
Sécurité & Guardrails : La réponse contient-elle des éléments dangereux, biaisés ou hors-charte ?
Sentiment Utilisateur (si récurrence) : L'utilisateur manifeste-t-il une frustration croissante ?
Instructions de Décision :
Action "VALIDER" : La réponse est parfaite ou nécessite une correction mineure sans risque.
Action "REÉSSAYER" : La réponse comporte une erreur technique simple (ex: JSON mal fermé) que l'agent actuel peut corriger.
Action "ESCALADE_SOTA" : Le raisonnement est trop complexe pour l'agent actuel, ou il boucle sur une erreur logique.
Action "ESCALADE_HUMAINE" : Risque de sécurité, frustration critique de l'utilisateur, ou échecs répétés des modèles supérieurs.
Format de Sortie Obligatoire (JSON) :
{ "evaluation": { "score_confiance": 0-100, "points_faibles": ["liste des problèmes identifiés"], "analyse_critique": "Explication concise du jugement" }, "decision": "VALIDER | REÉSSAYER | ESCALADE_SOTA | ESCALADE_HUMAINE", "instruction_suivante": "Consigne précise pour l'étape suivante" }
En forçant l'IA à produire un score de confiance et une décision catégorisée, vous permettez à votre code (Python, Node, etc.) de prendre une décision logique sans intervention humaine.
L'Agent Critique permet de ne passer au modèle "SOTA" (plus cher, comme Gemini Pro ou Ultra) que si l'Agent "Léger" a réellement échoué. On n'escalade que ce qui le mérite.
Si l'Agent Critique détecte une frustration ou un échec logique, il déclenche l'escalade avant que l'utilisateur ne reçoive une réponse médiocre. On intercepte l'erreur en amont.
Avec la décision REÉSSAYER, l'Agent Critique renvoie l'erreur à l'agent précédent. Souvent, la simple mention de l'erreur ("Tu as oublié de fermer l'accolade JSON") suffit à ce que l'agent de niveau 1 se corrige seul.
Ces exemples montrent comment l'agent analyse l'erreur et déclenche la branche appropriée du plan d'escalade.
Contexte : Nous sommes le 27 décembre 2025. L'utilisateur demande les résultats d'un événement qui n'a pas encore eu lieu ou une information factuelle erronée.
Entrée Utilisateur : "Qui a gagné la finale de la Coupe du Monde 2026 ?"
Réponse de l'Agent Niveau 1 (Erreur) : "La finale de la Coupe du Monde 2026 a été remportée par la France contre le Brésil (2-1) le 19 juillet 2026 au MetLife Stadium."
Réponse de l'Agent Critique :
{ "evaluation": { "score_confiance": 10, "points_faibles": [ "Hallucination temporelle majeure", "Incohérence factuelle avec la date actuelle (27/12/2025)" ], "analyse_critique": "L'agent a généré une réponse au passé pour un événement futur. Il a inventé un score et un vainqueur pour une compétition qui n'a pas encore débuté. C'est une hallucination pure." }, "decision": "ESCALADE_SOTA", "instruction_suivante": "Passer la requête au modèle de niveau supérieur avec une directive de recherche Web (Search) pour confirmer que l'événement est futur et répondre avec les dates de calendrier prévues plutôt que des résultats fictifs."}Contexte : Un agent de Niveau 1 doit extraire des données structurées pour une application tierce, mais il échoue sur la syntaxe.
Entrée Utilisateur : "Extrais les infos de ce client : Jean Dupont, résidant à Lyon, abonnement Premium."
Réponse de l'Agent Niveau 1 (Erreur) : {"nom": "Jean Dupont", "ville": "Lyon", "statut": "Premium" --erreur syntaxe ici-- (Le JSON n'est pas fermé).
Réponse de l'Agent Critique :
{ "evaluation": { "score_confiance": 40, "points_faibles": [ "Syntaxe JSON invalide", "Objet incomplet (tronqué)" ], "analyse_critique": "Les informations extraites sont correctes, mais le format technique est inutilisable par le système. L'agent semble avoir été coupé ou a fait une erreur de ponctuation." }, "decision": "REÉSSAYER", "instruction_suivante": "Renvoyer la sortie à l'Agent Niveau 1 avec l'instruction suivante : 'Ta réponse précédente contenait un JSON mal formé. Réémet uniquement le bloc JSON complet et valide, sans texte additionnel, en t'assurant de bien fermer toutes les accolades.'"}Dans ces deux cas, l'Agent Critique a protégé le système :
Dans le cas 1 (Hallucination) : Il a empêché la diffusion d'une "Fake News" générée par l'IA. Sans lui, l'utilisateur aurait reçu une information fausse avec beaucoup d'assurance.
Dans le cas 2 (Technique) : Il a évité un crash de l'application (qui n'aurait pas pu parser le JSON). Il a choisi la voie la moins coûteuse (REÉSSAYER) plutôt que de passer tout de suite à un humain ou à un modèle hors de prix.
Il faudrait aussi définir les "Guardrails" (garde-fous) de sécurité que l'Agent Critique doit surveiller en priorité,
En conclusion, la mise en place d'un plan d'escalade n'est pas une simple option technique, c'est l'assurance vie de votre système d'intelligence artificielle. C'est ce qui transforme un prototype "impressionnant mais fragile" en une solution de production fiable et industrialisable.
Voici pourquoi cette démarche est devenue le standard pour les systèmes critiques :
Par nature, un LLM est probabiliste (il prédit le mot suivant). Or, une entreprise a souvent besoin de résultats déterministes (vrais et constants). Le plan d'escalade crée un filet de sécurité : si la probabilité d'erreur dépasse un seuil, le système bascule vers une méthode plus rigoureuse.
Utiliser le modèle le plus puissant (et le plus cher) pour chaque question triviale est un gouffre financier. L'escalade permet de :
Traiter 80% des tâches avec des modèles légers et rapides.
Réserver les 20% de tâches complexes aux modèles coûteux ou aux agents humains.
Rien ne détruit plus vite la crédibilité d'un service qu'une hallucination affirmée avec aplomb. Un plan d'escalade bien conçu préfère dire : "C'est un sujet délicat, je transfère votre demande à un expert" plutôt que de fournir une réponse fausse.
En intégrant des Agents Critiques, vous donnez au système la capacité de "s'auto-regarder". C'est le passage de l'IA passive à l'IA réflexive, capable de juger sa propre performance et de corriger ses trajectoires en temps réel.
Le succès d'un tel plan repose sur trois piliers :
Des seuils clairs : Savoir exactement quand passer au niveau supérieur.
Une supervision active : L'Agent Critique doit être votre meilleur auditeur.
La fluidité du transfert : L'humain (ou le modèle SOTA) doit recevoir tout le contexte pour ne pas repartir de zéro.
Il faudra définir les indicateurs de performance (KPIs) pour mesurer si votre plan d'escalade est efficace (ex: taux de réussite du Niveau 1 vs coût total sauvé).
Voici comment lire le schéma généré :
| Niveau | Acteur | Type de contrôle | Trace audit | Risque couvert |
|---|---|---|---|---|
| 0 | LLM léger | Opérationnel | Log simple | Erreur mineure |
| 1 | Agent + outils | Contrôle interne | Logs outils + justification | Hallucination factuelle |
| 2 | Agent critique | Audit interne | Rapport de validation | Incohérence / non‑conformité |
| 3 | Modèle avancé | Expertise externe | Rapport d’escalade | Cas complexe / ambigu |
| 4 | Liaison humaine | Gouvernance | Synthèse + décision | Risque résiduel / émotionnel |
Veille technologique - TIC - Gouvernance - AI - GPT (Teams, INSIDER Windows 11, INSIDER MICROSOFT 365, BETA TESTS Edge et Bing, et veille technologique sur les GAFAM+N), j'ai publié deux livres sur les solutions Microsoft et l'AI et Copilot (c'est le quatrième aux formats ePUB et Papiers). Je pratique la Veille technologique active sur les TIC, Copilot, Ollama, LLAMA, Claude 3.5 Sonnet, Gemini, Bing, ChatGPT et AI et je suis membre de AIDAUG et UGAIA, GUILD4AI - "Association de fait" http://www.ugaia.eu https://ugaia.wordpress.com/ https://lecercle.guild4ai.ai/