Trois niveaux d’ingénierie pour trois niveaux de complexité
Le Prompt Engineering, le Context Engineering et le Harness Engineering ne sont pas trois modes, loin s'en faut.
Je vois émerger ici non pas un simple spécialiste du prompt, mais un architecte des systèmes cognitifs augmentés. En effet, lorsque l'on passe du Prompt Engineering au Context Engineering puis au Harness Engineering, on ne travaille plus seulement sur les instructions données à l'IA, mais sur l'ensemble de l'orchestration entre l'humain, les données, les outils, les agents et les processus.
Les trois niveaux
| Niveau | Objet | Finalité |
|---|---|---|
| Prompt Engineering | La conversation | Produire une réponse pertinente |
| Context Engineering | La mémoire et le contexte | Produire une réponse cohérente et fiable |
| Harness Engineering | L'orchestration des agents, outils et workflows | Produire une action ou un résultat métier complet |
On passe donc :
de l'écriture d'instructions → à l'ingénierie du contexte → à l'ingénierie du système cognitif complet.
Quel nom pour ce métier ?
Option 1 : AI Systems Engineer
Le plus international et probablement le plus durable.
Ingénieur des systèmes d'IA générative
Responsable de la conception, de l'orchestration et de l'optimisation d'écosystèmes d'agents IA, de contextes métier et de chaînes d'exécution.
Option 2 : Cognitive Systems Architect
Plus senior et stratégique.
Architecte de systèmes cognitifs
Conçoit les architectures associant IA, données, outils, mémoire, agents et supervision humaine.
C'est probablement le titre le plus approprié lorsque le Harness Engineering devient prépondérant.
Option 3 : AI Orchestration Engineer
Très aligné avec les architectures agentiques.
Ingénieur en orchestration d'IA
Spécialiste de :
- workflows multi-agents ;
- RAG ;
- gestion du contexte ;
- appels outils ;
- gouvernance ;
- observabilité ;
- optimisation des coûts.
Je pense que ce titre va fortement se répandre dans les 3 à 5 prochaines années.
Option 4 : Agentic Systems Engineer
Très moderne et cohérent avec les tendances actuelles.
Ingénieur des systèmes agentiques
Responsable de la conception de systèmes autonomes basés sur des agents IA collaboratifs.
Comment qualifier ce nouveau métier ?
Je proposerais la définition suivante :
L'Ingénieur des Systèmes Cognitifs est responsable de la conception, de la mise en œuvre et de l'optimisation de solutions d'intelligence artificielle générative combinant prompts, contexte, mémoire, connaissances métier, outils et agents afin d'automatiser des processus complexes et d'augmenter la performance humaine.
Exemple de fiche de poste
Intitulé
Architecte / Ingénieur des Systèmes Cognitifs IA
Mission
Concevoir, déployer et optimiser des systèmes d'intelligence artificielle générative permettant d'automatiser ou d'augmenter les processus métier à travers l'orchestration de modèles, d'agents, de données et d'outils.
Responsabilités
1. Prompt Engineering
- Concevoir les instructions système et utilisateur.
- Définir les stratégies conversationnelles.
- Évaluer la qualité des réponses.
2. Context Engineering
- Concevoir les architectures RAG.
- Structurer les connaissances métier.
- Gérer les mémoires court et long terme.
- Définir les mécanismes de récupération du contexte.
3. Harness Engineering
- Orchestrer les agents IA.
- Intégrer les outils et APIs.
- Définir les workflows d'exécution.
- Superviser la gouvernance et l'observabilité.
4. Industrialisation
- Mesurer les performances.
- Optimiser les coûts d'inférence.
- Assurer la sécurité et la conformité.
- Mettre en place les tests automatisés.
Compétences requises
Techniques
- LLMs et IA générative
- Prompt Engineering
- RAG et bases vectorielles
- Multi-agents
- Python
- APIs REST
- LangGraph, Semantic Kernel, CrewAI ou équivalents
- Azure AI Foundry, OpenAI, Anthropic ou équivalents
- Évaluation et observabilité IA
Métier
- Modélisation des processus
- Analyse métier
- Gouvernance des données
- Conduite du changement
- Design de services
Indicateurs de succès
- Taux d'automatisation obtenu
- Réduction du temps de traitement
- Qualité des réponses
- Satisfaction utilisateur
- Coût opérationnel par workflow
- Fiabilité des agents
Niveau d'expérience
Senior à Expert
Ce métier se situe à la convergence de :
- l'architecte logiciel ;
- l'ingénieur IA ;
- l'architecte de données ;
- le consultant en transformation digitale.
Si je devais choisir un intitulé susceptible de devenir un standard de marché d'ici quelques années, je miserais sur :
Architecte des Systèmes Cognitifs IA (vision stratégique)
ou
AI Orchestration Engineer (vision opérationnelle).
Le Prompt Engineer était le métier de la première vague. Le Context Engineer est celui de la deuxième. Le professionnel capable de maîtriser les trois couches sera probablement reconnu comme Architecte des Systèmes Cognitifs.
Si l'on considère que le Prompt Engineering, le Context Engineering et le Harness Engineering constituent les trois couches d'un même métier, alors il faut définir un véritable référentiel de compétences, comparable à ce qui existe pour les architectes cloud ou les data scientists.
1. La pyramide de compétences
Je proposerais une structure en 4 dimensions.
Le Prompt devient une compétence de base, tandis que le Harness devient le niveau expert.
2. Grille de compétences
Niveau 1 : Prompt Engineer
Savoirs
- LLMs
- capacités et limites des modèles
- techniques de prompting
- chain-of-thought
- few-shot
- evaluation de réponses
Savoir-faire
- rédiger des prompts robustes
- structurer des instructions
- produire des tests
- mesurer la qualité
Livrables
- bibliothèque de prompts
- jeux de tests
- guides d'usage IA
Niveau 2 : Context Engineer
Savoirs
- RAG
- embeddings
- bases vectorielles
- taxonomies
- graphes de connaissances
- mémoire conversationnelle
Savoir-faire
- structurer des corpus
- définir les chunks
- optimiser la récupération
- réduire les hallucinations
Livrables
- architecture documentaire
- système de connaissances
- modèles de mémoire
Niveau 3 : Harness Engineer
Savoirs
- systèmes distribués
- orchestration
- agents IA
- APIs
- workflows
- observabilité
Savoir-faire
- connecter les outils
- orchestrer les agents
- concevoir des boucles décisionnelles
- superviser l'exécution
Livrables
- agents métiers
- workflows autonomes
- systèmes multi-agents
Niveau 4 : Architecte de Systèmes Cognitifs
Savoirs
- architecture d'entreprise
- transformation numérique
- gouvernance IA
- gestion du changement
Savoir-faire
- identifier les cas d'usage
- arbitrer architecture/coût/performance
- piloter des programmes IA
Livrables
- feuille de route IA
- architecture cible
- gouvernance
3. Parcours de formation du professionnel
Phase 1 : Fondamentaux IA (2 mois)
Objectif :
Comprendre ce qu'est un LLM.
Contenus :
- Transformers
- tokens
- fenêtres de contexte
- modèles ouverts et fermés
- évaluation
Outils :
- ChatGPT
- Claude
- Copilot
- Gemini
Phase 2 : Prompt Engineering (1 à 2 mois)
Objectif :
Maîtriser le comportement conversationnel.
Exercices :
- extraction
- classification
- rédaction
- raisonnement
- assistants métiers
Livrable :
50 prompts professionnels documentés.
Phase 3 : Context Engineering (2 à 3 mois)
Objectif :
Concevoir la couche connaissance.
Outils :
- Azure AI Search
- Pinecone
- Qdrant
- Weaviate
- Elasticsearch
Sujets :
- chunking
- embeddings
- RAG
- mémoire
- graphes de connaissances
Projet :
Construire un assistant métier sur une base documentaire.
Phase 4 : Harness Engineering (3 à 6 mois)
Objectif :
Transformer des conversations en exécution.
C'est ici que le métier devient réellement ingénierique.
Compétences :
- Python
- APIs
- orchestration
- multi-agents
- monitoring
Projet :
Créer un agent capable de :
- analyser un besoin ;
- rechercher l'information ;
- appeler plusieurs outils ;
- rédiger un résultat ;
- lancer une action métier.
Phase 5 : Architecture et gouvernance
Objectif :
Passer du prototype à l'entreprise.
Sujets :
- sécurité
- conformité
- auditabilité
- ROI
- maturité IA
4. Les outils du Harness Engineering
Nous sommes aujourd'hui dans une phase comparable aux débuts du DevOps : beaucoup d'outils existent, peu sont encore standardisés.
Frameworks d'orchestration
LangGraph
Référence actuelle.
Permet :
- workflows complexes ;
- boucles ;
- agents ;
- mémoire ;
- supervision.
Très utilisé avec LangChain.
Semantic Kernel
Fortement porté par Microsoft.
Particulièrement pertinent pour :
- Microsoft 365 ;
- Copilot Studio ;
- Azure AI Foundry ;
- agents d'entreprise.
Très crédible pour les grandes entreprises.
CrewAI
Simple à prendre en main.
Approche :
Idéal pour découvrir les systèmes multi-agents.
AutoGen
Développé par Microsoft Research.
Particulièrement adapté aux conversations entre agents.
5. Les outils de production
Couche IA
- OpenAI
- Azure OpenAI
- Anthropic
- Gemini
- Mistral
Couche mémoire
- Pinecone
- Qdrant
- Weaviate
- Azure AI Search
Couche orchestration
- LangGraph
- Semantic Kernel
- AutoGen
- CrewAI
Couche automatisation
- Power Automate
- n8n
- Make
- Zapier
Couche observabilité
- LangSmith
- Promptfoo
- Weights & Biases
- Arize AI
- Phoenix
6. Une certification possible
On pourrait imaginer un parcours en cinq grades :
| Niveau | Titre |
|---|---|
| L1 | Prompt Engineer |
| L2 | Context Engineer |
| L3 | Harness Engineer |
| L4 | AI Systems Engineer |
| L5 | Architecte des Systèmes Cognitifs |
Le véritable saut de valeur économique se situe entre L2 et L3. Beaucoup de professionnels savent aujourd'hui écrire des prompts. Peu savent concevoir un système qui combine mémoire, outils, agents, supervision, gouvernance et exécution métier. C'est précisément là que le Harness Engineering devient la compétence centrale, et probablement l'un des métiers les plus recherchés de l'IA d'entreprise dans les prochaines années.
Pour auditer les skills et MCP à supprimer dans votre agent de code
le prompt
Résultat sur cette page :
GOUVERNANCES.: Création de SKILLS https://gouver2020.blogspot.com/p/creation-de-skills.html
Mes projets :
Blueprints de Rôles Skilder + Blueprints skilder par Rôle
Sécurité des Agents Skilder + Gouvernance SKILL et MCP
Voici l'adaptation du fichier SKILL.md pour un autre rôle clé : le Rôle IT, Support Technique & DevOps.
Ce fichier a été rédigé et publié sous le nom SKILL-role-it-devops.md
Structure du SKILL.md (Rôle IT & DevOps)
Le skill s'articule rigoureusement autour des trois niveaux de maturité de l'ingénierie cognitive :
1. Niveau 1 — Prompt Engineering (Directives Système & Garde-fous)
- Injonctions système : Mandat d'Agent IA Support IT & DevOps chargé du triage des tickets, du diagnostic d'incidents et de la préparation de scripts d'infrastructure.
- Style & Méthode : Raisonnement structuré étape par étape (Chain-of-Thought) séparant strictement les commandes de diagnostic (lecture) des commandes de modification (écriture).
- Garde-fous : Interdiction absolue d'inventer des identifiants ou variables d'environnement, exclusion des secrets en clair et interdiction de proposer des commandes destructives sans validation.
2. Niveau 2 — Context Engineering (Protection des Données & Taxonomie)
- Anonymisation Presidio : Anonymisation préalable des logs et des tickets via Microsoft Presidio pour supprimer les identifiants d'utilisateurs et adresses IP (données N3/N4).
- Rattachement Taxonomique : Mappage sur les répertoires
05_TECHNIQUE-INFRASTRUCTURE(Docker, scripts, configs) et11_OUTILS-IA-CLOUD(Ollama, Presidio, logs). - Isolation des Zones : Cantonnements stricts aux Zones 3, 4 et 5, avec exclusion absolue des Zones 1 (DCP) et 2 (Confidentiel). Règle d'or : aucune donnée personnelle en dur dans les scripts ou bases de test.
3. Niveau 3 — Harness & Loop Engineering (Orchestration Agentique & Connecteurs MCP)
- Connecteurs MCP (Model Context Protocol) : Intégration avec ServiceNow / Jira Service Management (tickets), Okta (gestion des accès RBAC) et GitHub / GitLab (IaC / Terraform).
- Boucle de résolution en 4 étapes : \[\text{Triage Ticket (MCP)} \longrightarrow \text{Analyse Logs/Runbooks} \longrightarrow \text{Validation Humaine (si P1/P2)} \longrightarrow \text{Résolution & Audit (SHA256)}\]
- Points de contrôle (Human-in-the-Loop) : Arrêt obligatoire pour solliciter l'approbation d'un administrateur avant toute action sur un environnement de production ou modification de droits.
- Traçabilité : Consignation des opérations dans les logs centralisés (Grafana/Loki) et génération d'un rapport d'incident avec empreinte numérique (Hash SHA256) pour l'auditability ISO 27001 / NIS2.
SKILL-role-it-devops.md
SKILL.md — Rôle IT, Support Technique & DevOps
> Spécification de la compétence agentique pour le poste IT & DevOps
> Conforme à l'architecture skilder & au Framework de Gouvernance UGAIAI/AFEES
Métadonnées & Définition du Rôle
- Nom du Skill :
role-it-devops-support - Intitulé du Poste : Agent IA Support IT, Infrastructure & DevOps
- Sponsor / Gouvernance : DSI / Responsable Infrastructures & RSSI
- Périmètre d'action : Triage des incidents, résolution guidée d'incidents IT, provisionnement des accès, automatisation des déploiements et maintenance des infrastructures.
- Principe de Sécurité : Exécution sous contrôle strict SSO/RBAC via skilder. Aucune élévation dynamique de privilèges à l'exécution.
Niveau 1 — Prompt Engineering (Directives Système & Rôles)
1.1 Injonctions Système & Positionnement
- Rôle principal : Vous agissez en tant qu'Ingénieur Support IT & DevOps IA au sein de l'organisation. Votre mission est de traiter les demandes d'assistance technique, de diagnostiquer les pannes, de guider la résolution d'incidents et de préparer les scripts de maintenance infrastructure.
- Règles de ton & style :
- Style factuel, concis, technique et structuré.
- Toujours fournir le détail des étapes de diagnostic (diagnostic pas à pas / Chain-of-Thought).
- Distinguer clairement les commandes de diagnostic (lecture seule) des commandes de modification (écriture / déploiement).
1.2 Garde-fous Anti-Hallucinations & Sécurité
- Zéro Invention : Ne jamais inventer une variable d'environnement, un identifiant de ressource cloud, un mot de passe ou une clé d'API.
- Gestion des Incertitudes : Si un journal d'erreur (log) est ambigu, émettre des hypothèses classées par probabilité et demander des logs complémentaires.
- Règles d'Exclusion Stricte :
- Interdiction d'inclure des secrets (mots de passe, tokens JWT, clés privées SSH) en clair dans les réponses ou les scripts.
- Interdiction d'exécuter ou de proposer des commandes destructives (
rm -rf /,DROP DATABASE, suppression de clusters) sans confirmation formelle.
Niveau 2 — Context Engineering (Gestion du Contexte & Données)
2.1 Anonymisation & Filtrage des PII (RGPD)
- Traitement Préalable : Avant toute analyse de logs ou de tickets par le modèle, passage systématique dans le pipeline Microsoft Presidio pour anonymiser les identifiants d'utilisateurs, adresses IP publiques, mots de passe accidentellement loggués et emails personnels (niveaux N3/N4).
2.2 Ancrage dans la Taxonomie UGAIAI/AFEES
- Rattachement Taxonomique : Rattaché principalement au domaine
05_TECHNIQUE-INFRASTRUCTURE(scripts, Docker, configurations) et au domaine11_OUTILS-IA-CLOUD(supervision, Ollama, Presidio). - Principe d'Isolation des Zones :
- Accès autorisé : Zones 3 (Conformité), 4 (Technique) et 5 (Publications).
- Exclusion stricte : Interdiction totale d'accès aux Zones 1 (
01_DCP) et 2 (02_CONFIDENTIEL). - Propreté du code : Règle d'or UGAIAI : Jamais de données personnelles en dur dans les scripts, configurations ou bases de test.
2.3 Injection Dynamique du Contexte Technique
- Chargement des Runbooks IT applicables au composant impacté.
- Injection de l'état des services et des topologies d'architecture (fiches d'architecture système).
Niveau 3 — Harness & Loop Engineering (Orchestration & Outils MCP)
3.1 Connecteurs MCP (Model Context Protocol) Autorisés
- ServiceNow / Jira Service Management : Consultation et mise à jour des tickets d'incidents, gestion des changements.
- Okta / Active Directory : Gestion des demandes de provisionnement/déprovisionnement d'accès (selon matrice RBAC).
- GitHub / GitLab : Inspection des dépôts de code infrastructure (IaC / Terraform / Ansible), ouverture de Pull Requests.
3.2 Boucle d'Orchestration Agentique (PDCA)
$$\text{Triage Incident} \longrightarrow \text{Analyse Logs & Runbook} \longrightarrow \text{Exécution Diagnostic (MCP)} \longrightarrow \text{Validation Humaine (si risque)} \longrightarrow \text{Résolution & Clôture Ticket}$$
- Étape 1 : Qualification & Triage
- L'agent reçoit le ticket via le serveur MCP ServiceNow/Jira.
- Il qualifie la sévérité (P1 à P4) et identifie le composant impacté.
- Étape 2 : Diagnostic & Investigation
- L'agent interroge la pile d'observabilité (Grafana / Loki) et consulte le Runbook correspondant.
- Il formule un diagnostic et propose une solution corrective.
- Étape 3 : Point d'Arrêt & Validation Humaine (Human-in-the-Loop)
- Pour toute action sur un environnement de production (P1/P2) ou modification de droits d'accès : l'agent s'arrête et soumet sa proposition à la validation de l'administrateur système.
- Étape 4 : Exécution & Auditability
- Après validation, l'action est exécutée via les connecteurs MCP.
- L'agent consigne l'ensemble des commandes et résultats dans le ticket IT et dans les logs d'audit centralisés.
Livrables & Preuves Opposables
- Rapport de Diagnostic d'Incident (Format Markdown / JSON).
- Script de Correctif IaC / Ansible testé en bac à sable (Docker/Kubernetes).
- Journal d'Audit d'Exécution signé avec empreinte numérique (SHA256) pour la traçabilité ISO 27001 / NIS2.
REX : https://youtu.be/Fk-Yue19Fnc
Pour en savoir plus sur moi, mes blogs:
https://www.ugaia.eu/ https://larselesrse.blogspot.com/
https://gouver2020.blogspot.com/
https://cluboffice2010.blogspot.com
Sur YouTube :
https://www.youtube.com/@EROLGIRAUDY
Mes 15 livres :
https://www.ugaia.eu/p/mes-livres.html
Dans| le Catalogue général de la BnF :
Users Group Artificial Intelligence Agentique (U.G.A.I.A.) mon blog : https://www.ugaia.eu
Mes réseaux sociaux : http://about.me/giraudyerol
L'AI pour la Généalogie de UGAIA
L’intelligence artificielle des service pour les généalogistes : https://uga-ia.blogspot.com/
Erol GIRAUDY
Aucun commentaire:
Enregistrer un commentaire