Évaluer le niveau réel de ses équipes en IA

En bref. L’autoévaluation des compétences en IA repose presque toujours sur des impressions ou des certifications sans lien avec les tâches réelles. Pour obtenir une mesure fiable, testez vos équipes sur des missions concrètes : traitement d’un jeu de données clients dans Excel, intégration d’un workflow automatisé avec n8n, ou rédaction d’un prompt technique pour générer un rapport avec Claude. Ces exercices révèlent les écarts entre ce qui est revendiqué et ce qui est maîtrisé, sans biais de surconfiance ni de sous-estimation.

Pourquoi les questionnaires d’autoévaluation échouent systématiquement

Lors d’un audit récent, un dirigeant d’ETI industrielle m’a présenté le résultat d’un questionnaire interne sur les compétences IA de ses équipes : 85 % des collaborateurs se disaient « à l’aise » avec les outils d’analyse de données. Pourtant, lorsqu’il leur a demandé de nettoyer un fichier client exporté d’un CRM pour détecter des doublons à l’aide d’Excel, seul un tiers a réussi l’exercice. La différence s’explique par trois biais majeurs.

• Le biais de désirabilité sociale : les collaborateurs surévaluent leurs compétences pour se conformer aux attentes perçues. Dans un contexte où l’IA est présentée comme un levier stratégique, avouer ne pas savoir est perçu comme un risque pour sa position.
• L’effet Dunning-Kruger : les débutants, sans repères, se surestiment après une formation de deux heures sur les prompts. À l’inverse, les experts sous-estiment leur maîtrise, car ils anticipent des complexités inexistantes pour des tâches simples.
• L’ancrage sur des indicateurs flous : un collaborateur peut se croire compétent après avoir suivi une vidéo YouTube sur « l’IA générative », sans jamais avoir appliqué ces connaissances à un cas métier.

La méthode qui marche : évaluer par la tâche, pas par le diplôme

Pour contourner ces biais, remplacez les questionnaires par des mises en situation. L’idée n’est pas de piéger vos équipes, mais de reproduire, en miniature, les conditions réelles où l’IA devra être déployée. Voici comment procéder, avec des exemples concrets et des ordres de grandeur réalistes.

Cas n°1 : Nettoyer des données clients avant une campagne emailing

Tâche à confier : « À partir du fichier clients exporté de votre CRM (10 000 lignes, 15 colonnes), identifiez et corrigez les erreurs suivantes : adresses email doublonnées, numéros de téléphone mal formatés, villes en majuscules. Proposez un fichier nettoyé en moins de 30 minutes. »

Ce qui marche :

• Utilisation d’Excel (fonctions SI, RECHERCHEV, TRIER) ou d’un outil comme Power Query intégré.
• Envoi d’un modèle de fichier pré-rempli pour gagner du temps.

Ce qui ne marche pas :

• Confier la tâche à un collaborateur qui n’a jamais utilisé les outils de nettoyage de données. Sans formation préalable, le taux d’erreur dépassera 20 %, même après deux heures.
• S’attendre à ce qu’un expert en SQL résolve le problème en 5 minutes : Excel suffira, et l’utilisation d’un langage de requête ralentira la tâche inutilement.

Cas n°2 : Automatiser l’envoi d’un rapport hebdomadaire à la direction

Tâche à confier : « Configurez un workflow qui extrait chaque lundi à 8h les ventes de la semaine précédente du CRM, les formate dans un tableau standardisé, et les envoie par email à la direction avec un résumé généré automatiquement par une IA. Le tout doit être opérationnel en une demi-journée. »

Ce qui marche :

• Utilisation de n8n (version open source) ou Make pour orchestrer les étapes : export CRM → traitement Excel → génération de texte avec Claude ou Mistral → envoi email.
• Un collaborateur ayant suivi une formation d’une journée sur l’un de ces outils peut réussir, à condition de disposer de documentation claire sur l’API du CRM.

Ce qui ne marche pas :

• Laisser un débutant tenter de coder le workflow en Python : sans connaissance des webhooks ou des formats d’export, il perdra plusieurs heures à déboguer des erreurs basiques.
• Sous-estimer le temps de paramétrage de l’IA générative pour le résumé : un modèle comme GPT-4o nécessite un prompt précis et une relecture humaine pour éviter les hallucinations.

Cas n°3 : Rédiger un prompt technique pour extraire des insights d’un jeu de données

Tâche à confier : « À partir du fichier des tickets de support de l’année écoulée (20 000 entrées, champ « description » en texte libre), rédigez un prompt qui permet à une IA de générer un rapport identifiant les 5 causes principales de réclamation. Le prompt doit être assez précis pour que l’IA ne produise pas de résultats hors sujet. »

Ce qui marche :

• Un collaborateur ayant une expérience en analyse métier et une connaissance basique des prompts (par exemple, la structure « Contexte → Tâche → Contraintes → Format de sortie ») peut produire un prompt utilisable en moins de 20 minutes.

Ce qui ne marche pas :

• Demander à un data scientist de rédiger le prompt : il aura tendance à ajouter des complexités inutiles (comme l’intégration d’un modèle de langage personnalisé), ce qui rendra le résultat moins exploitable pour une équipe métier.
• Accepter un prompt trop vague, par exemple : « Analyse ces données ». Le résultat sera un texte générique, sans valeur ajoutée.

Quand ne pas engager son équipe sur un projet IA (et quoi faire à la place)

Tous les projets ne se prêtent pas à une évaluation interne par la tâche. Voici trois situations où la réponse est « ne le faites pas », avec les raisons et les alternatives.

1. Les projets nécessitant une expertise en machine learning avancé

Pourquoi ne pas le faire ? Un projet de prédiction de maintenance industrielle ou de détection de fraude par IA nécessite des compétences en modélisation, en gestion de données massives, et en optimisation de modèles. Ces tâches dépassent le cadre d’une évaluation interne et exigent soit une équipe dédiée, soit un prestataire externe spécialisé.

Alternative : Externalisez le projet à un cabinet spécialisé, mais exigez qu’ils vous livrent un modèle « boîte noire » que vos équipes pourront réutiliser après une formation de base sur son utilisation. Par exemple, un modèle de prédiction de pannes entraîné sur vos données historiques, avec une API simple pour intégration dans vos outils existants.

2. Les projets où l’enjeu est la conformité réglementaire

Pourquoi ne pas le faire ? Si le projet implique le traitement de données sensibles (données de santé, données clients RGPD), une erreur dans la configuration de l’IA peut entraîner des sanctions. Les équipes internes, même formées, manquent souvent de recul sur les risques juridiques et éthiques.

Alternative : Faites auditer le projet par un expert en conformité IA avant toute mise en production. Par exemple, si vous utilisez une IA générative pour résumer des dossiers médicaux, validez d’abord que le modèle ne produit pas de fuites de données dans ses réponses.

3. Les projets où l’IA est un « gadget » sans valeur métier

Pourquoi ne pas le faire ? Certains projets sont lancés par mimétisme (« Tout le monde parle d’IA, alors nous aussi ») sans lien avec un besoin concret. Par exemple, automatiser l’envoi de vœux de fin d’année par email avec une IA générative. Ces initiatives gaspillent des ressources et donnent une mauvaise image de l’IA en interne.

Alternative : Identifiez d’abord un problème métier réel, comme la réduction du temps passé à rédiger des rapports répétitifs. Puis évaluez si une solution simple (un modèle de prompt, un script Python) peut apporter un gain sans complexité inutile.

Comment organiser l’évaluation sans paralyser vos équipes

Évaluer vos équipes par la tâche ne doit pas devenir un frein à l’innovation. Voici une méthode pour intégrer ces évaluations de manière fluide et constructive.

Phase 1 : Choisir les bonnes tâches (et les bonnes personnes)

Sélectionnez des tâches représentatives de ce que vos collaborateurs feront au quotidien, mais en version simplifiée. Par exemple :

• Pour un commercial : rédiger un prompt pour générer une proposition commerciale personnalisée à partir d’un CRM.
• Pour un responsable logistique : configurer un tableau de bord automatisé dans Excel pour suivre les livraisons en retard.

Évitez les tâches trop techniques ou trop éloignées des missions actuelles. Une évaluation doit révéler des compétences utiles, pas des aptitudes hypothétiques.

Phase 2 : Fournir des ressources limitées dans le temps

Pour éviter que l’évaluation ne devienne une charge, imposez des contraintes réalistes :

• Un temps limité (30 minutes à 2 heures selon la complexité).
• Des outils accessibles (Excel, un CRM standard, une version gratuite de n8n ou Make).
• Une documentation concise (un guide de 2 pages, pas un manuel de 50 pages).

Exemple de consigne : « Voici un fichier Excel avec les données de ventes du trimestre dernier. À l’aide de Power Query, générez un tableau croisé dynamique qui montre les ventes par région et par produit. Vous avez 45 minutes. »

Phase 3 : Analyser les résultats sans jugement hâtif

Les résultats doivent servir à deux choses : identifier les besoins en formation et ajuster vos attentes sur les projets IA. Ne classez pas vos collaborateurs en « bons » ou « mauvais » ; classez-les en :

• À former rapidement : collaborateurs capables de comprendre la tâche mais manquant de pratique. Proposez-leur une session de 2 heures sur l’outil concerné.
• À accompagner : collaborateurs qui ont besoin de clarifier leurs besoins ou de comprendre les limites de l’IA. Par exemple, un commercial qui pense que l’IA peut rédiger une proposition commerciale sans aucune intervention humaine.
• À ne pas solliciter pour ce type de projet : collaborateurs dont les résultats révèlent une incompréhension fondamentale de la tâche. Proposez-leur une réorientation vers des missions où l’IA n’est pas un levier pertinent.

Le piège à éviter : confondre évaluation et performance

Une évaluation par la tâche n’est pas une évaluation de performance. Elle ne doit pas servir à décider qui mérite une promotion ou une augmentation. Son seul objectif est de cartographier les compétences réelles de vos équipes pour identifier où investir en formation ou en recrutement.

Par exemple, un collaborateur qui échoue à configurer un workflow automatisé avec n8n peut très bien exceller dans d’autres domaines (analyse de données, gestion de projet). L’évaluation n’a pas vocation à tout mesurer, mais à donner des points de repère pour agir.

Questions fréquentes

Comment évaluer une équipe qui n’a jamais utilisé d’outils d’IA ?

Commencez par des tâches très simples, comme la génération d’un texte structuré avec un outil comme Mistral ou GPT-4o. Donnez-leur un exemple de sortie attendue (un email, un tableau) et mesurez leur capacité à adapter le prompt pour obtenir ce résultat. Si la tâche est réussie, proposez une étape suivante légèrement plus complexe.

Faut-il externaliser l’évaluation des compétences IA de mes équipes ?

Si vos équipes n’ont aucune expérience avec les outils d’IA, un prestataire externe peut vous aider à concevoir des exercices pertinents et à analyser les résultats. En revanche, si vous avez déjà une idée des compétences à évaluer, une auto-évaluation guidée (par exemple, via un exercice interne) peut suffire.

Quels signes montrent qu’un collaborateur surestime ses compétences en IA ?

Un collaborateur qui revendique une maîtrise rapide des outils d’IA mais produit des résultats incohérents ou hors sujet est probablement victime de l’effet Dunning-Kruger. Autre signe : il utilise des termes techniques sans comprendre leur signification (par exemple, parler de « fine-tuning » alors qu’il utilise un modèle clé en main).

Peut-on évaluer les compétences en IA sans investir dans des outils coûteux ?

Oui. Pour la plupart des évaluations, des outils gratuits ou peu coûteux suffisent : Excel (avec Power Query), les versions open source de n8n ou Make, et des modèles d’IA accessibles comme Mistral ou les versions gratuites de GPT. L’important est de reproduire un cas métier réel, pas de tester des fonctionnalités avancées.

Quelle est la différence entre une évaluation par la tâche et une certification ?

Une certification (comme celles proposées par Microsoft ou Google) valide une connaissance théorique ou une compétence sur un outil spécifique. Une évaluation par la tâche mesure la capacité à appliquer cette compétence à un cas concret, dans un temps limité et avec des contraintes réalistes. La certification ne garantit pas la performance, contrairement à l’évaluation par la tâche.