Méthodes
Comparer deux réponses IA sur le même dossier
Un protocole simple pour choisir une réponse selon son exactitude et son utilité, plutôt que son style.
Deux assistants peuvent répondre à la même demande avec des textes très différents. L’un paraît convaincant, l’autre semble prudent. Choisir le plus élégant n’apprend pas lequel respecte le mieux votre besoin. Pour comparer utilement, il faut stabiliser les informations données, définir la réussite avant la lecture et examiner les erreurs. Le protocole suivant est une méthode à effectuer vous-même ; aucun classement d’outils ni essai personnel n’est présenté ici.
Construire un dossier commun
Choisissez une tâche réelle mais sans données sensibles : préparer une annonce d’atelier à partir d’un brief fictif, ou extraire les caractéristiques d’un produit de démonstration. Donnez exactement les mêmes faits, les mêmes consignes et le même format attendu aux deux réponses. Si un assistant reçoit un document supplémentaire ou bénéficie d’un long historique, vous comparez deux contextes autant que deux outils. Notez ces différences au lieu de les oublier.
Un dossier fictif peut annoncer un atelier pour débutants, six places, deux heures et une adresse encore inconnue. Le texte demandé doit rester court, inviter à demander les modalités d’inscription et ne pas inventer le lieu. Préparez une réponse de référence contenant les éléments obligatoires, sans en faire un modèle stylistique à copier. Elle sert à contrôler les faits ; plusieurs formulations peuvent être parfaitement acceptables.
Définir les critères avant le résultat
La documentation officielle de Claude consacrée aux évaluations souligne l’intérêt de critères de réussite adaptés à chaque usage. Pour notre annonce, quatre critères suffisent : tous les faits obligatoires sont présents, aucune information n’est inventée, le format est respecté et l’action demandée est claire. Cette liste est votre grille de travail, pas une mesure universelle de l’intelligence d’un système. Une autre tâche demanderait d’autres critères.
Attribuez une appréciation distincte à chaque critère : réussi, partiel ou échoué. Évitez une note globale qui ferait disparaître un défaut grave. Une réponse très lisible annonçant une mauvaise date ne mérite pas d’être adoptée parce qu’elle est agréable sur les autres dimensions. Décidez à l’avance quelles erreurs bloquent l’utilisation. Dans une communication client, une promesse non autorisée peut être bloquante ; une phrase légèrement longue peut être corrigée.
Comparer sans connaître la provenance
Copiez les réponses sous les noms A et B lorsque c’est possible. Lisez d’abord les faits, ensuite la structure et enfin le ton. Ce petit geste limite l’influence de votre préférence pour une marque ou d’une attente liée au prix d’un abonnement. Ne changez pas vos critères après avoir vu quel outil vous plaît. Ajoutez plutôt un commentaire expliquant pourquoi un critère s’est révélé insuffisant pour le prochain essai.
Consignez les corrections nécessaires et leur durée. Une réponse plus longue peut être moins utile si vous devez enlever dix ajouts. Une réponse sobre peut coûter davantage de travail si elle omet l’action finale. Le résultat à comparer est donc le brouillon accompagné du travail de vérification, pas seulement le nombre de secondes nécessaires à sa génération. Gardez aussi les paramètres et la date lorsque ces informations sont disponibles.
Répéter sur quelques tâches différentes
Un unique exemple ne permet pas de recommander un assistant pour toute votre entreprise. Ajoutez une extraction de données, une reformulation et une synthèse de document. Pour chaque usage, conservez un dossier identique et une grille adaptée. Si vous répétez le même essai, notez les variations ; ne sélectionnez pas seulement la meilleure réponse de votre outil préféré. Présentez toute conclusion comme limitée aux cas réellement examinés.
Réponds uniquement à partir du dossier fourni. Respecte le format demandé. Signale les informations manquantes au lieu de les compléter. Après ton brouillon, liste les points qui nécessitent une validation humaine, sans affirmer que cette liste garantit l’absence d’erreur.
Votre bilan peut conclure qu’un outil est pratique pour les annonces et moins fiable pour les tableaux, ou que les deux exigent le même contrôle. C’est une conclusion exploitable. Aucun « gagnant absolu » n’est nécessaire : le bon choix dépend de la tâche, des conditions de partage des données et du coût total de votre travail.