Quand l’utiliser

Les benchmarks publics te disent comment un modèle se débrouille sur des tests académiques. Mais toi, tu travailles sur de vrais emails, des transcriptions de ton secteur, des rapports avec un format précis. Tu utilises ce playbook quand tu dois choisir quel modèle garder en production pour une tâche spécifique : répondre aux clients, résumer des appels, extraire des données de factures. Tu le fais avec tes cas, pas ceux de quelqu’un d’autre.

Le signal concret : tu as identifié deux ou trois modèles candidats (peut-être un moins coûteux, un plus puissant, un local) et tu veux savoir lequel tient le mieux sur ton matériel avant d’engager du temps ou de l’argent.

Ce qu’il te faut

• Un assistant IA avec accès à deux modèles ou plus. ChatGPT Plus, Claude Pro, ou un environnement comme OpenRouter où tu appelles différents modèles via la même API.
• De trois à cinq cas de test représentatifs. Ils doivent couvrir les situations typiques de ta tâche : un cas facile, un moyen, un difficile ou ambigu. Si tu travailles sur des emails clients, prends trois vrais emails (anonymisés). Si tu résumes des appels, trois courtes transcriptions.
• Une grille pour enregistrer les résultats. Un tableur avec une ligne par cas et une colonne par modèle, ou un document texte avec des en-têtes clairs.
• Les critères d’évaluation écrits à l’avance. Deux ou trois choses concrètes que le résultat doit faire : « doit citer le numéro de commande », « ne doit pas inventer d’informations absentes », « doit rester sous 150 mots ». Tu les utilises pour évaluer chaque réponse de façon cohérente.

Les étapes

1. Prépare les cas de test et les critères.

Choisis trois cas réels que tu utilises chaque semaine. Pour chacun, écris l’input exact (l’email, la transcription, le CSV) et les critères d’évaluation que tu appliqueras à chaque modèle. Les critères doivent être objectifs : « la réponse contient le nom du produit », « le résumé est sous 200 mots », « pas de données inventées ».

Si tu n’as pas de cas personnels, utilise les ressources du cours : /materiales/email-clienti.txt (emails de support), /materiales/riunione-trascrizione.txt (transcription d’appel), /materiales/fatture.csv (données avec anomalies documentées).

2. Écris le prompt une seule fois.

Le prompt doit être identique pour tous les modèles, sinon tu compares tes prompts, pas les modèles. Écris un prompt clair qui fonctionne sans personnalisations pour chaque modèle :

Tu es un assistant qui répond aux emails des clients de façon professionnelle et concise.

Email du client : “”“ [INSÈRE L’EMAIL ICI] “”“

Écris une réponse qui :

• Répond à la question principale
• Cite les numéros de commande ou références présents dans l’email
• Reste sous 150 mots
• N’invente pas d’informations absentes de l’email

Réponse :

Remplace [INSÈRE L'EMAIL ICI] par ton premier cas et garde le prompt : tu l’utiliseras identique pour tous les modèles.

3. Exécute le prompt sur les deux modèles.

Si tu utilises ChatGPT, va sur une nouvelle conversation, sélectionne GPT-4o, colle le prompt avec le premier cas. Copie la réponse dans la colonne GPT-4o de ton tableur. Puis ouvre une autre conversation, sélectionne o1-mini, colle le même prompt. Copie la réponse dans la colonne o1-mini.

Si tu utilises OpenRouter ou une interface qui te permet d’appeler plusieurs modèles, exécute le prompt une fois par modèle en gardant trace de quelle réponse vient d’où.

Répète pour tous les cas de test. À la fin tu as une grille : chaque ligne un cas, chaque colonne un modèle, chaque cellule la réponse de ce modèle à ce cas.

4. Évalue avec les critères que tu as écrits.

Pour chaque cellule de la grille, vérifie les critères un par un : « Contient le numéro de commande ? Oui/Non. Reste sous 150 mots ? Oui/Non. Invente quelque chose ? Oui/Non. » Marque un score simple : 1 point par critère satisfait.

Fais cette opération sans savoir quel modèle a donné quelle réponse, ou fais évaluer par une deuxième personne. L’objectif est de réduire le biais : si tu sais qu’une réponse vient du modèle coûteux, tu tends à lui donner plus de crédit.

À la fin tu ajoutes les points par modèle. Le modèle avec le score le plus haut tient mieux sur tes cas.

5. Regarde les patterns, pas juste le total.

Un modèle peut gagner au total mais échouer systématiquement sur un type de cas (les cas ambigus, ceux avec des chiffres). Regarde où il échoue : si le cas difficile est fréquent dans ton travail, un modèle qui l’échoue toujours n’est pas bon même s’il gagne sur les autres.

Regarde aussi les types d’erreurs : un modèle qui invente des informations est plus dangereux qu’un qui répond de façon générique. Ces détails comptent plus que le score global.

Un exemple complet

Je fournis un service dans une agence web (Lumen) et je dois répondre aux emails des clients qui demandent des mises à jour sur des projets. J’ai deux candidats : GPT-4o (plus coûteux) et GPT-4o-mini (moins coûteux). Je veux savoir si le mini tient le coup, car je réponds à 30 emails par semaine.

Cas de test : je prends trois emails de /materiales/email-clienti.txt :

1. Client demande quand sort le nouveau site (facile : date claire dans le projet).
2. Client demande pourquoi le formulaire de contact ne fonctionne pas (moyen : je dois comprendre si c’est un bug connu).
3. Client demande une réduction rétroactive sur une facture déjà payée (difficile : demande délicate, je dois être ferme mais courtois).

Critères :

• La réponse contient la référence au projet ou au numéro de facture s’il y en a un dans l’email.
• N’invente pas d’informations absentes de l’email ou des données du projet.
• Ton professionnel, pas de langage trop informel.
• Sous 150 mots.

Exécution :

Test avec GPT-4o : j’ouvre ChatGPT, je sélectionne GPT-4o, je colle le prompt avec le premier email. La réponse cite la date de sortie prévue, reste en 120 mots, ton ok. Je marque 4/4.

Test avec GPT-4o-mini : nouvelle conversation, même prompt. La réponse cite la date, 110 mots, ton ok. Je marque 4/4.

Cas 2 (bug) : GPT-4o me donne une réponse qui suggère de vérifier les paramètres du navigateur, n’invente pas de solution technique. 4/4. GPT-4o-mini fait la même chose, mais ajoute un paragraphe générique sur « vérifier la connexion » qui n’a rien à voir : 3/4 (réponse plus longue que nécessaire et un peu vague).

Cas 3 (réduction rétroactive) : GPT-4o répond avec fermeté éducée, explique la politique, propose une alternative. 4/4. GPT-4o-mini est moins clair sur la politique, semble laisser la porte ouverte quand il ne devrait pas : 2/4.

Résultat :

• GPT-4o : 12/12
• GPT-4o-mini : 9/12

GPT-4o gagne. Mais je regarde le pattern : le mini échoue sur les cas délicats (cas 3). Si la plupart de mes emails sont des mises à jour de routine (cas 1), le mini pourrait suffire pour celles-là, en laissant les cas complexes à 4o. Cela me fait économiser : j’utilise le mini comme premier filtre et 4o seulement quand c’est nécessaire.

Les erreurs typiques

Changer le prompt d’un modèle à l’autre. C’est la tentation la plus forte : « ce modèle a besoin d’instructions plus détaillées ». Si tu le fais, tu compares tes prompts, pas les modèles. Utilise le même prompt identique.

Juger à l’œil sans critères écrits. Sans critères objectifs tu tends à préférer le modèle que tu connaissais déjà ou celui qui coûte plus cher. Écris les critères avant de voir les réponses.

Trop peu de cas. Un seul cas ne suffit pas : c’est peut-être l’exception. Trois cas couvrent un facile, un moyen, un difficile. Cinq c’est mieux si la tâche est variée.

La variante en équipe

Si la comparaison sert une équipe (un groupe d’assistants clients, une équipe de rédaction), faites évaluer les réponses par deux personnes différentes sans se dire quel modèle a donné quelle réponse. Comparez les jugements : si vous êtes d’accord, le gagnant est clair. Si vous divergez, vous avez trouvé un cas ambigu où le modèle ne suffit pas : il faut un processus humain pour ces cas.

Un membre de l’équipe prépare les cas et les critères, un autre exécute la comparaison, un troisième évalue en aveugle. Ainsi le biais individuel compte moins et la décision tient mieux quand tu l’expliques au reste de la structure.