Évaluation des Feedbacks

Vue d'ensemble

L'évaluation des feedbacks vous permet de tester la façon dont votre assistant ou chatbot répond aux questions après avoir modifié sa configuration. Au lieu d'attendre de nouvelles interactions utilisateurs, elle rejoue les conversations passées où des utilisateurs ont laissé des feedbacks et régénère les réponses avec votre configuration actuelle (ou proposée). Un score de similarité est ensuite calculé pour mesurer dans quelle mesure les nouvelles réponses diffèrent des originales.

Cette fonctionnalité est disponible pour :

• Les administrateurs d'organisation — pour évaluer les réponses du playground du chatbot après avoir modifié sa configuration.

Quand l'utiliser

Utilisez l'évaluation des feedbacks chaque fois que vous apportez une modification à votre assistant ou chatbot et souhaitez comprendre son impact sur la qualité des réponses :

• Vous avez mis à jour le prompt système et voulez savoir si les réponses se sont améliorées.
• Vous avez changé de modèle d'IA et souhaitez comparer les résultats.
• Vous avez ajusté les paramètres de récupération et voulez vérifier que les réponses restent cohérentes.
• Vous voulez une mesure de référence de la fiabilité des réponses de votre assistant aux questions récurrentes.

Fonctionnement

1. Déclencher une évaluation — Dans l'assistant ou dans le panneau d'administration, dans l'onglet feedback, vous pouvez déclencher l'évaluation pour un seul feedback en cliquant sur

   ou pour tous les feedbacks en cliquant sur
   RECOMPUTE ALL ANSWERS
   .

2. Les réponses sont régénérées — le système rejoue chaque conversation de votre historique de feedbacks, en posant à nouveau les mêmes questions à l'assistant ou au chatbot avec la configuration actuelle (ou fournie).

3. La similarité est mesurée — pour chaque feedback évalué positivement, la réponse régénérée est comparée à l'originale. Un score de 0 à 1 est attribué :

   • 1.0 — la nouvelle réponse est essentiellement identique à l'originale.
   • 0.0 — la nouvelle réponse est complètement différente.
   • Pour les feedbacks évalués négativement, les réponses sont régénérées mais aucun score n'est calculé, car l'originale était déjà marquée comme incorrecte.

4. Les résultats arrivent en temps réel — les scores apparaissent au fur et à mesure que chaque feedback est traité. Vous n'avez pas à attendre que tous les feedbacks soient terminés.

Historique des évaluations

Une fois qu'une nouvelle réponse est générée, vous pouvez la sélectionner comme meilleure réponse en cliquant sur le bouton

THIS ANSWER IS BETTER

pour l'enregistrer dans les feedbacks. Ceci est utile pour orienter les réponses de l'assistant ou du chatbot dans la direction souhaitée.

Explication du score de similarité

Score	Signification
0,9 – 1,0	Les réponses sont presque identiques — l'assistant est très cohérent.
0,6 – 0,9	Les réponses partagent la même intention mais peuvent différer dans la formulation ou les détails.
0,3 – 0,6	Différences notables — mérite d'être examiné.
0,0 – 0,3	Les réponses sont substantiellement différentes — le changement de configuration a un fort impact.
-1	L'évaluation n'a pas pu être complétée pour cet élément (erreur).

Un score plus bas n'est pas toujours mauvais — si la réponse originale était médiocre, une réponse régénérée très différente peut en réalité être une amélioration. Combinez les scores de similarité avec les évaluations de feedback originales pour interpréter correctement les résultats.