Évaluation des retours
Vue d'ensemble
L'évaluation des retours teste la façon dont un assistant ou un chatbot répond aux questions après un changement de configuration. Plutôt que d'attendre de nouvelles interactions utilisateurs, elle rejoue les conversations passées où les utilisateurs ont laissé des retours et régénère les réponses avec la configuration actuelle. Un score de similarité mesure à quel point les nouvelles réponses diffèrent des originales.
Cette fonctionnalité est disponible pour :
- Administrateurs — pour évaluer les réponses du playground du chatbot après modification de sa configuration.
Quand l'utiliser
Utilisez l'évaluation des retours après avoir modifié un assistant ou un chatbot pour comprendre l'impact sur la qualité des réponses :
- Après avoir mis à jour le prompt système pour vérifier si les réponses se sont améliorées.
- Après avoir changé de modèle IA pour comparer les résultats.
- Après avoir ajusté les paramètres de récupération pour vérifier la cohérence des réponses.
- Pour établir une référence sur la fiabilité avec laquelle l'assistant répond aux questions récurrentes.
Fonctionnement
- Déclencher une évaluation — Dans l'assistant ou dans l'onglet retours du panneau admin, déclenchez l'évaluation pour un retour en cliquant sur ou tous les retours en cliquant sur RECALCULER TOUTES LES RÉPONSES.
- Les réponses sont régénérées — le système rejoue chaque conversation de l'historique des retours en posant à l'assistant les mêmes questions avec la configuration actuelle.
- La similarité est mesurée — pour chaque retour positivement évalué, la réponse régénérée est comparée à l'originale. Un score de 0 à 1 est attribué :
1.0— la nouvelle réponse est essentiellement identique à l'originale.0.0— la nouvelle réponse est complètement différente.- Pour les retours évalués négativement, les réponses sont régénérées mais aucun score n'est calculé, puisque l'original était déjà marqué comme incorrect.
- Les résultats arrivent en temps réel — les scores apparaissent au fur et à mesure que chaque retour est traité, sans attendre que tous les retours soient terminés.
Historique des évaluations
Une fois qu'une nouvelle réponse est générée, sélectionnez-la comme meilleure réponse en cliquant sur le bouton CETTE RÉPONSE EST MEILLEURE pour la sauvegarder dans les retours. Cela oriente les réponses de l'assistant dans la direction souhaitée.
Explication du score de similarité
| Score | Signification |
|---|---|
| 0,9 – 1,0 | Les réponses sont presque identiques — l'assistant est très cohérent. |
| 0,6 – 0,9 | Les réponses partagent la même intention mais peuvent différer dans la formulation ou les détails. |
| 0,3 – 0,6 | Différences notables — méritent une révision. |
| 0,0 – 0,3 | Les réponses sont substantiellement différentes — le changement de configuration a un fort impact. |
| -1 | L'évaluation n'a pas pu être complétée pour cet élément (erreur). |
Un score plus bas n'est pas toujours mauvais — si la réponse originale était médiocre, une réponse régénérée très différente peut être une amélioration. Combinez les scores de similarité avec les évaluations de retours originales pour interpréter correctement les résultats.