Évaluation des retours
Aperçu
L'évaluation des retours teste comment l'assistant répond aux questions après un changement de configuration. Elle rejoue les conversations passées où les utilisateurs ont laissé des retours et régénère les réponses avec la configuration actuelle. Un score de similarité mesure dans quelle mesure les nouvelles réponses diffèrent des originales.
Cette fonctionnalité est disponible pour :
- Propriétaires d'assistants — pour évaluer les réponses de leur assistant après avoir modifié sa configuration.
Quand l'utiliser
Utilisez l'évaluation des retours après avoir modifié la configuration de l'assistant pour comprendre l'impact sur la qualité des réponses :
- Vous avez mis à jour le prompt système et voulez savoir si les réponses se sont améliorées.
- Vous avez changé pour un modèle IA différent et voulez comparer les résultats.
- Vous avez ajusté les paramètres de récupération et voulez vérifier que les réponses sont toujours cohérentes.
- Vous souhaitez une mesure de référence de la fiabilité avec laquelle votre assistant répond aux questions récurrentes.
Comment ça fonctionne
1. Déclencher une évaluation — Dans l'assistant ou dans le panneau d'administration, dans l'onglet retours, vous pouvez déclencher l'évaluation pour un retour en cliquant sur ou pour tous les retours en cliquant sur RECALCULER TOUTES LES RÉPONSES.
2. Les réponses sont régénérées — le système rejoue chaque conversation de votre historique de retours, posant à l'assistant ou au chatbot les mêmes questions avec la configuration actuelle (ou fournie).
3. La similarité est mesurée — pour chaque retour positivement évalué, la réponse régénérée est comparée à l'originale. Un score de 0 à 1 est attribué :
1.0— la nouvelle réponse est essentiellement la même que l'originale.0.0— la nouvelle réponse est complètement différente.- Pour les retours évalués négativement, les réponses sont régénérées mais aucun score n'est calculé, car l'original était déjà marqué comme incorrect.
4. Les résultats arrivent en temps réel — les scores apparaissent au fur et à mesure que chaque retour est traité, sans attendre que tous les retours soient terminés.
Historique d'évaluation
Une fois une nouvelle réponse générée, vous pouvez la sélectionner comme meilleure réponse en cliquant sur CETTE RÉPONSE EST MEILLEURE pour la sauvegarder dans les retours. Cela permet d'orienter les réponses de l'assistant ou du chatbot dans la direction souhaitée.
Score de similarité expliqué
| Score | Signification |
|---|---|
| 0,9 – 1,0 | Les réponses sont presque identiques — l'assistant est très cohérent. |
| 0,6 – 0,9 | Les réponses partagent la même intention mais peuvent différer dans la formulation ou les détails. |
| 0,3 – 0,6 | Différences notables — mérite d'être examiné. |
| 0,0 – 0,3 | Les réponses sont substantiellement différentes — le changement de configuration a un impact fort. |
| -1 | L'évaluation n'a pas pu être complétée pour cet élément (erreur). |
Un score plus bas n'est pas toujours mauvais — si la réponse originale était médiocre, une réponse régénérée très différente peut en fait être une amélioration. Combinez les scores de similarité avec les évaluations originales des retours pour interpréter correctement les résultats.
Revue Admin & Évaluateur
Les administrateurs et les évaluateurs d'organisation peuvent désormais consulter et évaluer les retours utilisateurs directement depuis le panneau d'administration.
1. Accédez à Organisation → Retours de conversation dans le panneau d'administration.
2. Parcourez les entrées de retour — consultez les notes et commentaires laissés par les utilisateurs sur les réponses des assistants.
3. Déclenchez une réévaluation — cliquez sur recalculer pour régénérer les réponses avec la configuration actuelle et comparer les résultats.