Feedback-Auswertung
Übersicht
Die Feedback-Auswertung testet, wie ein Assistent oder Chatbot Fragen nach einer Konfigurationsänderung beantwortet. Anstatt auf neue Benutzerinteraktionen zu warten, werden vergangene Konversationen mit Feedback erneut abgespielt und die Antworten mit der aktuellen Konfiguration neu generiert. Ein Ähnlichkeits-Score misst, wie stark sich die neuen Antworten von den ursprünglichen unterscheiden.
Diese Funktion ist verfügbar für:
- Organisations-Admins — zur Auswertung von Chatbot-Playground-Antworten nach Änderung der Chatbot-Konfiguration.
Wann verwenden
Verwenden Sie die Feedback-Auswertung nach jeder Änderung an einem Assistenten oder Chatbot, um die Auswirkungen auf die Antwortqualität zu messen:
- Nach einer Aktualisierung des System-Prompts: prüfen, ob sich die Antworten verbessert haben.
- Nach einem Wechsel des KI-Modells: Ausgaben vergleichen.
- Nach Anpassung der Retrieval-Einstellungen: Konsistenz der Antworten bestätigen.
- Einen Basiswert für die Zuverlässigkeit des Assistenten bei wiederkehrenden Fragen festlegen.
Funktionsweise
- Auswertung auslösen — Lösen Sie im Feedback-Tab des Assistenten oder Admin-Bereichs die Auswertung für ein einzelnes Feedback durch Klicken aus oder für alle Feedbacks durch Klicken auf ALLE ANTWORTEN NEU BERECHNEN.
- Antworten werden neu generiert — Das System spielt jede Konversation aus dem Feedback-Verlauf erneut ab und stellt dem Assistenten oder Chatbot dieselben Fragen mit der aktuellen Konfiguration.
- Ähnlichkeit wird gemessen — Für jedes positiv bewertete Feedback wird die neu generierte Antwort mit der ursprünglichen verglichen. Ein Score von 0 bis 1 wird vergeben:
1.0— die neue Antwort ist im Wesentlichen identisch mit der ursprünglichen.0.0— die neue Antwort ist völlig anders.- Für negativ bewertete Feedbacks werden Antworten neu generiert, aber kein Score berechnet, da die ursprüngliche bereits als falsch markiert wurde.
- Ergebnisse kommen in Echtzeit — Scores erscheinen, sobald jedes Feedback verarbeitet wird, ohne auf den Abschluss aller Feedbacks zu warten.
Auswertungsverlauf
Sobald eine neue Antwort generiert wurde, klicken Sie auf DIESE ANTWORT IST BESSER um sie als bevorzugte Antwort in den Feedbacks zu speichern. Damit wird der Assistent oder Chatbot in die gewünschte Richtung gelenkt.
Ähnlichkeits-Score erklärt
| Score | Bedeutung |
|---|---|
| 0,9 – 1,0 | Antworten sind nahezu identisch — der Assistent ist sehr konsistent. |
| 0,6 – 0,9 | Antworten haben dieselbe Absicht, können sich aber in Formulierung oder Detail unterscheiden. |
| 0,3 – 0,6 | Merkliche Unterschiede — lohnt sich zu überprüfen. |
| 0,0 – 0,3 | Antworten weichen erheblich ab — die Konfigurationsänderung hat starke Auswirkungen. |
| -1 | Auswertung konnte für diesen Eintrag nicht abgeschlossen werden (Fehler). |
Ein niedrigerer Score ist nicht immer negativ — war die ursprüngliche Antwort schlecht, kann eine sehr unterschiedliche neu generierte Antwort tatsächlich eine Verbesserung sein. Ähnlichkeits-Scores und ursprüngliche Feedback-Bewertungen gemeinsam interpretieren.