Feedback-Auswertung

Übersicht

Die Feedback-Auswertung testet, wie der Assistent nach einer Konfigurationsänderung Fragen beantwortet. Sie wiederholt vergangene Gespräche, in denen Benutzer Feedback hinterlassen haben, und generiert Antworten mit der aktuellen Konfiguration neu. Ein Ähnlichkeitswert misst, wie stark sich neue Antworten von den ursprünglichen unterscheiden.

Diese Funktion ist verfügbar für:

Assistenten-Eigentümer — um die Antworten ihres Assistenten nach einer Konfigurationsänderung zu bewerten.

Wann verwenden

Verwenden Sie die Feedback-Auswertung nach einer Änderung der Assistentenkonfiguration, um die Auswirkungen auf die Antwortqualität zu verstehen:

Sie haben den System-Prompt aktualisiert und möchten wissen, ob sich die Antworten verbessert haben.
Sie haben auf ein anderes KI-Modell gewechselt und möchten die Ausgaben vergleichen.
Sie haben die Retrieval-Einstellungen angepasst und möchten überprüfen, ob die Antworten noch konsistent sind.
Sie möchten eine Basislinie messen, wie zuverlässig Ihr Assistent wiederkehrende Fragen beantwortet.

So funktioniert es

1. Eine Auswertung auslösen — Im Assistenten oder im Admin-Panel, im Feedback-Tab, können Sie die Auswertung für ein Feedback auslösen, indem Sie auf oder für alle Feedbacks auf ALLE ANTWORTEN NEU BERECHNEN.

2. Antworten werden neu generiert — Das System wiederholt jedes Gespräch aus Ihrem Feedback-Verlauf, stellt dem Assistenten oder Chatbot dieselben Fragen erneut mit der aktuellen (oder angegebenen) Konfiguration.

3. Ähnlichkeit wird gemessen — Für jedes positiv bewertete Feedback wird die neu generierte Antwort mit der ursprünglichen verglichen. Ein Score von 0 bis 1 wird vergeben:

1,0 — die neue Antwort ist im Wesentlichen dieselbe wie die ursprüngliche.
0,0 — die neue Antwort ist völlig anders.
Bei negativ bewerteten Feedbacks werden Antworten neu generiert, aber kein Score berechnet, da die ursprüngliche bereits als falsch markiert war.

4. Ergebnisse kommen in Echtzeit — Scores erscheinen, wenn jedes Feedback verarbeitet wird, ohne auf den Abschluss aller Feedbacks zu warten.

Auswertungsverlauf

Sobald eine neue Antwort generiert wurde, können Sie sie als bessere Antwort auswählen, indem Sie auf DIESE ANTWORT IST BESSER klicken, um sie in den Feedbacks zu speichern. Dies hilft, die Antworten des Assistenten in die gewünschte Richtung zu lenken.

Ähnlichkeitswert erklärt

Score	Bedeutung
0,9 – 1,0	Antworten sind nahezu identisch — der Assistent ist sehr konsistent.
0,6 – 0,9	Antworten haben dieselbe Absicht, können sich aber in Formulierung oder Detail unterscheiden.
0,3 – 0,6	Merkliche Unterschiede — es lohnt sich, sie zu überprüfen.
0,0 – 0,3	Antworten sind wesentlich anders — die Konfigurationsänderung hat starke Auswirkungen.
-1	Die Auswertung konnte für dieses Element nicht abgeschlossen werden (Fehler).

Ein niedrigerer Score ist nicht immer schlecht — wenn die ursprüngliche Antwort schlecht war, kann eine sehr unterschiedliche neu generierte Antwort tatsächlich eine Verbesserung sein. Kombinieren Sie Ähnlichkeitswerte mit den ursprünglichen Feedback-Bewertungen, um Ergebnisse korrekt zu interpretieren.