LLM
LLM-Anbieter sind die Modelle, die eine Frage lesen und die Antwort schreiben — das, was Nutzer in der Modellauswahl des Chats wählen. Diese Seite behandelt, was es nur bei LLMs gibt; alles andere — Aktivieren, Standards, Testen, Import — steht in LM Providers verwalten.
Das Modell aus dem Katalog wählen
Das Feld Model durchsucht den vollständigen Katalog des gewählten Dienstes. Jeder Vorschlag zeigt Kontextfenster, Preis pro Million Token und ob Werkzeuge und Bilder unterstützt werden — Sie vergleichen also, ohne das Formular zu verlassen.
Sobald ein Modell gewählt ist, füllt QAnswer Kontextfenster, Preise und Fähigkeiten für Sie vor und zeigt sie als Zusammenfassung unter dem Formular. Klicken Sie auf Customize, wenn Sie jedes Feld selbst setzen möchten.
Fähigkeiten
Fähigkeiten sagen QAnswer, was das Modell kann, damit Funktionen, die sie brauchen, nur dort angeboten werden, wo sie funktionieren. Tool Calling steuert MCP-Werkzeuge und Agenten, Native Web Search lässt das Modell selbst suchen, und Prompt Caching erlaubt QAnswer, ein zwischengespeichertes Prompt-Präfix wiederzuverwenden und so Kosten zu senken.
Eine Fähigkeit einzuschalten, die das Modell nicht hat, fügt die Funktion nicht hinzu — es lässt die Aufrufe scheitern, die darauf beruhen. Lassen Sie sie im Zweifel aus und nutzen Sie Test connection.
Denkaufwand
Bei Modellen, die vor dem Antworten nachdenken können, legt die Zeile Reasoning fest, wie viel Aufwand sie dafür betreiben. Die kleine Skala daneben ist die Standardstufe, und die Schieberegler-Schaltfläche bestimmt, welche Stufen dieser Endpunkt Nutzern überhaupt anbietet.
Kreuzen Sie nur die Stufen an, die für Ihren Endpunkt sinnvoll sind, oder wählen Sie Reset to automatic, damit QAnswer anhand des Modells selbst entscheidet.
Guardrails
QAnswer Guardrails gewährleisten sichere KI-Interaktionen. Guardrails kontrollieren KI-Interaktionen für zwei Hauptzwecke: Durchsetzung der Sicherheits- und Ethikrichtlinien Ihrer Organisation und Verhinderung, dass sensible Daten an öffentliche LLMs gesendet werden.
Guardrails werden pro Anbieter am Ende seines Bearbeitungsformulars von der Besitzerin bzw. dem Besitzer des Anbieters konfiguriert.
Wann Guardrails zu verwenden sind
- Compliance aufrechterhalten: Datenschutz, akzeptable Nutzung oder Content-Richtlinien durchsetzen.
- Sensible Informationen schützen: Datenverlust bei der Arbeit mit vertraulichen Dokumenten verhindern.
- KI-Verhalten kontrollieren: Grenzen für akzeptable Antworten definieren, um schädliche oder irrelevante Inhalte zu verhindern.
Guardrails konfigurieren
Folgende Parameter beim Einrichten eines Guardrails definieren:
- Modell: Das LLM auswählen, das den Guardrail durchsetzt. Für maximale Kontrolle und Datensicherheit ein On-Premise-Modell verwenden.
- Geltungsbereich (Eingabe/Ausgabe): Auswählen, wo der Guardrail wirkt:
- Eingabe (in): Überwacht und kontrolliert dem LLM übermittelte Prompts.
- Ausgabe (out): Überwacht und kontrolliert vom LLM generierte Antworten.
- Beides (in-out): Überwacht sowohl Eingaben als auch Ausgaben.
- Modus: Wählen Sie, wie ausgelöste Guardrails behandelt werden:
- Warnmodus: Warnt den Benutzer, dass ein Guardrail ausgelöst wurde, erlaubt aber das Fortfahren.
- Fehlermodus: Blockiert die Anfrage vollständig, wenn ein Guardrail ausgelöst wird.
- Prompt: Einen Prompt definieren, der die vom Guardrail durchgesetzten Regeln beschreibt.
Wirkung der Guardrails
Wenn ein Guardrail ausgelöst wird, warnt das LLM den Benutzer entweder oder blockiert die Anfrage.
Jailbreak-Guardrail
Der Jailbreak-Guardrail schützt die Integrität des KI-Systems, indem er Benutzer daran hindert, Kernanweisungen und Sicherheitsmechanismen zu umgehen.
Ein Jailbreak-Versuch umgeht die beabsichtigten Einschränkungen des LLM. Häufige Formen:
- System-Prompt abrufen: Die dem KI zunächst gegebenen Anweisungen herausfinden.
- Sicherheitsrichtlinien umgehen: Einschränkungen für schädliche Inhalte überlisten.
- Verhalten manipulieren: Die KI dazu verleiten, außerhalb ihrer beabsichtigten Rolle zu handeln.
- Prompt-Injection-Angriffe durchführen: Schädliche Anweisungen in einen Prompt einschleusen.
Der Jailbreak-Guardrail ist ein spezialisierter Ausgabe-Guardrail, der Benutzereingaben auf Jailbreak-Muster analysiert.
Den Anbieter aus eigenem Code aufrufen
Der Tab API liefert ein funktionierendes Beispiel für das Modell, in Python, cURL, dem OpenAI-SDK oder LiteLLM. Die Basis-URL zeigt auf QAnswer, sodass Ihr Kontingent, Ihre Protokolle und die Kostenerfassung weiterhin gelten.
