LLM-Anbieter
Übersicht
Der LLM-Anbieter-Tab verwaltet die in QAnswer verfügbaren Large Language Models (LLMs) und Einbettungsmodelle:
LLM-Anbieter-Verwaltung
Um sich mit einem neuen LLM-Anbieter zu verbinden, klicken Sie auf Erstellen und füllen Sie die erforderlichen Informationen aus.
- LLM-Name
- LLM-Name für Benutzer anzeigen
- Der Anbieter (Openai, Azure, Bedrock, Mistral, Anthropic, Openrouter) — siehe die LiteLLM-Dokumentation für Details.
- Die Modalität, falls multimodal (z.B. Text, Bild)
- Die Engine
- Die Datensensibilitätsklassifizierung (z.B. öffentlich, privat, vertraulich)
- Beschreibung
- Endpunkt-URL
- der API-Schlüssel zur Sicherung des Endpunkts
- das maximale Kontextfenster, das die maximale Anzahl von Token definiert, die das Modell in einer einzelnen Anfrage verarbeiten kann
- die maximalen Ausgabe-Token, die die maximale Anzahl von Token definiert, die das Modell als Antwort generieren kann
- (Optional) Guardrail-Konfigurationen, siehe unten.
Guardrails
QAnswer Guardrails gewährleisten sichere KI-Interaktionen.
Guardrails kontrollieren KI-Interaktionen für zwei Hauptzwecke: Durchsetzung der Sicherheits- und Ethikrichtlinien Ihrer Organisation und Verhinderung, dass sensible Daten an öffentliche LLMs gesendet werden.
Wann Guardrails zu verwenden sind
- Compliance aufrechterhalten: Datenschutz, akzeptable Nutzung oder Content-Richtlinien durchsetzen.
- Sensible Informationen schützen: Datenverlust bei der Arbeit mit vertraulichen Dokumenten verhindern.
- KI-Verhalten kontrollieren: Grenzen für akzeptable Antworten definieren, um schädliche oder irrelevante Inhalte zu verhindern.
Guardrails konfigurieren
Folgende Parameter beim Einrichten eines Guardrails definieren:
- Modell: Das LLM auswählen, das den Guardrail durchsetzt. Für maximale Kontrolle und Datensicherheit ein On-Premise-Modell verwenden.
- Geltungsbereich (Eingabe/Ausgabe): Auswählen, wo der Guardrail wirkt:
- Eingabe (in): Überwacht und kontrolliert dem LLM übermittelte Prompts.
- Ausgabe (out): Überwacht und kontrolliert vom LLM generierte Antworten.
- Beides (in-out): Überwacht sowohl Eingaben als auch Ausgaben.
- Modus: Wählen Sie, wie ausgelöste Guardrails behandelt werden:
- Warnmodus: Warnt den Benutzer, dass ein Guardrail ausgelöst wurde, erlaubt aber das Fortfahren.
- Fehlermodus: Blockiert die Anfrage vollständig, wenn ein Guardrail ausgelöst wird.
- Prompt: Einen Prompt definieren, der die vom Guardrail durchgesetzten Regeln beschreibt.
Diese Parameter konfigurieren, um Guardrails an die Anforderungen Ihrer Organisation anzupassen.
Wirkung der Guardrails
Wenn ein Guardrail ausgelöst wird, warnt das LLM den Benutzer entweder oder blockiert die Anfrage.
Jailbreak-Guardrail
Der Jailbreak-Guardrail schützt die Integrität des KI-Systems, indem er Benutzer daran hindert, Kernanweisungen und Sicherheitsmechanismen zu umgehen.
Was ist ein Jailbreak-Versuch?
Ein Jailbreak-Versuch umgeht die beabsichtigten Einschränkungen des LLM. Häufige Formen:
- System-Prompt abrufen: Die dem KI zunächst gegebenen Anweisungen herausfinden.
- Sicherheitsrichtlinien umgehen: Einschränkungen für schädliche Inhalte überlisten.
- Verhalten manipulieren: Die KI dazu verleiten, außerhalb ihrer beabsichtigten Rolle zu handeln.
- Prompt-Injection-Angriffe durchführen: Schädliche Anweisungen in einen Prompt einschleusen.
Wie der Jailbreak-Guardrail funktioniert
Der Jailbreak-Guardrail ist ein spezialisierter Ausgabe-Guardrail, der Benutzereingaben auf Jailbreak-Muster analysiert.
Konfiguration
Konfigurieren Sie einen Jailbreak-Guardrail, indem Sie einen Prompt bereitstellen, der das LLM anweist, als Sicherheitsfilter zu fungieren.
Ergebnisse
Import und Export
Sie können die Liste der LLM- und Einbettungsmodelle Ihrer Organisation im JSON-Format importieren oder exportieren, indem Sie auf die folgenden Schaltflächen klicken. Der Export wird als ZIP-Datei generiert und enthält auch die Logos und Kostenmetadaten der Modelle und Embedders.
Um zu importieren oder zu exportieren, klicken Sie auf die Schaltfläche oben rechts in der LLM- oder Embedders-Sektion