QAnswerDocs
Kostenlos testen
Kostenlos testen

LLM-Anbieter

Übersicht

Der LLM-Anbieter-Tab verwaltet die in QAnswer verfügbaren Large Language Models (LLMs) und Einbettungsmodelle:

LM Providers Menu

LLM-Anbieter-Verwaltung

Um sich mit einem neuen LLM-Anbieter zu verbinden, klicken Sie auf Erstellen und füllen Sie die erforderlichen Informationen aus.

Schritt 1 — Anbieter auswählen

Wählen Sie eine Anbieterkachel. Die Kachel „QAnswer LLM“ wird für selbst gehostete On-Premise-Modelle empfohlen — URL und API-Schlüssel werden standardmäßig aus den Anwendungseinstellungen gelesen. Verfügbare Anbieter:

  • QAnswer LLM — 🇪🇺 EU-hosted · EmpfohlenSelf-hosted LLM via the QAnswer on-premise service. URL and API key are read from application settings by default.
  • OpenAI — 🇺🇸 US-hostedGPT-4o, o3, and other OpenAI models via the OpenAI API.
  • Anthropic — 🇺🇸 US-hostedClaude 3.5, Claude 4 and other Anthropic models via the Anthropic API.
  • Mistral — 🇪🇺 EU-hostedMistral Large, Codestral and other Mistral models. EU-hosted and GDPR compliant.
  • Gemini — 🇺🇸 US-hostedGemini 2.0 Flash, Gemini 2.5 Pro and other Google models via the Gemini API.
  • Azure OpenAIOpenAI models deployed in your own Azure subscription with private endpoints.
  • BedrockFoundation models from Anthropic, Meta, Mistral and others via AWS Bedrock.
  • Vertex AIGemini and other Google models via Google Cloud Vertex AI with service account auth.
  • OpenRouter — 🇺🇸 US-hostedAccess 200+ models from one unified API with usage-based billing.
  • OllamaRun open-source LLMs locally with Ollama. No API key required.
LM Providers Create — Step 1, select a provider

Schritt 2 — Endpunkt konfigurieren

Das Formular passt sich dem gewählten Anbieter an (z. B. verlangt Azure eine API-Version, Bedrock AWS-Anmeldedaten). Es ist in die folgenden Abschnitte gegliedert:

  • Basiskonfiguration — interner Name, Anzeigename, Anbieter, Modalität und die Engine (Modellkennung, z. B. gpt-4o, mistral-medium).
  • Verbindung — Endpunkt-URL und API-Schlüssel. Siehe die LiteLLM-Dokumentation für anbieterspezifische Endpunktkonventionen.
  • Generierungsparameter — Kontextfenster, maximale Ausgabetokens und maximale Anzahl Bilder pro Anfrage.
  • Fähigkeiten — Tool-Aufrufe, Web-Suche, Unterstützung für Temperatur/Streaming/Chat-Vorlage, Prompt-Caching und Reasoning-Aufwand.
  • Kosten — Kosten für Eingabe-/Ausgabetokens pro Million Tokens, verwendet für die Verbrauchsauswertung.
  • Weiteres — Sensibilitätsstufe, Geografie, Wissensstand, Energieverbrauch und der On-Premise-Schalter (leitet Anfragen unabhängig von der gewählten Anbieterkachel als OpenAI-kompatiblen On-Premise-Aufruf weiter).
  • Guardrail — optionale Eingabe-/Ausgabe- und Jailbreak-Guardrails, siehe unten.
LM Providers Create — Step 2, endpoint configuration

Prüfung der Pflichtfelder

Wenn Sie das Formular mit leeren Pflichtfeldern absenden, wird jedes davon rot hervorgehoben und mit einer Inline-Fehlermeldung versehen, sodass fehlende Felder vor dem Speichern leicht zu erkennen sind.

LM Providers — required-field validation

Bestehende Anbieter verwalten

Jede Anbieterkarte bietet die Aktionen Verbindung testen, Als Standard festlegen, Bearbeiten und Löschen. Über der Liste erleichtern einige Werkzeuge die Verwaltung größerer Mengen von Endpunkten:

  • Suche — filtert die Liste während der Eingabe nach Namen.
  • Umschalter Raster / Liste — wechselt zwischen einem Kartenraster und einer kompakten Listenansicht.
  • Auswahlmodus — wählt mehrere Endpunkten aus, um über die unten am Bildschirm erscheinende Aktionsleiste einen Verbindungstest, eine Aktivierung oder eine Löschung als Massenaktion auszuführen.
  • Bearbeiten — öffnet den Eintrag auf einer eigenen Seite, schreibgeschützt bis Sie auf „Bearbeiten“ klicken; dasselbe in Abschnitte gegliederte Formular wie bei der Erstellung.
LM Providers — select mode with batch actions bar

Guardrails

QAnswer Guardrails gewährleisten sichere KI-Interaktionen.

Guardrails kontrollieren KI-Interaktionen für zwei Hauptzwecke: Durchsetzung der Sicherheits- und Ethikrichtlinien Ihrer Organisation und Verhinderung, dass sensible Daten an öffentliche LLMs gesendet werden.

Wann Guardrails zu verwenden sind

  • Compliance aufrechterhalten: Datenschutz, akzeptable Nutzung oder Content-Richtlinien durchsetzen.
  • Sensible Informationen schützen: Datenverlust bei der Arbeit mit vertraulichen Dokumenten verhindern.
  • KI-Verhalten kontrollieren: Grenzen für akzeptable Antworten definieren, um schädliche oder irrelevante Inhalte zu verhindern.

Guardrails konfigurieren

Folgende Parameter beim Einrichten eines Guardrails definieren:

  • Modell: Das LLM auswählen, das den Guardrail durchsetzt. Für maximale Kontrolle und Datensicherheit ein On-Premise-Modell verwenden.
  • Geltungsbereich (Eingabe/Ausgabe): Auswählen, wo der Guardrail wirkt:
    • Eingabe (in): Überwacht und kontrolliert dem LLM übermittelte Prompts.
    • Ausgabe (out): Überwacht und kontrolliert vom LLM generierte Antworten.
    • Beides (in-out): Überwacht sowohl Eingaben als auch Ausgaben.
  • Modus: Wählen Sie, wie ausgelöste Guardrails behandelt werden:
    • Warnmodus: Warnt den Benutzer, dass ein Guardrail ausgelöst wurde, erlaubt aber das Fortfahren.
    • Fehlermodus: Blockiert die Anfrage vollständig, wenn ein Guardrail ausgelöst wird.
    • Prompt: Einen Prompt definieren, der die vom Guardrail durchgesetzten Regeln beschreibt.

Diese Parameter konfigurieren, um Guardrails an die Anforderungen Ihrer Organisation anzupassen.

LM Providers Edit — Guardrail section

Wirkung der Guardrails

Wenn ein Guardrail ausgelöst wird, warnt das LLM den Benutzer entweder oder blockiert die Anfrage.

LM Providers warning

Jailbreak-Guardrail

Der Jailbreak-Guardrail schützt die Integrität des KI-Systems, indem er Benutzer daran hindert, Kernanweisungen und Sicherheitsmechanismen zu umgehen.

Was ist ein Jailbreak-Versuch?

Ein Jailbreak-Versuch umgeht die beabsichtigten Einschränkungen des LLM. Häufige Formen:

  • System-Prompt abrufen: Die dem KI zunächst gegebenen Anweisungen herausfinden.
  • Sicherheitsrichtlinien umgehen: Einschränkungen für schädliche Inhalte überlisten.
  • Verhalten manipulieren: Die KI dazu verleiten, außerhalb ihrer beabsichtigten Rolle zu handeln.
  • Prompt-Injection-Angriffe durchführen: Schädliche Anweisungen in einen Prompt einschleusen.

Wie der Jailbreak-Guardrail funktioniert

Der Jailbreak-Guardrail ist ein spezialisierter Ausgabe-Guardrail, der Benutzereingaben auf Jailbreak-Muster analysiert.

Konfiguration

Konfigurieren Sie einen Jailbreak-Guardrail, indem Sie einen Prompt bereitstellen, der das LLM anweist, als Sicherheitsfilter zu fungieren.

Import und Export

Sie können die Liste der LLM- und Einbettungsmodelle Ihrer Organisation im JSON-Format importieren oder exportieren, indem Sie auf die folgenden Schaltflächen klicken. Der Export wird als ZIP-Datei generiert und enthält auch die Logos und Kostenmetadaten der Modelle und Embedders.

Um zu importieren oder zu exportieren, klicken Sie auf die Schaltfläche oben rechts in der LLM- oder Embedders-Sektion