LM Providers verwalten
Alles auf dieser Seite funktioniert in allen fünf Tabs und auf jeder Ebene gleich — Liste, Schalter, Testen, Hinzufügen und Import verhalten sich in Ihrem eigenen Arbeitsbereich genauso wie im Tab LLM einer Organisation oder im Tab Web Search eines Teams.
Jede Ebene wird von ihren eigenen Administratoren verwaltet — Plattform-Administratoren im Administrationsbereich, Organisations-Administratoren in den Organisationseinstellungen, Team-Administratoren für ihr Team. In Ihrem eigenen Arbeitsbereich sind Sie der Administrator: Sie können Anbieter mit Ihrem eigenen API-Schlüssel hinzufügen und Ihre eigenen Standards wählen, und alles, was eine höhere Ebene aktiviert hat, erscheint einfach in Ihrer Liste.
Die Liste
Jede Zeile ist ein Anbieter. Von links nach rechts sehen Sie:
- das Logo und den Namen, den Nutzer sehen werden.
- wo der Dienst gehostet wird — 🇪🇺 EU, 🇺🇸 USA oder 🇨🇳 China. Wichtig, wenn der Datenstandort eine Rolle spielt.
- ein On-Premise-Abzeichen, wenn das Modell auf Ihrer eigenen Infrastruktur läuft und keine Daten sie verlassen.
- eine Default-Chip zwischen den Aktionsschaltflächen bei dem Anbieter, der verwendet wird, wenn niemand etwas anderes wählt — je nach verwalteter Ebene mit Org default, Team default oder Your default beschriftet.
- die Aktionsschaltflächen und ganz rechts den Ein/Aus-Schalter.
Suche
Geben Sie einige Buchstaben in das Suchfeld ein, um die Liste einzuschränken. Die Suche läuft auf dem Server und findet daher auch Anbieter weiter unten in einer langen Liste.
Liste oder Raster
Die Schaltfläche neben der Suche wechselt zwischen der kompakten Liste und einem zweispaltigen Kartenraster. Ihre Wahl wird gespeichert.
Welche Anbieter Sie ändern können
Auf Ihrer Ebene erstellte Anbieter stehen zuerst in der Liste und tragen ein Zahnrad und einen Papierkorb — diese können Sie bearbeiten und löschen. Von einer höheren Ebene geerbte Anbieter haben kein Zahnrad: Sie können sie aktivieren und zum Standard machen, ihre Einstellungen werden aber dort verwaltet, wo sie erstellt wurden.
Einen Anbieter ein- oder ausschalten
Der Schalter rechts in jeder Zeile entscheidet, ob der Anbieter für Ihre Organisation existiert. Ausgeschaltet ist er ausgegraut und niemand in der Organisation kann ihn auswählen.
Der Schalter des Standardanbieters ist absichtlich deaktiviert. Machen Sie zuerst einen anderen Anbieter zum Standard, danach können Sie den alten ausschalten.
Den Standard wählen
Der Standard ist, was QAnswer verwendet, wenn ein Nutzer, ein Assistent oder ein API-Aufruf keinen Anbieter ausdrücklich nennt. Klicken Sie bei einem aktiven Anbieter auf Set as default, um den Chip dorthin zu verschieben.
Der Standard gilt für die Ebene, die Sie verwalten — jede Ebene wählt ihren eigenen, und die spezifischste Ebene gewinnt: persönlich vor Team, Team vor Organisation, Organisation vor Plattform.
Prüfen, ob ein Anbieter funktioniert
Die Stecker-Schaltfläche in einer Zeile führt einen echten Aufruf gegen den Anbieter aus. Bei Erfolg passiert nichts — die Schaltfläche hört einfach auf zu drehen. Bei einem Fehler öffnet sich ein Feld mit der genauen Fehlermeldung des Anbieters und den gesendeten Daten, was meist genügt, um einen falschen Schlüssel oder einen Tippfehler in der Adresse zu finden.
Führen Sie den Test direkt nach dem Hinzufügen eines Anbieters aus. Ein Schlüssel, bei dem beim Kopieren ein Zeichen fehlt, sieht im Formular völlig richtig aus und fällt erst auf, wenn ein Nutzer eine Frage stellt.
Einen Anbieter hinzufügen
Klicken Sie auf Add provider. Das Hinzufügen erfolgt in zwei Schritten, und der zweite fragt nur, was dieser Dienst tatsächlich benötigt.
Schritt 1 — den Dienst wählen
Wählen Sie, wer das Modell hostet. Das Abzeichen Recommended kennzeichnet die Option, die wir empfehlen, wenn Sie keine Präferenz haben, die Flagge zeigt den Hosting-Standort, und ein Abzeichen OpenAI-compatible markiert eine Kachel, die auch jeden Dienst mit OpenAI-API akzeptiert. Die letzte Kachel ist gar kein Dienst: Fill from clipboard fügt eine Konfiguration ein, die Sie von einem anderen Anbieter kopiert haben.
Schritt 2 — die Details ausfüllen
Das Formular verlinkt direkt auf die Seite des Anbieters, auf der Sie einen API-Schlüssel erstellen. Fügen Sie den Schlüssel ein, wählen Sie das Modell, geben Sie einen für Ihre Nutzer verständlichen Namen und klicken Sie auf Create.
Bei LLM-Anbietern durchsucht das Feld Model den vollständigen Katalog des gewählten Dienstes — siehe den Modellkatalog.
Einen OpenAI-kompatiblen Dienst anbinden
Viele Dienste sprechen die OpenAI-API, ohne OpenAI zu sein: ein Gateway vor Ihren eigenen Modellen, ein Inference-Server, ein regionaler Anbieter. Genau dafür steht das Abzeichen OpenAI-compatible auf der OpenAI-Kachel, sowohl im Tab LLM als auch im Tab Embedder: Wählen Sie OpenAI und klicken Sie dann in Schritt 2 auf Configure custom endpoint.
Schritt 2 wird damit zum vollständigen Formular: Sie geben Basis-URL, Modellnamen, Zugangsdaten und Fähigkeiten des Dienstes selbst ein, statt ein Modell aus dem OpenAI-Katalog zu wählen. Endpoint URL wird zum Pflichtfeld — es schickt die Anfragen an Ihren Dienst statt an OpenAI.
vLLM, LiteLLM Proxy, Ollama und Azure haben eigene Kacheln und füllen mehr für Sie aus. Nehmen Sie den Weg über OpenAI nur für einen Dienst, der keine hat.
Für alle Teams aktivieren
Standardmäßig wird ein neuer Anbieter für jedes Team ausgeschaltet angelegt, sodass ein Team-Administrator ihn bewusst aktivieren muss. Schalten Sie Enable for all teams ein, wenn er sofort überall verfügbar sein soll.
Im Administrationsbereich heißt derselbe Schalter Enable for all organizations und spielt dieselbe Rolle eine Ebene höher: Er entscheidet, ob Organisationen den neuen Anbieter bereits eingeschaltet erhalten.
Einen Anbieter im Detail ansehen
Klicken Sie auf eine Zeile, um den Anbieter zu öffnen. Der Kopfbereich behält die Aktionen aus der Liste, die Tabs darunter enthalten alles Weitere.
- Info — alle Einstellungen des Anbieters, gruppiert in Basic Configuration, Connection, Generation Parameters, Capabilities, Cost und Advanced. Klicken Sie auf Edit, um sie zu ändern.
- Statistics — wie stark genau dieser Anbieter genutzt wurde und was er gekostet hat.
- API — fertige Codebeispiele, um dieses Modell über die QAnswer-API aufzurufen.
- Access Rights — den Anbieter mit einem anderen Team oder Nutzer teilen.
- Owner — sehen, wem der Anbieter gehört, und die Eigentümerschaft übertragen.
Die Konfiguration eines Anbieters kopieren
Ein Anbieter, der bereits funktioniert, ist der beste Ausgangspunkt für den nächsten. Öffnen Sie ihn und klicken Sie auf Copy configuration, neben Edit im Tab Info: Die gesamte Konfiguration landet in Ihrer Zwischenablage.
Gehen Sie dann dorthin, wo der neue Anbieter hingehört — eine andere Organisation, ein anderes Team, eine andere Installation — klicken Sie auf Add provider und wählen Sie Fill from clipboard, die gestrichelte Kachel am Ende der Liste. ⌘V (unter Windows Strg+V) bei geöffneter Liste bewirkt dasselbe. Das Formular öffnet sich bereits ausgefüllt; vergeben Sie einen Anzeigenamen und klicken Sie auf Create.
Der interne Name und das Abzeichen Default bleiben außen vor, denn ein neuer Anbieter bekommt immer eigene. Eine Kopie bleibt außerdem in ihrer Kategorie: Eine Embedder-Konfiguration lässt sich nicht im Tab LLM einfügen. Und Copy configuration erscheint nur bei Anbietern, die Sie bearbeiten dürfen — denen, die auf Ihrer Ebene erstellt wurden.
API-Schlüssel und Geheimnisse wandern im Klartext mit der Konfiguration in Ihre Zwischenablage. Fügen Sie sie nur in QAnswer ein und kopieren Sie danach etwas Harmloses, wenn Sie Ihren Bildschirm teilen.
Mehrere Anbieter gleichzeitig bearbeiten
Auswahlmodus
Öffnen Sie das Menü ⋮ und klicken Sie auf Select, um in jeder Zeile ein Kontrollkästchen zu erhalten. Am unteren Seitenrand erscheint eine Leiste mit den Aktionen, die auf Ihre Auswahl anwendbar sind — die Verbindung aller testen, sie aktivieren oder deaktivieren oder löschen. Das Ergebnis wird pro Anbieter gemeldet, Sie sehen also genau, welcher fehlgeschlagen ist.
Import und Export
Dasselbe Menü ⋮ enthält Import und Export. Der Export schreibt die Anbieter des aktuellen Tabs in ein Zip, das auch ihre Logos und Kosten-Metadaten enthält; der Import liest dieses Zip zurück, und sein Schalter Enable for all teams entscheidet, ob das Importierte überall bereits aktiviert ankommt. Das ist der schnellste Weg, eine funktionierende Konfiguration von einer Umgebung in eine andere zu kopieren.
Beide liegen hinter der Schaltfläche ⋮ oben rechts über der Liste, neben Add provider. Export ist dem Admin-Bereich der Plattform vorbehalten: in einer Organisation und in einem Team ist der Eintrag ausgegraut — ein Team-Administrator kann eine Konfiguration also importieren, aber nicht exportieren.
Anbieter leben auf der Plattform und können von anderen Organisationen genutzt werden. Deshalb lassen sie sich nicht mehr löschen, sobald andere Organisationen sich darauf verlassen. Importieren Sie nur mit Absicht in eine Produktionsumgebung.