Fournisseur LLM#

Vue d'ensemble#

L'onglet Fournisseurs LLM gère les grands modèles de langage (LLMs) et les embeddings disponibles dans QAnswer :

Gestion des fournisseurs LLM#

Pour vous connecter à un nouveau fournisseur LLM, cliquez sur le bouton Créer et renseignez les informations requises.

Étape 1 — Sélectionner un fournisseur#

Choisissez une tuile de fournisseur. La tuile « QAnswer LLM » est recommandée pour les modèles auto-hébergés on-premise — son URL et sa clé API sont lues par défaut depuis les paramètres de l’application. Les fournisseurs disponibles sont :

• QAnswer LLM — 🇪🇺 EU-hosted · RecommandéSelf-hosted LLM via the QAnswer on-premise service. URL and API key are read from application settings by default.
• OpenAI — 🇺🇸 US-hostedGPT-4o, o3, and other OpenAI models via the OpenAI API.
• Anthropic — 🇺🇸 US-hostedClaude 3.5, Claude 4 and other Anthropic models via the Anthropic API.
• Mistral — 🇪🇺 EU-hostedMistral Large, Codestral and other Mistral models. EU-hosted and GDPR compliant.
• Gemini — 🇺🇸 US-hostedGemini 2.0 Flash, Gemini 2.5 Pro and other Google models via the Gemini API.
• Azure OpenAIOpenAI models deployed in your own Azure subscription with private endpoints.
• BedrockFoundation models from Anthropic, Meta, Mistral and others via AWS Bedrock.
• Vertex AIGemini and other Google models via Google Cloud Vertex AI with service account auth.
• OpenRouter — 🇺🇸 US-hostedAccess 200+ models from one unified API with usage-based billing.
• OllamaRun open-source LLMs locally with Ollama. No API key required.

Étape 2 — Configurer le point de terminaison#

Le formulaire s’adapte au fournisseur choisi (par ex. Azure demande une version d’API, Bedrock des identifiants AWS). Il s’organise dans les sections suivantes :

• Configuration de base — nom interne, nom affiché, fournisseur, modalité et le moteur (identifiant du modèle, par ex. gpt-4o, mistral-medium).
• Connexion — URL du point de terminaison et clé API. Voir la documentation LiteLLM pour les conventions de point de terminaison propres à chaque fournisseur.
• Paramètres de génération — fenêtre de contexte, nombre maximal de tokens en sortie et nombre maximal d’images par requête.
• Capacités — appel d’outils, recherche web, prise en charge de la température / du streaming / du modèle de chat, mise en cache des prompts et effort de raisonnement.
• Coût — coût des tokens d’entrée / de sortie par million de tokens, utilisé pour le suivi de la consommation.
• Autre — niveau de sensibilité, géographie, date limite de connaissances, consommation d’énergie et l’interrupteur On-Premise (route les requêtes comme un appel on-premise compatible OpenAI, quelle que soit la tuile de fournisseur sélectionnée).
• Garde-fou — garde-fous facultatifs d’entrée / sortie et anti-jailbreak, décrits ci-dessous.

Validation des champs obligatoires#

Soumettre le formulaire avec des champs obligatoires vides met chacun d’eux en évidence en rouge avec un message d’erreur en ligne, ce qui rend les champs manquants faciles à repérer avant l’enregistrement.

Gérer les fournisseurs existants#

Chaque carte de fournisseur propose les actions Test de connexion, Définir par défaut, Modifier et Supprimer. Au-dessus de la liste, quelques outils facilitent la gestion d’un grand nombre de points de terminaison :

• Recherche — filtre la liste par nom à mesure que vous saisissez.
• Bascule Grille / Liste — alterne entre une grille de cartes et une disposition en liste compacte.
• Mode sélection — coche plusieurs points de terminaison pour lancer un Test de connexion, une Activation ou une Suppression en masse depuis la barre d’actions qui apparaît en bas de l’écran.
• Modifier — ouvre l’entrée sur une page dédiée, en lecture seule jusqu’à ce que vous cliquiez sur Modifier ; le même formulaire sectionné que lors de la création.

Garde-fous#

Les garde-fous QAnswer assurent des interactions IA sûres et sécurisées.

Les garde-fous contrôlent les interactions IA dans deux objectifs principaux : faire respecter les directives de sécurité et d'éthique de votre organisation, et empêcher l'envoi de données sensibles à des LLMs publics.

Quand utiliser les garde-fous#

• Maintien de la conformité : Appliquer les politiques de confidentialité des données, d'utilisation acceptable ou de génération de contenu.
• Protection des informations sensibles : Prévenir les fuites de données lors du travail avec des documents confidentiels en restreignant l'interaction avec des LLMs externes.
• Contrôle du comportement IA : Définir des limites pour les réponses acceptables afin de prévenir tout contenu nuisible, biaisé ou non pertinent.

Configuration de vos garde-fous#

Définissez les paramètres suivants lors de la configuration d'un garde-fou :

• Modèle : Sélectionnez le LLM qui applique le garde-fou. Pour un contrôle maximal et la sécurité des données, utilisez un modèle sur site hébergé dans votre propre infrastructure.
• Portée (Entrée/Sortie) : Sélectionnez où le garde-fou opère :
  • Entrée (in) : Surveille et contrôle les prompts soumis au LLM.
  • Sortie (out) : Surveille et contrôle les réponses générées par le LLM.
  • Les deux (in-out) : Surveille à la fois les entrées et les sorties.
• Mode : Choisissez comment les garde-fous déclenchés sont gérés :
  • Mode avertissement : Avertit l'utilisateur qu'un garde-fou a été déclenché mais permet de continuer avec précaution.
  • Mode erreur : Bloque entièrement la requête lorsqu'un garde-fou est déclenché.
  • Prompt : Définissez un prompt qui décrit les règles appliquées par le garde-fou. Ce prompt fournit le contexte pour évaluer et filtrer les interactions.

Configurez ces paramètres pour adapter les garde-fous aux exigences de votre organisation et assurer une utilisation IA responsable et sécurisée.

Effet des garde-fous#

Lorsqu'un garde-fou est déclenché, le LLM avertira l'utilisateur ou bloquera la requête, selon le mode que vous avez sélectionné.

Exemple d'avertissementExemple d'erreur

Garde-fou anti-jailbreak#

Le garde-fou anti-jailbreak protège l'intégrité du système IA en empêchant les utilisateurs de contourner les instructions de base et les mécanismes de sécurité. Il défend contre les tentatives de manipulation du LLM en vue d'actions non autorisées ou de révélation d'informations système confidentielles.

Qu'est-ce qu'une tentative de jailbreak ?#

Une tentative de jailbreak contourne les limitations prévues du LLM. Les formes courantes incluent :

• Accéder au prompt système : Découvrir les instructions initialement données à l'IA.
• Contourner les directives de sécurité : Ignorer les restrictions sur le contenu nuisible ou contraire à l'éthique.
• Manipuler le comportement : Tromper l'IA pour qu'elle agisse en dehors de son rôle prévu.
• Effectuer des attaques par injection de prompt : Introduire des instructions malveillantes dans un prompt pour modifier le comportement de l'IA.

Fonctionnement du garde-fou anti-jailbreak#

Le garde-fou anti-jailbreak est un garde-fou de sortie spécialisé qui analyse les entrées utilisateur pour détecter des patterns de jailbreak, en utilisant le LLM lui-même pour détecter et signaler les prompts potentiellement nuisibles.

Configuration#

Configurez un garde-fou anti-jailbreak en fournissant un prompt qui demande au LLM d'agir comme un filtre de sécurité, identifiant et signalant les messages utilisateurs suspects.

Importer et exporter#

Vous pouvez importer ou exporter la liste des modèles LLM et d'embedding de votre organisation au format JSON en cliquant sur les boutons suivants. L'export est généré sous forme de zip et contient aussi les logos et les métadonnées de coût des modèles et embedders.

Pour importer ou exporter, cliquez en haut à droite de la section LLM ou embedders sur le bouton