Fournisseur LLM
Vue d'ensemble
L'onglet Fournisseurs LLM gère les grands modèles de langage (LLMs) et les embeddings disponibles dans QAnswer :
Gestion des fournisseurs LLM
Pour vous connecter à un nouveau fournisseur LLM, cliquez sur le bouton Créer et renseignez les informations requises.
- Nom du LLM
- Nom du LLM affiché pour les utilisateurs
- Le fournisseur (Openai, Azure, Bedrock, Mistral, Anthropic, Openrouter) — consultez la Documentation LiteLLM pour les détails.
- La modalité, si elle est multimodale (ex. texte, image)
- Le moteur
- La classification de sensibilité des données (ex. public, privé, confidentiel)
- Description
- URL du point de terminaison
- la clé API qui sécurise le point de terminaison
- la fenêtre de contexte maximale, qui définit le nombre maximum de tokens que le modèle peut traiter dans une seule requête
- les tokens de sortie maximaux, qui définissent le nombre maximum de tokens que le modèle peut générer en réponse à un prompt
- (Optionnellement) Configurations de garde-fous, voir ci-dessous.
Garde-fous
Les garde-fous QAnswer assurent des interactions IA sûres et sécurisées.
Les garde-fous contrôlent les interactions IA dans deux objectifs principaux : faire respecter les directives de sécurité et d'éthique de votre organisation, et empêcher l'envoi de données sensibles à des LLMs publics.
Quand utiliser les garde-fous
- Maintien de la conformité : Appliquer les politiques de confidentialité des données, d'utilisation acceptable ou de génération de contenu.
- Protection des informations sensibles : Prévenir les fuites de données lors du travail avec des documents confidentiels en restreignant l'interaction avec des LLMs externes.
- Contrôle du comportement IA : Définir des limites pour les réponses acceptables afin de prévenir tout contenu nuisible, biaisé ou non pertinent.
Configuration de vos garde-fous
Définissez les paramètres suivants lors de la configuration d'un garde-fou :
- Modèle : Sélectionnez le LLM qui applique le garde-fou. Pour un contrôle maximal et la sécurité des données, utilisez un modèle sur site hébergé dans votre propre infrastructure.
- Portée (Entrée/Sortie) : Sélectionnez où le garde-fou opère :
- Entrée (in) : Surveille et contrôle les prompts soumis au LLM.
- Sortie (out) : Surveille et contrôle les réponses générées par le LLM.
- Les deux (in-out) : Surveille à la fois les entrées et les sorties.
- Mode : Choisissez comment les garde-fous déclenchés sont gérés :
- Mode avertissement : Avertit l'utilisateur qu'un garde-fou a été déclenché mais permet de continuer avec précaution.
- Mode erreur : Bloque entièrement la requête lorsqu'un garde-fou est déclenché.
- Prompt : Définissez un prompt qui décrit les règles appliquées par le garde-fou. Ce prompt fournit le contexte pour évaluer et filtrer les interactions.
Configurez ces paramètres pour adapter les garde-fous aux exigences de votre organisation et assurer une utilisation IA responsable et sécurisée.
Effet des garde-fous
Lorsqu'un garde-fou est déclenché, le LLM avertira l'utilisateur ou bloquera la requête, selon le mode que vous avez sélectionné.
Garde-fou anti-jailbreak
Le garde-fou anti-jailbreak protège l'intégrité du système IA en empêchant les utilisateurs de contourner les instructions de base et les mécanismes de sécurité. Il défend contre les tentatives de manipulation du LLM en vue d'actions non autorisées ou de révélation d'informations système confidentielles.
Qu'est-ce qu'une tentative de jailbreak ?
Une tentative de jailbreak contourne les limitations prévues du LLM. Les formes courantes incluent :
- Accéder au prompt système : Découvrir les instructions initialement données à l'IA.
- Contourner les directives de sécurité : Ignorer les restrictions sur le contenu nuisible ou contraire à l'éthique.
- Manipuler le comportement : Tromper l'IA pour qu'elle agisse en dehors de son rôle prévu.
- Effectuer des attaques par injection de prompt : Introduire des instructions malveillantes dans un prompt pour modifier le comportement de l'IA.
Fonctionnement du garde-fou anti-jailbreak
Le garde-fou anti-jailbreak est un garde-fou de sortie spécialisé qui analyse les entrées utilisateur pour détecter des patterns de jailbreak, en utilisant le LLM lui-même pour détecter et signaler les prompts potentiellement nuisibles.
Configuration
Configurez un garde-fou anti-jailbreak en fournissant un prompt qui demande au LLM d'agir comme un filtre de sécurité, identifiant et signalant les messages utilisateurs suspects.
Résultats
Importer et exporter
Vous pouvez importer ou exporter la liste des modèles LLM et d'embedding de votre organisation au format JSON en cliquant sur les boutons suivants. L'export est généré sous forme de zip et contient aussi les logos et les métadonnées de coût des modèles et embedders.
Pour importer ou exporter, cliquez en haut à droite de la section LLM ou embedders sur le bouton