Fournisseur LLM

Aperçu

L'onglet Fournisseurs LLM vous permet de gérer les modèles de langage (LLM) et les embeddings disponibles dans l'application QAnswer :

Gestion des fournisseurs LLM

Pour connecter un nouveau fournisseur LLM, cliquez sur le bouton Créer et renseignez les informations requises.

• Nom du LLM
• Nom du LLM à afficher pour les utilisateurs
• Le fournisseur (Openai, Azure, Bedrock, Mistral, Anthropic, Openrouter). Vous pouvez consulter la documentation LiteLLM pour plus de détails.
• La modalité, si elle est multimodale (par ex. texte, image)
• Le moteur
• La classification de sensibilité des données (par ex. publique, privée, confidentielle)
• Description
• URL de l'endpoint
• la clé API qui sécurise l'endpoint
• la fenêtre de contexte maximale, qui définit le nombre maximal de tokens que le modèle peut traiter dans une seule requête
• le nombre maximal de tokens de sortie, qui définit le nombre maximal de tokens que le modèle peut générer en réponse à un prompt
• (Optionnel) Configurations des guardrails, voir ci-dessous.

Vous pouvez vérifier la configuration en cliquant sur le bouton Valider.

Créer

Général

Valider

Guardrail

Guardrails QAnswer : assurer des interactions IA sûres et sécurisées

QAnswer propose des guardrails puissants pour contrôler et sécuriser vos interactions avec l'IA. Ces guardrails servent deux objectifs principaux : garantir le respect des règles de sécurité et d'éthique de votre organisation, et empêcher que des données sensibles ne soient divulguées en les envoyant accidentellement à des LLM publics.

Quand devez-vous utiliser des guardrails ?

• Maintenir la conformité : si votre organisation a des règles spécifiques concernant la confidentialité des données, l'utilisation acceptable ou la génération de contenu, les guardrails aident à appliquer ces politiques.
• Protéger les informations sensibles : lorsque vous travaillez avec des documents confidentiels, les guardrails empêchent les fuites de données en restreignant les interactions avec des LLM externes.
• Contrôler le comportement de l'IA : les guardrails vous permettent de définir les limites des réponses acceptables, empêchant l'IA de générer du contenu dangereux, biaisé ou hors sujet.

Configurer vos Guardrails

La configuration des guardrails implique de définir les paramètres suivants :

• Modèle : Sélectionnez le modèle LLM responsable de l'application des guardrails. Pour un contrôle maximal et une sécurité des données optimale, il est généralement recommandé d'utiliser un modèle sur site, hébergé au sein de votre propre infrastructure.

• Portée (Entrée/Sortie) : Choisissez où le opérera :

  • Entrée (in) : Surveille et contrôle les prompts soumis au LLM.
  • Sortie (out) : Surveille et contrôle les réponses générées par le LLM.
  • Les deux (in-out) : Offre une protection complète en surveillant à la fois les entrées et les sorties.

• Mode : Déterminez comment les déclenchements du guardrail sont traités :

  • Mode Avertissement : Avertit l'utilisateur qu'un guardrail a été déclenché, mais lui permet de continuer en étant informé.
  • Mode Erreur : Bloque complètement la requête si un guardrail est déclenché, garantissant le respect strict des règles définies.
  • Prompt : Définissez un prompt spécifique qui énonce les règles et directives que le guardrail doit appliquer. Ce prompt fournit le contexte permettant au guardrail d'évaluer et de filtrer correctement les interactions.

En configurant ces paramètres de manière stratégique, vous pouvez adapter les guardrails de QAnswer aux besoins spécifiques de votre organisation et garantir une utilisation responsable et sécurisée de l'IA.

Effet des guardrails

Quand un guardrail est déclenché, le LLM avertira l'utilisateur ou bloquera la requête, selon le mode que vous avez sélectionné.

Example d'avertissement

Example d'erreur

Guardrail Jailbreak

Le guardrail Jailbreak de QAnswer est une fonctionnalité de sécurité spécialisée conçue pour protéger l'intégrité du système d'IA en empêchant les utilisateurs de contourner ses instructions de base et ses mécanismes de sécurité. Il défend activement contre les tentatives de manipulation du LLM pour effectuer des actions non autorisées ou révéler des informations système confidentielles.

Qu'est-ce qu'une tentative de jailbreak ?

Une "tentative de jailbreak" se produit lorsqu'un utilisateur tente de contourner les limites prévues du LLM. Cela peut inclure :

• Accéder au prompt système : découvrir les instructions initialement données à l'IA.
• Outrepasser les directives de sécurité : contourner les restrictions sur la génération de contenu dangereux ou contraire à l'éthique.
• Manipuler le comportement : tromper l'IA pour qu'elle agisse en dehors de son rôle prévu.
• Effectuer des attaques par injection de prompt : introduire des instructions malveillantes dans un prompt pour modifier le comportement de l'IA.

Comment fonctionne le guardrail Jailbreak ?

Le guardrail Jailbreak fonctionne comme un guardrail de sortie spécialisé, analysant les entrées utilisateur à la recherche de schémas indicateurs d'une tentative de jailbreak. Il exploite le LLM lui-même pour détecter et signaler les prompts potentiellement dangereux.

Configuration

La configuration d'un guardrail Jailbreak est simple et requiert uniquement un prompt soigneusement rédigé. Ce prompt demande au LLM d'agir comme un filtre de sécurité, en identifiant et en signalant les messages utilisateur suspects.

Résultats

Exemple désactivé

Exemple activé