LLM
Les fournisseurs LLM sont les modèles qui lisent une question et rédigent la réponse — ce que les utilisateurs choisissent dans le sélecteur de modèle du chat. Cette page couvre ce qui n'existe que pour les LLM ; tout le reste — activation, valeurs par défaut, tests, import — est décrit dans Gérer les LM Providers.
Choisir le modèle dans le catalogue
Le champ Model interroge tout le catalogue du service choisi. Chaque suggestion affiche sa fenêtre de contexte, son prix par million de jetons et la prise en charge des outils et des images : vous comparez sans quitter le formulaire.
Dès qu'un modèle est sélectionné, QAnswer préremplit sa fenêtre de contexte, ses prix et ses capacités, et les résume sur une ligne sous le formulaire. Cliquez sur Customize pour renseigner chaque champ à la main.
Capacités
Les capacités indiquent à QAnswer ce que le modèle sait faire, afin que les fonctionnalités qui en dépendent ne soient proposées que là où elles fonctionnent. Tool Calling conditionne les outils MCP et les agents, Native Web Search laisse le modèle chercher lui-même, et Prompt Caching permet à QAnswer de réutiliser un préfixe de prompt mis en cache pour réduire le coût.
Activer une capacité que le modèle ne possède pas n'ajoute pas la fonctionnalité : cela fait échouer les appels qui s'appuient dessus. En cas de doute, laissez-la désactivée et utilisez Test connection.
Prix des tokens
La section Cost contient ce que le fournisseur vous facture par million de tokens. QAnswer impute chaque appel à ces prix : ils alimentent la page Usage & Costs comme les limites de crédits des plans et des clés API. Choisir un modèle dans le catalogue remplit les trois pour vous.
- Input Token Cost — chaque token du prompt lu par le modèle.
- Output Token Cost — chaque token écrit par le modèle.
- Cached Input Token Cost — les tokens du prompt que le fournisseur a servis depuis son cache de prompt au lieu de les relire, facturés par les fournisseurs à une fraction du prix d'entrée.
Une requête touche le cache lorsqu'elle commence par le même texte qu'une requête récente — le prompt système, la liste des outils, les tours précédents de la conversation —, si bien que les longues conversations et les assistants dotés de nombreux outils en profitent le plus. OpenAI et les modèles de QAnswer mettent en cache d'eux-mêmes ; Claude et Gemini ne mettent en cache que ce que QAnswer marque, ce qu'il fait lorsque Prompt Caching est activé.
Laissez le champ vide pour facturer les tokens en cache au prix d'entrée, comme le font aussi les fournisseurs créés avant l'apparition du champ. Un prix en cache supérieur au prix d'entrée n'est jamais appliqué : un token lu depuis le cache ne coûte jamais plus qu'un token neuf.
Les modèles Claude signalent aussi les tokens du prompt qu'ils écrivent dans le cache. QAnswer les facture 1,25 fois le prix d'entrée, la majoration propre à Anthropic. Aucun autre fournisseur ne signale d'écriture dans le cache, cela ne les concerne donc jamais.
Effort de raisonnement
Pour les modèles capables de réfléchir avant de répondre, la ligne Reasoning définit l'effort qu'ils y consacrent. La petite échelle à côté correspond au niveau par défaut, et le bouton curseurs choisit les niveaux que ce point de terminaison propose aux utilisateurs.
Cochez uniquement les niveaux pertinents pour votre point de terminaison, ou choisissez Reset to automatic pour laisser QAnswer se baser sur le modèle lui-même.
Guardrails
Les guardrails de QAnswer garantissent des interactions IA sûres et sécurisées. Les guardrails encadrent les interactions avec l'IA à deux fins principales : faire respecter les règles de sécurité et d'éthique de votre organisation, et empêcher l'envoi de données sensibles vers des LLM publics.
Les garde-fous se configurent par fournisseur, en bas de son formulaire de modification, par le propriétaire du fournisseur.
Quand utiliser les guardrails
- Assurer la conformité : Faire respecter les politiques de confidentialité des données, d'usage acceptable ou de génération de contenu.
- Protéger les informations sensibles : Éviter les fuites de données lors du travail sur des documents confidentiels en restreignant les échanges avec des LLM externes.
- Encadrer le comportement de l'IA : Définir les limites des réponses acceptables pour prévenir les contenus nuisibles, biaisés ou hors sujet.
Configurer vos guardrails
Définissez les paramètres suivants lors de la mise en place d'un guardrail :
- Modèle : Choisissez le LLM qui applique le guardrail. Pour un contrôle et une sécurité des données maximaux, utilisez un modèle on-premise hébergé sur votre propre infrastructure.
- Portée (entrée/sortie) : Choisissez où le guardrail opère :
- Entrée (in) : Surveille et contrôle les consignes envoyées au LLM.
- Sortie (out) : Surveille et contrôle les réponses générées par le LLM.
- Les deux (in-out) : Surveille à la fois les entrées et les sorties.
- Mode : Choisissez comment traiter un guardrail déclenché :
- Mode avertissement : Prévient l'utilisateur qu'un guardrail s'est déclenché mais lui permet de continuer en connaissance de cause.
- Mode erreur : Bloque entièrement la requête lorsqu'un guardrail se déclenche.
- Prompt : Définissez un prompt qui énonce les règles appliquées par le guardrail. Ce prompt sert de contexte pour évaluer et filtrer les échanges.
Effet des guardrails
Lorsqu'un guardrail se déclenche, le LLM avertit l'utilisateur ou bloque la requête, selon le mode que vous avez choisi.
Guardrail anti-jailbreak
Le guardrail anti-jailbreak protège l'intégrité du système d'IA en empêchant les utilisateurs de contourner ses instructions fondamentales et ses mécanismes de sécurité. Il contre les tentatives de manipulation du LLM visant des actions non autorisées ou la divulgation d'informations confidentielles du système.
Une tentative de jailbreak contourne les limites voulues du LLM. Formes courantes :
- Accéder au prompt système : découvrir les instructions initialement données à l'IA.
- Outrepasser les règles de sécurité : contourner les restrictions sur les contenus nuisibles ou contraires à l'éthique.
- Manipuler le comportement : amener l'IA à agir en dehors de son rôle prévu.
- Mener des attaques par injection de prompt : glisser des instructions malveillantes dans une consigne pour modifier le comportement de l'IA.
Le guardrail anti-jailbreak est un guardrail spécialisé qui analyse les messages des utilisateurs à la recherche de motifs de jailbreak, en utilisant le LLM lui-même pour détecter et signaler les consignes potentiellement dangereuses.
Appeler le fournisseur depuis votre propre code
L'onglet API fournit un extrait fonctionnel pour le modèle, en Python, cURL, SDK OpenAI ou LiteLLM. L'URL de base pointe vers QAnswer : votre quota, vos journaux et le suivi des coûts continuent de s'appliquer.
