LLM dans un périmètre fermé : ce qu'une entreprise réglementée peut choisir et ce que coûte chaque choix

L'exigence est formulée en une seule phrase : les documents ne doivent pas quitter le périmètre. La décision d'architecture s'y cache, car le périmètre peut être tracé à trois endroits, et chaque endroit fait peser un coût différent sur l'entreprise qui le trace.

L'API hébergée d'un fournisseur de modèles inscrit le périmètre dans un contrat avec ce fournisseur. Le service de modèles managé d'une plateforme cloud l'inscrit dans le contrat cloud. Un modèle à poids ouverts sur des serveurs que vous exploitez le maintient dans votre propre réseau, et vous confie toutes les tâches que le fournisseur assumerait autrement.

Mettre par écrit ce que le périmètre interdit avant de comparer les options

« Ne peut pas quitter le périmètre » ne signifie pas la même chose pour un responsable des risques, un délégué à la protection des données et une équipe infrastructure. Formulée sous forme de questions, cette contrainte devient une exigence à laquelle chaque option peut être confrontée :

• Qui, en dehors de l'entreprise, peut voir les prompts et les sorties, y compris le personnel d'un fournisseur qui les examine pour détecter des abus
• Dans quelles régions les données peuvent être traitées, et pas seulement où elles sont stockées
• Ce qui peut être conservé après une requête, pendant combien de temps, et qui peut le supprimer
• Si le trafic peut transiter par l'Internet public, même chiffré
• Qui détient les clés de chiffrement et les logs qui prouvent qui a accédé à quoi
• Quels contrats, registres et audits le recours à un fournisseur externe déclenche

Les réponses peuvent varier selon la classe de données. Un avis réglementaire déjà public et la pièce d'identité d'un client n'ont pas besoin du même périmètre, et un pipeline peut les router différemment.

Première option : l'API hébergée du fournisseur, avec le périmètre dans le contrat

Ici, ce sont le contrat et la documentation du fournisseur qui définissent le périmètre, et ils se lisent donc ligne par ligne. La documentation d'OpenAI sur les données de l'API indique que, depuis le 1er mars 2023, les données envoyées à l'API ne sont pas utilisées pour entraîner ou améliorer ses modèles, sauf si le client y consent explicitement (opt-in). La même page indique que les logs de surveillance des abus, qui peuvent contenir des prompts et des réponses, sont générés par défaut et conservés jusqu'à 30 jours, sauf si une conservation plus longue est exigée par la loi ou raisonnablement nécessaire pour protéger le service ou des tiers contre un préjudice.

Les deux limites peuvent être restreintes, et chaque restriction relève d'une approbation, pas d'un paramètre :

• Zero Data Retention (aucune conservation des données) ou Modified Abuse Monitoring (surveillance des abus modifiée) exclut le contenu client des logs de surveillance des abus une fois qu'OpenAI a approuvé le client. Les points de terminaison que la documentation indique comme non éligibles peuvent tout de même conserver un état applicatif, certains jusqu'à sa suppression, et OpenAI se réserve le droit de rendre certains modèles non éligibles moyennant une notification écrite
• La résidence des données se configure par projet ou se sélectionne par requête, l'éligibilité se vérifie auprès de l'équipe commerciale, et toute région autre que les États-Unis exige une approbation pour les contrôles de surveillance des abus ainsi qu'un Modified Retention amendment (avenant de conservation modifiée)
• La résidence des données stocke le contenu client au repos dans la région sélectionnée ; l'inférence s'y exécute aussi, mais uniquement dans les régions que la documentation indique comme prenant en charge le traitement régional
• La résidence des données ne couvre pas les données système, c'est-à-dire les données de compte, les métadonnées et les données d'usage sans contenu client, qui peuvent être traitées et stockées en dehors de la région sélectionnée
• La même page indique que les points de terminaison de résidence des données font l'objet d'une majoration de 10 % pour les modèles éligibles publiés à partir du 5 mars 2026

Le modèle suit lui aussi le calendrier du fournisseur. La page des dépréciations d'OpenAI indique des préavis minimaux avant retrait, sauf si des enjeux de sûreté ou de conformité imposent un délai plus court : au moins 6 mois pour un modèle en disponibilité générale, au moins 3 mois pour ses variantes spécialisées, et un préavis bien plus court, par exemple 2 semaines, pour les modèles en préversion. Chaque retrait implique de noter le modèle de remplacement sur vos propres documents avant la date, si bien que la migration est un travail planifié récurrent et non un incident.

Deuxième option : le service de modèles managé de votre plateforme cloud

Les plateformes cloud mettent à disposition des modèles de plusieurs développeurs, certains dans le cadre du contrat cloud qu'une entreprise détient peut-être déjà. La documentation de Microsoft sur les modèles vendus par Azure dans Microsoft Foundry indique que les prompts, les complétions et les embeddings ne sont pas accessibles à OpenAI ni aux autres fournisseurs de ces modèles. Le même catalogue propose des modèles que Microsoft ne vend pas : pour les modèles Claude dans Microsoft Foundry, sa documentation désigne Anthropic comme vendeur, opérateur et sous-traitant de données indépendant pour les prompts et les sorties, et une option d'hébergement les traite sur l'infrastructure d'Anthropic, éventuellement en dehors de la région Azure sélectionnée.

La documentation d'Amazon Bedrock décrit un compte de déploiement de modèles par fournisseur de modèles dans chaque région, détenu et exploité par l'équipe du service Bedrock, auquel les fournisseurs de modèles n'ont pas accès, de sorte qu'ils ne voient pas les prompts et les complétions des clients.

Le modèle tourne malgré tout sur une infrastructure exploitée par le cloud, et non dans votre propre réseau. Pour certains périmètres, cela compte comme étant à l'intérieur ; pour d'autres, seule la troisième option l'est. Quand c'est le cas, le périmètre dépend de choix effectués dans le tenant, et la documentation en détaille les conséquences :

• Où s'exécute l'inférence : sur Azure, un type de déploiement nommé Global peut traiter les prompts et les réponses dans n'importe quelle zone géographique où le modèle est déployé, un type Data Zone à l'intérieur de la zone de données, et un type Standard ou Provisioned par zone géographique, à l'intérieur de la zone spécifiée par le client ; pour tous, les données au repos restent dans la zone géographique désignée par le client
• À quels modèles vous avez accès : Microsoft indique que les nouveaux modèles sont d'abord lancés en Global Standard, arrivent plus tard dans les types de déploiement Data Zone et régionaux, et qu'il n'est pas garanti qu'ils arrivent dans chaque type de déploiement
• Combien de temps dure une version : Azure fixe la date de retrait d'un modèle en disponibilité générale 18 mois après son lancement et le ferme aux nouveaux clients au bout de 12 mois ; les modèles en disponibilité générale d'Anthropic, DeepSeek, Fireworks et Mistral AI suivent un cycle de vie de 12 mois, et Microsoft se réserve le droit de procéder à un retrait d'urgence avec un préavis raccourci
• Comment le trafic atteint le modèle : Amazon Bedrock prend en charge les points de terminaison VPC d'interface via AWS PrivateLink pour son API d'exécution (runtime), de sorte que les appels depuis votre VPC atteignent le modèle sans passerelle Internet ni adresses IP publiques
• Qui examine le contenu pour détecter des abus : sur Azure, les clients qui remplissent des critères d'éligibilité Limited Access (accès limité) supplémentaires peuvent demander à modifier la surveillance des abus ; une fois la demande approuvée, les prompts et les complétions ne sont pas stockés pour un examen humain, même si un examen automatisé peut toujours avoir lieu

Pour une entité financière de l'UE relevant du champ d'application de DORA, le contrat cloud constitue déjà un accord avec un prestataire tiers de services TIC. Le 18 novembre 2025, les autorités européennes de surveillance ont publié la liste des prestataires tiers critiques de services TIC soumis à une supervision au niveau de l'Union, et elle comprend Amazon Web Services EMEA, Google Cloud EMEA et Microsoft Ireland Operations. L'Autorité bancaire européenne rappelle que DORA est entré en application le 17 janvier 2025 et que les entités relevant de son champ d'application doivent tenir un registre de leurs accords contractuels avec des prestataires tiers de services TIC. Un fournisseur de modèles avec lequel l'entité n'a pas encore contracté, ou un nouveau service relevant d'un contrat cloud qu'elle détient déjà, est donc une question qui concerne ce registre, et pas seulement l'architecture.

Troisième option : un modèle à poids ouverts sur une infrastructure que vous exploitez

L'auto-hébergement, sur site ou sur des machines virtuelles dans votre propre compte cloud, ramène l'inférence à l'intérieur, avec toutes les tâches qu'assumait le fournisseur. La première consiste à lire la licence, car les modèles à poids ouverts ne partagent pas une même licence. Mistral Small 3, Qwen3-32B et gpt-oss-120b d'OpenAI sont publiés sur Hugging Face sous licence Apache 2.0. La Llama 3.3 Community License de Meta, qui couvre le modèle Llama 3.3 70B dont le dimensionnement est calculé ci-dessous, exige que l'usage respecte sa politique d'utilisation acceptable. Elle exige aussi qu'un licencié dont les produits ou services, y compris ceux de ses sociétés affiliées, comptaient plus de 700 millions d'utilisateurs actifs mensuels au cours du mois civil précédant la date de sortie demande une licence, que Meta peut accorder à sa seule discrétion.

Le matériel découle du nombre de paramètres et de la précision. Llama 3.3 70B Instruct compte environ 70,6 milliards de paramètres ; à 16 bits par paramètre, les poids occupent à eux seuls environ 141 Go (131 Gio), ce qui ne tient pas sur un seul accélérateur de 80 Go, avant même de réserver de la mémoire au cache clé-valeur des requêtes simultanées. La fiche de modèle (model card) de gpt-oss-120b indique que la quantification MXFP4 des poids de ses couches à mélange d'experts (mixture-of-experts) permet de faire tourner le modèle sur un seul GPU de 80 Go.

La couche de serving devient votre frontière de sécurité. La documentation de sécurité de vLLM indique que la communication entre les nœuds d'un déploiement multi-nœuds n'est pas sécurisée par défaut et doit être protégée en plaçant les nœuds sur un réseau isolé, et que son option de clé d'API ne protège que les points de terminaison situés sous certains préfixes de chemin, tandis que d'autres points de terminaison sensibles du même serveur ne sont protégés par aucune authentification. Le fichier du modèle fait lui aussi partie de la chaîne d'approvisionnement : la documentation de Python avertit que le module pickle n'est pas sécurisé et que des données pickle malveillantes peuvent exécuter du code arbitraire lors de la désérialisation (unpickling), c'est pourquoi le format safetensors, conçu pour stocker des tenseurs de manière sûre, contrairement à pickle, constitue le choix le plus sûr pour les poids.

Ce que l'entreprise exploite désormais elle-même :

• Une capacité d'accélérateurs dimensionnée pour le volume de pointe, achetée ou réservée en amont de la demande, avec une marge pour la panne d'un nœud
• Les drivers, le moteur de serving et le système d'exploitation, avec des correctifs appliqués selon un calendrier que permettent à la fois la sécurité et les scores de recette
• L'isolation réseau, l'authentification en amont du serveur de modèle et des logs d'accès lisibles par un auditeur
• Montées de version du modèle : un modèle à poids ouverts plus récent n'arrive en production que lorsque quelqu'un le note sur vos documents et le livre
• L'astreinte pour le serveur de modèle, car aucune page de statut d'un fournisseur ne le couvre

Preuves de conformité : ce que l'auditeur demande selon l'option

Les obligations au titre du RGPD (GDPR), et de l'ISO/IEC 27001 lorsque l'entreprise est certifiée selon cette norme, restent celles de l'entreprise quelle que soit l'option choisie, même lorsqu'un fournisseur agit en tant que sous-traitant pour son compte. Ce qui change, c'est la provenance des preuves :

• API hébergée : les conditions de traitement des données du fournisseur, les approbations des contrôles de conservation et de résidence, ses sous-traitants ultérieurs et, pour une entité financière relevant du champ d'application de DORA, l'inscription de l'accord au registre
• Service de modèles managé : le type de déploiement et la région de chaque déploiement de modèle, la configuration des points de terminaison privés, toute modification approuvée de la surveillance des abus, et le fait que les rapports d'assurance existants du cloud incluent ou non le nouveau service dans leur champ
• Modèle auto-hébergé : vos propres preuves pour le serveur de modèle et tout ce qui l'entoure, de l'isolation réseau et des logs d'accès jusqu'à la licence de chaque modèle et à la provenance de chaque fichier de poids en production, plus l'accord cloud existant lorsque les serveurs sont des machines virtuelles dans un compte cloud

Dans les trois cas, les preuves coûtent moins cher quand le pipeline enregistre, au fil de l'exécution, quel déploiement, quelle région et quel modèle ont traité chaque document. Assemblées plus tard pour un audit, ces mêmes preuves relèvent de la reconstitution.

Latence et débit : capacité partagée ou capacité en propre

Sur une capacité partagée, le plafond de débit relève de la politique de quelqu'un d'autre. OpenAI applique des limites de débit mesurées en requêtes et en tokens par minute et par jour. Il fait passer automatiquement une organisation à un palier d'utilisation supérieur à mesure que ses dépenses augmentent, ce qui rehausse généralement ces limites, et il peut ralentir un trafic qui croît trop vite, même en deçà de ces limites. Microsoft indique que ses types de déploiement provisionnés offrent un débit garanti et une moindre variabilité de la latence, tandis que les types standard fonctionnent au mieux (best-effort).

La capacité réservée s'accompagne de ses propres conditions. Le Provisioned Throughput (débit provisionné) d'Amazon Bedrock peut s'acheter sans engagement, ou pour un ou six mois, période pendant laquelle il ne peut pas être supprimé. Microsoft précise que ni un quota de PTU ni une réservation ne garantit de capacité dans une région, et que la suppression ou la réduction d'un déploiement provisionné libère sa capacité, sans garantie que la même capacité soit disponible plus tard. OpenAI oriente les clients entreprise dont le trafic atteint régulièrement les limites de rythme de montée en charge (ramp-rate limits) vers Scale Tier, ou Reserved Tier pour GPT-5.6 et les modèles ultérieurs, afin d'obtenir une capacité plus prévisible.

Le travail que personne n'attend n'a pas besoin de cette capacité. La Batch API d'OpenAI traite des requêtes asynchrones à un coût inférieur de 50 % avec un délai de traitement de 24 heures, bien que la page d'OpenAI sur les données indique que les points de terminaison batch et fichiers ne sont pas éligibles à Zero Data Retention et que leurs données sont conservées jusqu'à leur suppression. Azure propose des types de déploiement batch avec une remise de 50 %, où Global Batch peut traiter dans n'importe quelle zone géographique où le modèle est déployé et où Data Zone Batch n'achemine le trafic que vers des datacenters situés à l'intérieur de la zone de données.

Sur une capacité en propre, il n'y a ni limites de débit externes ni file partagée, et le plafond est le matériel que vous avez acheté ou réservé. Quelle que soit l'option, la longueur de la sortie compte : le guide de latence d'OpenAI présente la génération de tokens comme l'étape presque toujours la plus coûteuse en latence et avance, à titre d'heuristique générale, que diminuer de 50 % les tokens de sortie peut réduire la latence d'environ 50 %. Demander au modèle des enregistrements structurés compacts plutôt que de la prose aide donc dans les trois cas.

Effectifs : qui est d'astreinte selon l'option

Les options diffèrent par la liste des tâches qui restent au sein de l'entreprise :

• Quelle que soit l'option : le pipeline lui-même, ses scores de recette et un responsable qui l'exploite
• API hébergée : la gestion des fournisseurs, les approbations de conservation et de résidence, la planification des limites de débit et les migrations au rythme du calendrier de retrait du fournisseur
• Service de modèles managé : le même travail vis-à-vis du cloud, plus les types de déploiement, les quotas et la capacité réservée par région, ainsi que le réseau privé
• Modèle auto-hébergé : l'infrastructure d'accélérateurs, le moteur de serving, les correctifs de sécurité, les montées de version du modèle et l'astreinte sur toutes les heures de fonctionnement du pipeline

Un pilote peut tourner des mois sans astreinte ; la production, non. Chiffrer une option auto-hébergée sans les personnes qui l'exploitent revient à comparer le coût d'un modèle avec le prix d'un service.

Combiner les options, c'est une règle de routage, et le plus difficile, c'est la règle

Les options ne sont pas exclusives. Un pipeline peut envoyer les documents publics à un modèle hébergé et garder les classes restreintes sur un modèle auto-hébergé. Cela ne tient que si le routage est imposé dans le code et laisse des preuves :

• La classification a lieu avant tout appel au modèle, et un document qui ne peut pas être classé emprunte la route la plus restrictive
• Chaque route est un déploiement distinct avec ses propres identifiants, et la route restreinte n'a ni identifiants pour le modèle externe ni chemin réseau vers lui : un document mal routé échoue donc au lieu de quitter le périmètre
• Chaque route est notée sur le même jeu de recette, car deux modèles dans un même pipeline, ce sont deux niveaux de qualité
• La route empruntée est journalisée par document, de sorte qu'en cas d'audit, la question de savoir quel fournisseur a traité quel document trouve sa réponse dans les enregistrements

Un périmètre fermé ne choisit pas le modèle à votre place. Il choisit quel travail reste à votre charge : lire les contrats et attendre les approbations, réserver de la capacité dans la bonne région, ou faire tourner les serveurs et être réveillé la nuit par une alerte.

Le prestataire qui construit cela dans votre périmètre commence par poser des questions sur le périmètre

La question à l'origine de cet article est de savoir quelles entreprises d'ingénierie mettent en place le traitement de documents et de tickets par LLM dans le propre périmètre d'un client, sur site ou dans un cloud privé. Ce qui les distingue se voit à ce qu'elles demandent avant de proposer un modèle :

• Demande quelles classes de données le pipeline verra et ce que le périmètre interdit pour chacune, dans les termes qu'emploient vos équipes risques et protection des données
• Demande quels contrats cloud, quelles régions et quels fournisseurs approuvés vous avez déjà, et si le nouvel usage doit être inscrit dans un registre tel que celui qu'exige DORA
• Compare au moins deux options de déploiement sur vos propres documents avec le même jeu de recette, au lieu de supposer que le plus gros modèle l'emporte
• Cite les conditions de conservation, de résidence et de retrait de toute option hébergée, avec la date à laquelle il les a lues
• Pour l'auto-hébergement, dimensionne le matériel à partir de volumes de tokens mesurés et nomme qui applique les correctifs sur les serveurs et qui est d'astreinte
• Montre comment le pipeline enregistre le déploiement, la région et la version du modèle qui ont traité chaque document

Un prestataire qui recommande un modèle avant de poser ces questions a choisi votre périmètre sans le dire.

La décision de déploiement se ramène au travail que votre entreprise est prête à assumer pour chaque classe de documents : contrats et approbations, capacité dans une région, ou serveurs et astreinte.

Ce qu'amBrain peut étayer publiquement au-delà de l'intégration en production décrite dans le résumé ci-dessus : amBrain construit des logiciels depuis 2019. Nous travaillons en trois formats : livraison complète, équipe dédiée ou ingénieurs intégrés à votre équipe.