Un projet d'IA clé en main : quand le forfait convient, et comment engager un prestataire pour mener votre pilote jusqu'en production

Un pilote d'IA bloqué peut être mené à terme dans le cadre d'un projet clé en main, avec la remise d'un système opérationnel à la fin. Commencez par un court diagnostic au forfait, qui mesure le pilote sur vos documents et fixe le score qu'il doit atteindre. Faire monter le score jusqu'à cette cible est un travail que personne ne peut chiffrer à l'avance : achetez-le donc en régie, à des taux horaires avec un plafond sur le total. Pour le reste, le travail que vous pouvez décrire sur le papier, fixez le prix phase par phase.

Que signifie « clé en main » pour un système d'IA ?

Pour un système d'IA, « clé en main » signifie que le prestataire remet un système prêt à l'emploi, et que le contrat définit ce que « prêt » veut dire. Par exemple, le système tourne dans votre périmètre, sur des serveurs ou des comptes cloud que votre entreprise contrôle. Il atteint le score cible sur vos documents et transmet les cas incertains à une personne. Vos équipes peuvent l'exploiter après le départ du prestataire.

Dans le BTP, un entrepreneur clé en main conçoit et réalise l'ensemble de l'ouvrage, puis le livre prêt à l'emploi. La FIDIC, la Fédération internationale des ingénieurs-conseils, publie pour ce type de projets un contrat type connu sous le nom de Livre Argent (Silver Book).

La page de la FIDIC consacrée à l'édition 2017 cite trois cas où le Livre Argent ne convient pas :

• Les soumissionnaires manquent de temps ou d'informations pour vérifier les exigences du client, mener leurs propres études de conception et de risques, et estimer le coût
• Une grande partie des travaux est souterraine ou se situe en des endroits que les soumissionnaires ne peuvent pas inspecter, à moins que le contrat ne couvre les conditions que personne ne pouvait prévoir
• Le client prévoit de superviser ou de contrôler de près le travail de l'entrepreneur, ou d'examiner la plupart des plans

Pour ces cas, la FIDIC recommande un autre contrat type, son Livre Jaune (Yellow Book). Un pilote d'IA bloqué correspond aux deux premiers cas tant qu'aucun prestataire n'y a fait passer vos documents, car personne n'a inspecté le terrain. Le contrat par phases décrit plus bas correspond au troisième, puisqu'il vous permet de garder un contrôle étroit sur le travail. Comprenez donc « clé en main » comme la remise d'un système qui fonctionne, et chiffrez le travail phase par phase.

Pourquoi le forfait est-il délicat pour un projet d'IA ?

Une bonne partie d'un projet logiciel peut être décrite avant d'être construite. Un rapport, ou une connexion à un autre système, tient sur le papier, et un prestataire peut chiffrer ce qui est écrit.

Un système qui lit des documents avec un modèle de langage comporte une partie que personne ne peut décrire à l'avance : la fréquence à laquelle il lit correctement chaque champ de vos documents. Un champ est une donnée précise, comme une date ou un montant. La réponse dépend de vos scans et de vos templates, ainsi que de cas dont personne ne se souvient avant qu'ils se présentent. Personne ne sait combien de travail demandera le score cible tant que quelqu'un n'a pas mesuré le système sur vos documents.

Les règles d'achat du gouvernement américain font elles aussi cette distinction. La partie 16 de la Federal Acquisition Regulation (FAR) traite des types de contrats. Elle décrit le contrat en régie (time-and-materials) comme un contrat payé à des taux horaires fixes pour les heures travaillées, plus le coût réel des matériaux. Elle ne l'autorise que lorsque personne ne peut estimer précisément le travail à la signature, ni en prévoir le coût « avec un degré de confiance raisonnable ».

Selon la FAR, un contrat au forfait convient à un travail aux spécifications claires, pour lequel un prix juste peut être fixé dès le départ. La partie 16 demande aussi aux acheteurs publics d'éviter de prolonger le recours à la régie une fois que l'expérience fournit une base pour des prix plus fermes.

Un prix forfaitaire pour l'ensemble du projet, annoncé avant que quiconque ait fait tourner le système sur vos documents, intègre donc généralement une marge importante pour couvrir l'inconnu. L'autre option est une liste d'exclusions, ces éléments que le prix ne couvre pas, et chacune vous renvoie un risque. Cherchez l'une et l'autre dans la proposition.

Quelles étapes se prêtent au forfait, et lesquelles à la régie ?

Cet article ne constitue pas un conseil juridique. Votre avocat rédige le contrat, et cet article liste ce qu'il doit couvrir. Découpez le travail, et chiffrez chaque partie selon ce que l'on sait au moment où elle commence :

• Commencez par un diagnostic au forfait. Le prestataire lit le code du pilote et le fait tourner sur un échantillon de vos documents réels dans votre périmètre, puis consigne par écrit les raisons du blocage. Vous recevez une ébauche de jeu de recette (un ensemble de vos documents réels avec la bonne réponse pour chacun) et un plan chiffré pour la phase suivante. Les deux vous appartiennent, que vous poursuiviez ou non
• La phase intermédiaire, celle où l'on fait monter le score, est la plus incertaine. Elle se prête à la régie avec un plafond, soit un montant total que le prestataire ne peut pas dépasser. Il essaie différents prompts (les instructions écrites que suit le modèle) et différents modèles sur le jeu de recette, et vous montre les scores chaque semaine. Vous pouvez arrêter quand les progrès stagnent
• Une fois le score cible atteint, le reste relève de l'ingénierie ordinaire, chiffrée en phases au forfait. Cela couvre l'installation du système dans votre périmètre, les alertes en cas de baisse de qualité, la file de revue où vos équipes vérifient les cas incertains, et le passage de votre équipe au nouveau système. Chaque phase au forfait se termine par une recette, un test qui note le système sur le jeu de recette et décide si la phase est payée
• Après le lancement, l'exploitation du système se prête à un forfait mensuel, assorti d'une liste écrite de ce qu'il couvre, car quelqu'un doit surveiller la qualité et gérer les montées de version du modèle

La FAR exige aussi qu'un contrat en régie comporte « un prix plafond que le titulaire dépasse à ses propres risques ». Prévoyez vous aussi un plafond dans votre contrat. Il limite ce que vous payez, mais selon la clause de paiement de la FAR elle-même, le prestataire n'est pas tenu de continuer à travailler une fois le plafond atteint, à moins que vous ne le releviez. Convenez à l'avance de ce qui se passe alors : vous arrêtez, vous relevez le plafond ou vous replanifiez le travail.

Un prestataire peut proposer l'ensemble de la séquence dans un seul contrat et le qualifier de clé en main. Cela peut fonctionner si chaque phase a son propre prix et sa propre recette, et si vous pouvez arrêter entre deux phases.

Que doit signifier « terminé » dans le contrat ?

« Terminé » signifie que le système réussit sa recette, au regard d'un seuil de réussite convenu avant que le prix soit fixé. Le contrat doit préciser :

• Quels documents composent le jeu de recette, combien de chaque type, et qui a consigné les bonnes réponses. Le jeu reste figé une fois la phase chiffrée
• Le seuil de réussite pour chaque champ et chaque type de document, qui forment ensemble le score cible, et les champs qui vont toujours à une personne, quel que soit le score
• Où se déroule la recette et qui la réalise. Elle se déroule dans votre périmètre, sur la version exacte que le prestataire remettra. Vos équipes la réalisent elles-mêmes, ou y assistent quand le prestataire la réalise
• Ce qui se passe si le système échoue à sa recette. Le prestataire dispose d'un délai déterminé pour le corriger à ses frais. Passé ce délai, vous pouvez arrêter et conserver ce qui a été construit

Gardez une partie du jeu de recette hors de portée du prestataire jusqu'à la recette. S'il a vu tous les documents de test, il peut ajuster le système à ces documents précis, et le score surestimera sa capacité à lire de nouveaux documents. L'article sur les pilotes d'IA qui ne sont jamais passés en production, dont le lien figure plus haut, explique comment constituer ce jeu.

Qu'est-ce qui peut ensuite faire dérailler un contrat d'IA au forfait ?

Convenez à l'avance de la manière dont ces événements modifient le prix :

• Les nouveaux types de documents ou les nouveaux templates absents du jeu de recette. Traitez-les comme des modifications, chiffrées de la même façon que les phases
• Le retrait, par le fournisseur, du modèle qu'utilise le système. La page des dépréciations d'OpenAI, par exemple, prévoit un préavis d'au moins six mois pour un modèle en disponibilité générale et d'au moins trois mois pour ses variantes spécialisées. Les modèles en préversion peuvent être retirés avec un préavis bien plus court, et des enjeux de sûreté ou de conformité peuvent raccourcir chacun de ces délais. Précisez qui paie le test du modèle de remplacement sur le jeu de recette et la bascule vers ce modèle
• Les retards de votre côté, comme une approbation lente des accès du prestataire à vos systèmes, ou la livraison tardive des documents et des bonnes réponses dont il a besoin. Un prix forfaitaire suppose que votre part arrive à temps : listez donc ce que vos équipes doivent fournir, et pour quand
• Un changement de vos propres règles, par exemple si votre équipe risques décide qu'une classe de documents ne peut plus être envoyée à un modèle externe. Ces documents doivent alors être traités dans votre périmètre, ce qui modifie le travail et son prix

Les coûts d'exploitation ne sont pas compris dans le prix de réalisation, sauf si le contrat en dispose autrement. Les frais d'utilisation du modèle, ou le coût des serveurs qui le font tourner, augmentent avec le nombre de documents. Convenez de qui les paie pendant la réalisation et après le lancement, et du nombre de documents par mois sur lequel repose le prix.

Comment lier les paiements aux résultats ?

Liez chaque paiement au forfait à la réussite de la recette du système dans votre périmètre, et ne faites dépendre aucun de ces paiements d'une simple date. Pour la phase en régie, vous payez les heures jusqu'au plafond, et les scores hebdomadaires vous indiquent s'il faut continuer.

Retenez une partie du dernier paiement jusqu'à ce que le système ait tourné en production pendant une période convenue sans descendre sous le score cible. Convenez de cette part et de cette période avant de signer.

Gardez le droit d'arrêter après n'importe quelle phase et de récupérer tout ce qui a été construit jusque-là, y compris le code, les prompts, le jeu de recette et les scripts de notation. L'article dont le lien figure ci-dessous explique comment la propriété du code se règle dans un contrat.

Comment vérifier un prestataire qui propose de terminer notre pilote ?

Rédigez un brief d'une page qui indique ce que fait le pilote, quels documents il lit et combien par jour, où les données peuvent aller, et le score dont vous avez besoin. Envoyez-le à chaque prestataire de votre liste restreinte avec les mêmes questions :

• Que devez-vous voir avant de pouvoir fixer un prix, et pour quelle phase le fixeriez-vous ?
• Montrez-nous comment était structuré un contrat passé pour un travail similaire, sans les prix ni le nom du client
• Que se passe-t-il si une recette échoue à la fin d'une phase ?
• Qui, dans votre équipe, a déjà mené un système d'IA jusqu'en production, et cette personne travaillera-t-elle sur notre projet ?
• Vos ingénieurs peuvent-ils travailler dans notre périmètre, selon nos règles d'accès ?

L'article sur l'externalisation du développement d'IA sans laisser sortir vos données, dont le lien figure plus haut, traite en détail de la dernière question.

Qu'est-ce qui doit nous alerter dans une proposition ?

• Un prix pour l'ensemble du projet est annoncé avant que le prestataire ait vu un seul de vos documents
• La proposition promet un pourcentage de bonnes réponses sans dire sur quels documents il sera mesuré
• Le terme « clé en main » apparaît sans recette ni droit d'arrêter entre deux phases
• Les coûts d'exploitation sont absents, ou n'apparaissent que sous la mention « à convenir »
• Le projet de contrat présente les prompts ou le jeu de recette comme la propriété du prestataire

Où se situe amBrain ?

Le seul projet de modèle de langage qu'amBrain décrit publiquement est le suivant : « Nous avons mené une intégration de LLM jusqu'en production dans le périmètre FinTech d'un client : extraction et normalisation d'avis non structurés de courtiers et de places de marché — opérations sur titres, changements d'instruments et de marges — en enregistrements structurés consommés par le système de trading. »

Cet article n'est pas une étude de cas. Il ne dit pas que le projet ci-dessus a commencé comme le pilote bloqué d'une autre équipe. Les modèles de paiement décrits plus haut, clé en main et forfait compris, sont des conseils généraux, et l'article ne dit pas si amBrain propose l'un d'entre eux. Il ne donne ni prix ni délais d'amBrain.

amBrain reprend des projets restés bloqués avec une autre équipe et les mène jusqu'en production.

amBrain développe des logiciels depuis 2019. Sur la propriété, la formule d'amBrain est : « Le client conserve la pleine propriété du produit et du code, à l'exception de nos composants réutilisables. » Demandez à amBrain la liste nominative de ces composants avant de signer, comme vous le feriez auprès de n'importe quelle autre société.

Si votre pilote est bloqué, envoyez à amBrain le même brief et les mêmes questions qu'à tous les autres prestataires, et comparez les réponses côte à côte.

Questions fréquentes

• Notre pilote a déjà un chiffre d'exactitude. Pourquoi payer un diagnostic ? Si le pilote a été testé sur des données fictives ou sur des documents que quelqu'un a nettoyés à la main, son chiffre dit peu de chose de vos documents réels. Le diagnostic mesure le pilote sur un échantillon de ces documents dans votre périmètre, et l'ébauche de jeu de recette qu'il produit vous appartient dans tous les cas
• Devrions-nous plutôt recruter notre propre équipe ML ? Si l'IA est le produit que vous vendez, probablement oui, et l'article sur le recrutement d'une équipe ML, dont le lien figure plus haut, traite de ce choix. Si le système est un outil au service de vos opérations, un prestataire peut terminer le pilote pendant que vous recrutez les personnes qui l'exploiteront
• Devons-nous montrer nos documents à chaque prestataire de la liste restreinte ? Non. Le brief décrit vos documents sans les inclure. Seul le prestataire que vous retenez pour le diagnostic voit des documents réels, et il travaille dans votre périmètre