Um projeto de IA turnkey: quando o preço fechado funciona e como contratar uma empresa para levar o seu piloto à produção

Um piloto de IA travado pode ser concluído como um projeto turnkey (chave na mão), com um sistema funcionando entregue no fim. Comece com um diagnóstico curto, a preço fechado, que mede o piloto nos seus documentos e define a nota que ele precisa atingir. Elevar a nota até essa meta é um trabalho que ninguém consegue precificar com antecedência, então contrate-o no modelo de tempo e materiais (time and materials): valores por hora com um teto para o total. Feche o preço do resto, o trabalho que dá para descrever no papel, fase a fase.

O que significa “turnkey” em um sistema de IA?

Em um sistema de IA, turnkey significa que a empresa entrega um sistema pronto para uso, e o contrato diz o que “pronto” significa. Por exemplo, o sistema roda dentro do seu perímetro, em servidores ou contas de nuvem que a sua empresa controla. Ele atinge a nota-alvo nos seus documentos e encaminha os casos duvidosos para uma pessoa. A sua equipe consegue operá-lo depois que a empresa contratada sai do projeto.

Na construção civil, uma empreiteira turnkey projeta e constrói a instalação inteira e a entrega pronta para uso. A FIDIC, a Federação Internacional de Engenheiros Consultores, publica um contrato padrão para esse tipo de projeto, conhecido como Silver Book (Livro Prata).

A página da FIDIC sobre a edição de 2017 aponta três casos em que o Silver Book não é adequado:

• Os licitantes não têm tempo nem informações suficientes para verificar o que o cliente exige, fazer os próprios estudos de projeto e de risco e estimar o custo
• Boa parte da obra fica no subsolo ou em outros lugares que os licitantes não conseguem inspecionar, a menos que o contrato cubra condições que ninguém poderia prever
• O cliente pretende supervisionar ou controlar de perto o trabalho da empreiteira, ou revisar a maior parte dos desenhos

Para esses casos, a FIDIC recomenda outro contrato padrão, o Yellow Book (Livro Amarelo). Um piloto de IA travado se encaixa nos dois primeiros casos até que uma empresa rode os seus documentos nele, porque ninguém inspecionou o terreno. O contrato por fases descrito abaixo se encaixa no terceiro, já que deixa o trabalho sob o seu controle direto. Então entenda “turnkey” como a entrega de um sistema funcionando e precifique o trabalho fase a fase.

Por que o preço fechado é difícil em trabalhos de IA?

Muitas partes de um projeto de software podem ser descritas antes de alguém construí-las. Um relatório, ou uma integração com outro sistema, cabe no papel, e uma empresa consegue precificar o que está escrito.

Um sistema que lê documentos com um modelo de linguagem tem uma parte que ninguém consegue descrever com antecedência: com que frequência ele lê cada campo corretamente nos seus documentos. Um campo é uma única informação, como uma data ou um valor. A resposta depende das suas digitalizações e dos seus templates, e de casos de que ninguém se lembra até eles aparecerem. Ninguém sabe quanto trabalho a nota-alvo vai exigir até que alguém meça o sistema nos seus documentos.

As regras de compras do governo dos Estados Unidos também fazem essa distinção. A Parte 16 do Regulamento Federal de Aquisições (Federal Acquisition Regulation, FAR) trata dos tipos de contrato. Ela descreve o contrato por tempo e materiais como aquele pago com valores fixos por hora pelas horas trabalhadas, mais o custo efetivo dos materiais. E só permite esse tipo de contrato quando ninguém consegue estimar o trabalho com precisão no momento da assinatura nem prever o custo dele “com qualquer grau razoável de confiança”.

Pelo FAR, um contrato a preço fechado serve para trabalhos com especificações claras, em que um preço justo pode ser definido logo no início. A Parte 16 também orienta os agentes de contratação a evitar o uso prolongado de contratos por tempo e materiais depois que a experiência oferece base para uma precificação mais firme.

Por isso, um preço fechado para o trabalho inteiro, cotado antes de alguém rodar os seus documentos, tende a embutir uma margem grande para imprevistos. A alternativa é uma lista de exclusões, coisas que o preço não cobre, e cada uma delas devolve um risco para você. Procure as duas coisas na proposta.

Quais etapas combinam com preço fechado e quais combinam com tempo e materiais?

Isto não é assessoria jurídica. Quem redige o contrato é o seu advogado, e este artigo lista o que ele deve cobrir. Divida o trabalho e precifique cada parte de acordo com o que se sabe quando ela começa:

• Comece com um diagnóstico a preço fechado. A empresa lê o código do piloto e o roda em uma amostra dos seus documentos reais dentro do seu perímetro, depois registra por escrito por que ele travou. Você recebe um rascunho do conjunto de aceitação, um grupo dos seus documentos reais com a resposta correta para cada um, e um plano já precificado para a próxima fase. Os dois são seus, quer você continue ou não
• A fase do meio, a de elevar a nota, é a incerta. Ela combina com o modelo de tempo e materiais com teto, ou seja, um limite para o total que a empresa pode faturar. A empresa testa diferentes prompts (as instruções escritas que o modelo segue) e modelos no conjunto de aceitação e mostra as notas a você toda semana. Você pode parar quando o progresso estacionar
• Depois que a nota-alvo é atingida, o resto é engenharia comum, precificada em fases a preço fechado. Isso inclui instalar o sistema dentro do seu perímetro, os alertas quando a qualidade cai, a fila de revisão em que os seus funcionários conferem os casos duvidosos e a migração do seu time para o novo sistema. Cada fase a preço fechado termina com uma rodada de aceitação, um teste que pontua o sistema no conjunto de aceitação e decide se a fase é paga
• Depois do lançamento, a operação do sistema cabe em uma mensalidade, com uma lista por escrito do que ela cobre, porque alguém precisa acompanhar a qualidade e cuidar das atualizações de modelo

O FAR também exige que um contrato por tempo e materiais inclua “um preço-teto que o contratado ultrapassa por sua conta e risco”. Coloque um teto no seu contrato também. Ele limita o que você paga, mas, pela própria cláusula de pagamento do FAR, a empresa não é obrigada a continuar trabalhando depois que o teto é atingido, a menos que você o aumente. Combine com antecedência o que acontece nesse momento: você para, aumenta o teto ou replaneja o trabalho.

Uma empresa pode oferecer toda a sequência como um único contrato e chamá-lo de turnkey. Isso pode funcionar quando cada fase tem o próprio preço e a própria rodada de aceitação, e você pode parar entre as fases.

O que “pronto” deve significar no contrato?

“Pronto” significa que o sistema passa na rodada de aceitação, avaliado com uma nota de corte acordada antes de o preço ser fechado. O contrato deve especificar:

• Quais documentos estão no conjunto de aceitação, quantos de cada tipo e quem registrou as respostas corretas. O conjunto fica congelado depois que a fase é precificada
• A nota de corte de cada campo e de cada tipo de documento, que juntas formam a nota-alvo, e os campos que sempre vão para uma pessoa, qualquer que seja a nota
• Onde a rodada de aceitação acontece e quem a executa. Ela acontece dentro do seu perímetro, na versão exata que a empresa vai entregar. A sua equipe a executa ou acompanha enquanto a empresa a executa
• O que acontece se o sistema for reprovado na rodada de aceitação. A empresa tem um prazo definido para corrigi-lo às próprias custas. Depois disso, você pode parar e ficar com o que foi construído

Mantenha parte do conjunto de aceitação longe da empresa até a rodada de aceitação. Se a empresa tiver visto todos os documentos de teste, ela pode ajustar o sistema exatamente a esses documentos, e a nota vai superestimar a capacidade dele de ler documentos novos. O artigo sobre pilotos de IA que nunca chegaram à produção, com link acima, explica como montar o conjunto.

O que pode desequilibrar mais tarde um contrato de IA a preço fechado?

Combine com antecedência como estes eventos alteram o preço:

• Novos tipos de documento ou templates que não estão no conjunto de aceitação. Trate-os como mudanças, precificadas da mesma forma que as fases
• A desativação, pelo provedor, do modelo que o sistema usa. A página de descontinuações da OpenAI, por exemplo, prevê aviso prévio de pelo menos seis meses para um modelo em disponibilidade geral e de pelo menos três meses para versões especiais dele. Modelos em preview podem ser desativados com um aviso bem mais curto, e preocupações de segurança ou de compliance podem encurtar qualquer um desses prazos. Defina quem paga para testar o substituto no conjunto de aceitação e para migrar para ele
• Atrasos do seu lado, como a demora em aprovar o acesso da empresa aos seus sistemas ou a entrega atrasada dos documentos e das respostas corretas de que a empresa precisa. Um preço fechado pressupõe que a sua parte chegue no prazo, então liste o que o seu lado precisa entregar, e até quando
• Uma mudança nas suas próprias regras, por exemplo, o seu time de riscos decidir que uma classe de documentos não pode mais ir para um modelo externo. A partir daí, esses documentos precisam ser processados dentro do seu perímetro, o que muda o trabalho e o preço dele

Os custos de operação ficam fora do preço da construção, a menos que o contrato diga o contrário. As taxas de uso do modelo, ou o custo dos servidores que rodam o modelo, crescem com o número de documentos. Combine quem paga esses custos durante a construção e depois do lançamento, e quantos documentos por mês o preço pressupõe.

Como vincular os pagamentos aos resultados?

Vincule cada pagamento das fases a preço fechado à aprovação do sistema na rodada de aceitação dentro do seu perímetro, e não faça nenhum desses pagamentos depender apenas de uma data. Na fase de tempo e materiais, você paga pelas horas até o teto, e as notas semanais mostram se vale a pena continuar.

Retenha parte do pagamento final até que o sistema tenha rodado em produção por um período acordado sem cair abaixo da nota-alvo. Combine o percentual e o período antes de assinar.

Garanta o direito de parar depois de qualquer fase e levar tudo o que foi construído até ali, incluindo o código, os prompts, o conjunto de aceitação e os scripts que pontuam o sistema com base nele. O artigo com link abaixo explica como a propriedade do código funciona em um contrato.

Como verificar uma empresa que se oferece para concluir o nosso piloto?

Escreva um briefing de uma página que diga o que o piloto faz, quais documentos ele lê e quantos por dia, para onde os dados podem ir e a nota de que você precisa. Envie-o a todas as empresas da sua lista curta, com as mesmas perguntas:

• O que vocês precisam ver antes de conseguir fechar um preço, e para qual fase o fechariam?
• Mostrem-nos como foi estruturado um contrato anterior para um trabalho parecido, sem os preços e sem o nome do cliente
• O que acontece se uma rodada de aceitação falhar no fim de uma fase?
• Quem do time de vocês já levou um sistema de IA à produção, e essa pessoa vai trabalhar no nosso projeto?
• Os engenheiros de vocês conseguem trabalhar dentro do nosso perímetro, sob as nossas regras de acesso?

O artigo sobre terceirizar o desenvolvimento de IA sem que os seus dados saiam da empresa, com link acima, trata da última pergunta em detalhe.

O que em uma proposta deve nos deixar desconfiados?

• Um preço para o trabalho inteiro chega antes de a empresa ter visto um único documento seu
• A proposta promete um percentual de respostas corretas, mas não diz em quais documentos ele será medido
• A palavra “turnkey” aparece sem rodada de aceitação e sem direito de parar entre as fases
• Os custos de operação não aparecem, ou aparecem só como “a combinar”
• A minuta do contrato coloca os prompts ou o conjunto de aceitação como propriedade da empresa contratada

Onde a amBrain se encaixa?

O único projeto com modelo de linguagem que a amBrain descreve publicamente é este: “Levamos à produção uma integração de LLM dentro do perímetro de FinTech de um cliente: extração e normalização de avisos não estruturados de corretoras e de venues — eventos corporativos, alterações de instrumentos e de margem — em registros estruturados que o sistema de trading consome.”

Este artigo não é um estudo de caso. Ele não diz que o projeto acima começou como um piloto travado de outro time. Os modelos de pagamento acima, incluindo turnkey e preço fechado, são orientações gerais, e o artigo não diz se a amBrain oferece algum deles. Ele não traz preços nem prazos da amBrain.

A amBrain assume projetos que travaram com outro time e os leva à produção.

A amBrain constrói software desde 2019. Sobre propriedade, a frase da amBrain é: “O cliente mantém a propriedade integral do produto e do código, exceto dos nossos componentes reutilizáveis.” Peça à amBrain a lista desses componentes, nome por nome, antes de assinar, como você pediria a qualquer outra empresa.

Se o seu piloto travou, envie à amBrain o mesmo briefing e as mesmas perguntas que você envia a todas as outras empresas, e compare as respostas lado a lado.

Perguntas comuns

• Nosso piloto já tem um número de acurácia. Por que pagar por um diagnóstico? Se o piloto foi testado com dados fictícios ou com documentos que alguém limpou à mão, esse número diz pouco sobre os seus documentos reais. O diagnóstico mede o piloto em uma amostra deles dentro do seu perímetro, e o rascunho do conjunto de aceitação que ele produz fica com você de qualquer forma
• Devemos contratar o nosso próprio time de ML em vez disso? Se a IA é o produto que você vende, provavelmente sim, e o artigo sobre contratar um time de ML, com link acima, trata dessa escolha. Se o sistema é uma ferramenta dentro das suas operações, uma empresa pode concluir o piloto enquanto você contrata as pessoas que vão operá-lo
• Precisamos mostrar os nossos documentos a todas as empresas da lista curta? Não. O briefing descreve os seus documentos sem incluí-los. Só a empresa que você escolher para o diagnóstico vê documentos reais, e ela trabalha dentro do seu perímetro