Uma empresa externa pode construir o seu sistema de IA enquanto os seus documentos ficam nos seus servidores. Os engenheiros dela trabalham por meio de contas e máquinas que você controla.
Uma empresa externa pode construir e operar um sistema de IA sobre documentos que não podem sair da sua empresa. Os documentos ficam nos seus servidores, e os engenheiros da empresa externa chegam até eles por meio de contas que você cria e pode desativar, a partir de máquinas que você controla. Eles constroem com documentos de amostra aprovados pelo seu time e só trabalham com documentos reais nos seus servidores. Para encontrar uma empresa que consiga trabalhar assim, pergunte como os engenheiros dela acessaram os documentos de um cliente anterior e o que a empresa excluiu no fim.
A resposta curta: dê a cada engenheiro externo uma conta nominal e uma máquina de trabalho controlada pela sua empresa, em que a cópia de arquivos para fora é bloqueada. Combine por escrito quem tem acesso, de qual país e com quais ferramentas, e o que acontece com cada cópia no fim. Antes do primeiro dia, verifique que nenhum arquivo consegue sair e, no último dia de cada pessoa, que o acesso dela foi encerrado.
Leia também
Sim. Onde o modelo de linguagem roda é uma decisão separada, tratada no artigo sobre perímetro fechado, com link acima. Este artigo trata das pessoas que constroem o sistema e do que elas podem ver e copiar. Um modelo nos seus próprios servidores protege pouco se um engenheiro salva uma pasta de documentos reais em um notebook para testar um prompt (as instruções que o modelo segue).
Pela legislação de proteção de dados da UE, até mesmo ler dados pessoais conta como tratamento. O artigo 4(2) do GDPR define tratamento como qualquer operação realizada sobre dados pessoais, e a lista que acompanha essa definição inclui a “consulta”, ou seja, olhar os dados. Uma empresa cujos engenheiros precisam desse acesso para fazer o trabalho costuma ser o seu processador de dados, como o GDPR chama a empresa que trata dados pessoais em seu nome. O artigo 28 exige um contrato ou outro ato jurídico vinculante com o processador.
Se a empresa estiver sediada fora do Espaço Econômico Europeu, o acesso remoto dela é uma transferência dos dados para o exterior, mesmo que os dados só apareçam em uma tela. O Comitê Europeu de Proteção de Dados, que reúne as autoridades de proteção de dados da UE, afirma isso nas suas Diretrizes 05/2021.
Uma transferência precisa de um fundamento jurídico previsto no Capítulo V do GDPR. Um deles é a decisão de adequação, pela qual a Comissão Europeia conclui que o país da empresa protege os dados pessoais suficientemente bem. Outro são as cláusulas contratuais padrão, termos contratuais prontos que a Comissão adotou em 4 de junho de 2021. Antes de se apoiar nelas, as partes avaliam a legislação do país da empresa, como descrevem as Recomendações 01/2020 do Comitê.
Nos Estados Unidos, a Regra de Salvaguardas (Safeguards Rule) da Comissão Federal de Comércio (FTC) se aplica às instituições financeiras supervisionadas pela FTC, como credores hipotecários e empresas de empréstimos de curto prazo (payday lenders). Elas precisam tomar medidas razoáveis para escolher prestadores de serviços capazes de proteger as informações dos clientes, colocar essas proteções no contrato e verificar os prestadores periodicamente. Também precisam usar autenticação multifator para “qualquer pessoa que acesse qualquer sistema de informação”, a menos que o responsável pela segurança da instituição aprove por escrito controles razoavelmente equivalentes ou mais seguros. Pergunte ao seu assessor jurídico quais dessas regras se aplicam a você antes que alguém de fora receba acesso.
Dê acesso a eles como você dá aos seus funcionários, só que com limites mais rígidos:
Antes de o primeiro engenheiro começar, peça a alguém do seu lado que tente tirar um documento da máquina de trabalho por todos os caminhos que conseguir imaginar. Feche cada caminho que funcionar e repita o teste depois de cada mudança na configuração.
Boa parte do trabalho não precisa de documentos reais. A maior parte do código, da leitura dos arquivos recebidos à tela em que os revisores conferem as respostas, pode ser construída com amostras aprovadas. Boas amostras são documentos publicados do mesmo tipo e documentos fictícios gerados nos seus servidores a partir dos seus próprios templates.
Os documentos reais são necessários para duas tarefas. Uma é o conjunto de aceitação: documentos reais rotulados com as respostas corretas, com base nos quais o sistema é pontuado antes de cada release. A outra é ajustar o sistema nos casos que as amostras não cobrem. As duas acontecem nos seus servidores, feitas por pessoas autorizadas a ver documentos reais.
Tirar os nomes nem sempre torna um documento anônimo, porque um número de conta, ou uma data e um valor, ainda podem apontar para uma pessoa. O considerando 26 do GDPR diz que dados pseudonimizados, em que os nomes são substituídos, mas informações adicionais ainda poderiam vincular os dados a uma pessoa, contam como dados pessoais. Por isso, mantenha essas amostras nos seus servidores até que o seu encarregado de proteção de dados confirme que elas são anônimas.
Um sistema em funcionamento faz as próprias cópias, nos logs e no índice de busca, e o artigo sobre pilotos de IA, com link acima, lista quais são. As cópias feitas por pessoas durante a construção passam despercebidas com mais facilidade:
Trate o índice de busca como os próprios documentos. Ele armazena cada trecho como um embedding, uma lista de números que captura o significado do trecho, e muitas configurações guardam o texto do trecho ao lado. Pesquisas mostram que é possível reconstruir o texto só a partir dos números.
Na conferência EMNLP de 2023, Morris e colegas reconstruíram de forma exata 92% dos trechos de 32 tokens (um token é uma palavra ou parte de uma). Eles trabalharam com embeddings gerados por um modelo aberto e podiam consultar esse modelo repetidas vezes. A recuperação exata foi menor com um modelo comercial e com trechos mais longos. O mesmo método recuperou 89% dos nomes completos de um conjunto de anotações clínicas.
Deixe por escrito que os seus documentos e tudo o que for produzido a partir deles, como o índice de busca ou o conjunto de aceitação, ficam nos seus sistemas.
Só as ferramentas de uma lista enxuta, combinada com a empresa, para as máquinas que têm acesso aos seus documentos. Para montar a lista, pergunte quais assistentes de programação com IA e ferramentas online os engenheiros dela usam todos os dias. Para cada uma, pergunte se ela envia a um provedor externo o código que vê ou o texto colado nela.
Se o time quiser um assistente de programação com IA, conecte-o a um modelo dentro do seu perímetro, ou seja, da rede e dos sistemas que a sua empresa controla. Caso contrário, instale-o só em máquinas que nunca acessam documentos. A lista entra no contrato, e incluir uma ferramenta exige a sua aprovação.
Para dados pessoais da UE, o artigo 28 do GDPR lista o que o contrato precisa conter. Entre outras coisas, a empresa só age conforme as suas instruções documentadas, e todos que têm acesso precisam manter os dados em sigilo. A empresa adota as medidas de segurança exigidas pelo artigo 32, permite as suas auditorias e não recorre a nenhum outro processador sem a sua autorização prévia por escrito. Quando o serviço termina, a empresa exclui ou devolve os dados, à sua escolha, e exclui as cópias existentes, a menos que a legislação da UE ou de um Estado-membro exija que ela as mantenha.
Projetos como este precisam de algumas cláusulas a mais:
Isto não é assessoria jurídica, e quem redige as cláusulas para a sua jurisdição é o seu advogado.
O acesso deve terminar no mesmo dia em que o trabalho termina. O NIST, a agência de padrões dos Estados Unidos, trata do pessoal externo, incluindo empresas que desenvolvem sistemas, no controle PS-7 do seu catálogo de segurança, o SP 800-53. O controle pede que você exija da empresa um aviso, dentro de um prazo que você define, sempre que alguém com logins ou direitos de acesso concedidos por você passar para outro trabalho ou sair.
No último dia, o seu time desativa as contas e os desktops virtuais e recolhe os notebooks gerenciados, se houver. No mesmo dia, troque todas as senhas e chaves que os engenheiros externos conheciam e obtenha da empresa uma confirmação por escrito de quais cópias ela excluiu e de que não restou nenhuma. Siga os mesmos passos quando um engenheiro sair de um projeto que continua.
Peça respostas por escrito a cada empresa da sua lista curta e compare-as lado a lado:
O único projeto com modelo de linguagem que a amBrain descreve publicamente é este: “Levamos à produção uma integração de LLM dentro do perímetro de FinTech de um cliente: extração e normalização de avisos não estruturados de corretoras e de venues — eventos corporativos, alterações de instrumentos e de margem — em registros estruturados que o sistema de trading consome.”
Este artigo não é um estudo de caso. O cliente não é nomeado. O artigo não afirma que os engenheiros da amBrain trabalharam dentro dos sistemas desse cliente nem que o projeto usou qualquer uma das configurações acima. Ele não traz preços nem prazos.
A amBrain constrói software desde 2019. Sobre propriedade, a frase da amBrain é: “O cliente mantém a propriedade integral do produto e do código, exceto dos nossos componentes reutilizáveis.” Peça à amBrain a lista desses componentes, nome por nome, antes de assinar, como você pediria a qualquer outra empresa.
Antes de trazer um time externo para um sistema de IA que trabalha com documentos restritos, faça as perguntas acima a todas as empresas da sua lista.
Traga sua arquitetura atual e o modo de falha que preocupa você, e vamos analisá-lo juntos em meia hora.