amBrain
FinTechOct 12, 20269 min de lectura

Externalizar el desarrollo de IA sin que tus datos salgan de la empresa: cómo trabaja un equipo externo dentro de tus sistemas

Externalizar la IAPerímetro de datosSectores reguladosQuién la construye
Error al cargar la imagen

Una empresa externa puede construir tu sistema de IA mientras tus documentos se quedan en tus servidores. Sus ingenieros trabajan con cuentas y máquinas que controlas tú.

Una empresa externa puede construir y operar un sistema de IA que trabaje con documentos que no pueden salir de tu empresa. Los documentos se quedan en tus servidores, y los ingenieros externos acceden a ellos con cuentas que creas tú y que puedes desactivar, desde máquinas que controlas. Construyen sobre documentos de muestra que ha aprobado tu equipo y trabajan con documentos reales solo en tus servidores. Para encontrar una empresa que sepa trabajar así, pregunta cómo accedieron sus ingenieros a los documentos de un cliente anterior y qué borró la empresa al final.

La respuesta corta: da a cada ingeniero externo una cuenta a su nombre y una máquina de trabajo que controle tu empresa, desde la que no se puedan copiar archivos hacia fuera. Acuerda por escrito quién tiene acceso, desde qué país y con qué herramientas, y qué pasa con cada copia al final. Comprueba antes del primer día que ningún archivo puede salir y, el último día de cada persona, que ya no tiene acceso.

¿Puede una empresa externa construir nuestro sistema de IA si nuestros datos no pueden salir de la empresa?

Sí. Dónde se ejecuta el modelo de lenguaje es una decisión aparte, que trata el artículo sobre el perímetro cerrado, enlazado arriba. Este artículo trata de las personas que construyen el sistema y de lo que pueden ver y copiar. Un modelo en tus propios servidores protege poco si un ingeniero guarda una carpeta de documentos reales en un portátil para probar un prompt (las instrucciones que sigue el modelo).

¿Cuenta como salida de datos que un ingeniero solo lea nuestros documentos?

Según la normativa de protección de datos de la UE, incluso leer datos personales cuenta como tratamiento. El artículo 4(2) del RGPD define el tratamiento como cualquier operación realizada sobre datos personales, y su lista incluye la «consulta», es decir, mirar los datos. Una empresa cuyos ingenieros necesitan ese acceso para hacer el trabajo suele ser tu encargado del tratamiento, el término del RGPD para una empresa que trata datos personales por cuenta tuya. El artículo 28 exige un contrato u otro acto jurídico vinculante con el encargado del tratamiento.

Si la empresa tiene su sede fuera del Espacio Económico Europeo, su acceso remoto es una transferencia internacional de los datos, aunque los datos solo aparezcan en una pantalla. Así lo indica el Comité Europeo de Protección de Datos, que reúne a las autoridades de protección de datos de la UE, en sus Directrices 05/2021.

Una transferencia necesita un fundamento jurídico previsto en el capítulo V del RGPD. Uno es una decisión de adecuación, por la que la Comisión Europea determina que el país de la empresa protege los datos personales de forma suficiente. Otro son las cláusulas contractuales tipo, un texto contractual ya redactado que la Comisión adoptó el 4 de junio de 2021. Antes de apoyarse en ellas, las partes evalúan la legislación del país de la empresa, como describen las Recomendaciones 01/2020 del Comité.

En Estados Unidos, la Safeguards Rule (norma de salvaguardas) de la Comisión Federal de Comercio (FTC) se aplica a las entidades financieras que supervisa la FTC, como los prestamistas hipotecarios y las empresas de préstamos rápidos. Deben tomar medidas razonables para elegir proveedores de servicios capaces de proteger la información de los clientes, exigir esas protecciones por contrato y revisar a los proveedores periódicamente. También deben usar autenticación multifactor para «cualquier persona que acceda a cualquier sistema de información», salvo que su responsable de seguridad apruebe por escrito controles razonablemente equivalentes o más seguros. Antes de que nadie de fuera obtenga acceso, pregunta a tu asesor jurídico cuáles de estas normas se te aplican.

¿Cómo obtienen acceso los ingenieros externos sin sacar los datos?

Dales acceso igual que se lo das a tu personal, con límites más estrictos:

  • Una cuenta a nombre de cada persona, creada en tus propios sistemas y con autenticación multifactor. Con una cuenta compartida, los logs no pueden mostrar qué persona abrió qué documento
  • Un único lugar de trabajo: un escritorio virtual, un ordenador en tus servidores que el ingeniero solo ve como una pantalla. También sirve un portátil gestionado por tu empresa si solo abre documentos a través de ese escritorio. Bloquea la copia de archivos y de texto a otros dispositivos
  • Acceso por rol, con los documentos reales detrás de una aprobación aparte con fecha de caducidad
  • Acceso a internet desde las máquinas de trabajo limitado a lo que necesita el trabajo, para que no se pueda pegar un documento en una web pública ni en una herramienta de chat online
  • Logs de inicio de sesión y de acceso a archivos en manos de tu equipo de seguridad, donde la empresa externa no pueda modificarlos

Antes de que empiece el primer ingeniero, pide a alguien de tu lado que intente sacar un documento de la máquina de trabajo por todas las vías que se le ocurran. Cierra cada vía que funcione y repite la prueba después de cada cambio en la configuración.

¿Sobre qué construyen los ingenieros externos antes de ver documentos reales?

Buena parte del trabajo no necesita documentos reales. La mayor parte del código, desde la lectura de los archivos entrantes hasta la pantalla en la que los revisores comprueban las respuestas, puede construirse sobre muestras aprobadas. Sirven como buenas muestras los documentos publicados del mismo tipo y los ficticios generados en tus servidores a partir de tus propias plantillas.

Los documentos reales hacen falta para dos tareas. Una es el conjunto de aceptación: documentos reales etiquetados con las respuestas correctas, con los que se puntúa el sistema antes de cada release. La otra es ajustar el sistema en los casos que las muestras no cubren. Las dos se hacen en tus servidores, a cargo de personas autorizadas a ver documentos reales.

Quitar los nombres no siempre hace anónimo un documento, porque un número de cuenta, o una fecha y un importe, pueden seguir apuntando a una persona concreta. El considerando 26 del RGPD dice que los datos seudonimizados, en los que los nombres se sustituyen pero hay información adicional que aún podría vincularlos a una persona, cuentan como datos personales. Así que guarda esas muestras en tus servidores hasta que tu delegado de protección de datos confirme que son anónimas.

¿Dónde acaban las copias de nuestros documentos durante un proyecto?

Un sistema en funcionamiento hace sus propias copias, en los logs y en el índice de búsqueda, y el artículo sobre los pilotos de IA, enlazado arriba, las enumera. Las copias que hacen las personas mientras construyen el sistema se pasan por alto con más facilidad:

  • Una muestra guardada en el portátil de un ingeniero para probar un prompt sin conexión
  • Capturas de pantalla y fragmentos pegados en el gestor de tareas, el chat o el correo de la empresa externa, que se quedan en sus sistemas y en sus copias de seguridad
  • Texto pegado en un asistente de programación con IA o en una herramienta de chat, que puede enviarlo al proveedor de la herramienta
  • Una copia de prueba del sistema en la cuenta en la nube de la propia empresa externa, cargada con tus datos para ganar tiempo
  • Una exportación preparada para una demo ante tus directivos y reenviada después

Trata el índice de búsqueda igual que los documentos. Guarda cada fragmento como un embedding, una lista de números que recoge su significado, y muchas configuraciones guardan el texto del fragmento a su lado. La investigación muestra que el texto puede reconstruirse solo a partir de los números.

En la conferencia EMNLP de 2023, Morris y sus colegas reconstruyeron exactamente el 92% de los fragmentos de 32 tokens (un token es una palabra o una parte de ella). Partieron de embeddings generados por un modelo abierto y podían consultar ese modelo una y otra vez. La recuperación exacta fue menor con un modelo comercial y con fragmentos más largos. El mismo método recuperó el 89% de los nombres completos de un conjunto de notas clínicas.

Deja por escrito que tus documentos y todo lo que se genere a partir de ellos, como el índice de búsqueda o el conjunto de aceptación, se quedan en tus sistemas.

¿Qué herramientas pueden usar los ingenieros externos?

Solo las de una lista breve que acuerdes con la empresa para las máquinas que pueden acceder a tus documentos. Para elaborarla, pregunta qué asistentes de programación con IA y qué herramientas online usan a diario sus ingenieros. De cada una, pregunta si envía a un proveedor externo el código que ve o el texto que se pega en ella.

Si el equipo quiere un asistente de programación con IA, conéctalo a un modelo dentro de tu perímetro, es decir, de la red y los sistemas que controla tu empresa. Si no, instálalo solo en máquinas que nunca vean documentos. La lista va en el contrato, y añadir una herramienta requiere tu aprobación.

¿Qué debe decir el contrato con la empresa?

Para datos personales de la UE, el artículo 28 del RGPD enumera lo que debe contener el contrato. Entre otras cosas, la empresa actúa solo siguiendo tus instrucciones documentadas, y todas las personas con acceso deben mantener la confidencialidad de los datos. La empresa aplica las medidas de seguridad que exige el artículo 32, permite tus auditorías y no recurre a otro encargado del tratamiento sin tu autorización previa por escrito. Cuando termina el servicio, la empresa suprime o devuelve los datos, a tu elección, y suprime las copias existentes, salvo que la normativa de la UE o de un Estado miembro le exija conservarlas.

Los proyectos de este tipo necesitan además algunas cláusulas:

  • El nombre y el rol de cada persona con acceso, y el país desde el que trabaja cada una
  • Aviso, en el plazo que fijes, cada vez que alguien se incorpore al proyecto o lo deje
  • Ningún subcontratista sin tu consentimiento por escrito, ni siquiera para documentos que no contengan datos personales
  • Una confirmación firmada al final de que no queda ninguna copia, que abarque portátiles, cuentas y copias de seguridad

Esto no es asesoramiento jurídico, y las cláusulas para tu jurisdicción las redacta tu asesor jurídico.

¿Qué pasa cuando alguien deja el proyecto o el proyecto termina?

El acceso debe terminar el mismo día que el trabajo. El NIST, la agencia de normalización de Estados Unidos, se ocupa del personal externo, incluidas las empresas que desarrollan sistemas, en el control PS-7 de su catálogo de seguridad, el SP 800-53. Ese control pide que obligues a la empresa a avisar, en el plazo que fijes, cuando alguien que tenga credenciales o derechos de acceso a tus sistemas pase a otro trabajo o se vaya.

El último día, tu equipo desactiva las cuentas y los escritorios virtuales y recoge los portátiles gestionados. Ese mismo día, cambia las contraseñas y claves que conocían los ingenieros externos, y consigue que la empresa confirme por escrito qué copias ha borrado y que no queda ninguna. Sigue los mismos pasos cuando un ingeniero deja un proyecto que continúa.

¿Cómo comprobamos a una empresa antes de darle acceso?

Pide respuestas por escrito a cada empresa de tu lista corta y compáralas una al lado de otra:

  • Describan cómo accedieron sus ingenieros a los documentos de un cliente en un proyecto anterior con normas parecidas, sin nombrar al cliente
  • Indiquen quién tendría acceso en nuestro proyecto, dónde trabaja cada persona y si son empleados o subcontratistas
  • Indiquen sobre qué construirán antes de ver documentos reales y quién aprueba las muestras
  • Muéstrennos una confirmación de borrado que hayan firmado al final de un proyecto anterior, sin los datos del cliente

¿Cuáles son las señales de alarma en el plan o el contrato de una empresa?

  • La empresa pide una exportación de tus datos a su propia nube «para empezar más rápido»
  • Los ingenieros compartirían una misma cuenta, o la empresa no sabe decir quién tendrá acceso
  • El plan prevé que los ingenieros prueben prompts con documentos reales en los portátiles de la propia empresa externa
  • El contrato no dice nada sobre los subcontratistas, o sobre las copias al final

¿Dónde encaja amBrain?

El único proyecto con modelos de lenguaje que amBrain describe en público es este: «Hemos llevado a producción una integración de LLM dentro del perímetro FinTech de un cliente: extracción y normalización de avisos no estructurados de brókers y de centros de negociación —eventos corporativos, cambios de instrumentos y de márgenes— en registros estructurados que consume el sistema de trading».

Este artículo no es un caso de estudio. No se nombra al cliente. El artículo no afirma que los ingenieros de amBrain trabajaran dentro de los sistemas de ese cliente ni que el proyecto usara ninguna de las configuraciones descritas arriba. No da precios ni plazos.

amBrain desarrolla software desde 2019. Sobre la propiedad, la frase de amBrain es: «El cliente conserva la propiedad completa del producto y del código, salvo nuestros componentes reutilizables». Pide a amBrain la lista de esos componentes nombre por nombre antes de firmar, como se la pedirías a cualquier otra empresa.

Antes de traer a un equipo externo para un sistema de IA que trabaje con documentos restringidos, plantea las preguntas de arriba a todas las empresas de tu lista.

Preguntas frecuentes

  • ¿Pueden los ingenieros externos trabajar desde su propia oficina? Sí, si acceden a tus sistemas solo a través del escritorio virtual o del portátil gestionado y no guardan nada en sus propios ordenadores. Si la empresa tiene su sede fuera del Espacio Económico Europeo, ese acceso es una transferencia según las normas de la UE, como se explica arriba
  • ¿Esta configuración añade trabajo antes de que empiece el proyecto? Sí. Las cuentas, las máquinas de trabajo y las aprobaciones tienen que estar listas antes de que empiece el primer ingeniero, así que pregunta pronto a la empresa qué necesita de tu equipo de TI
  • ¿Basta con un acuerdo de confidencialidad (NDA)? No. Un NDA típico cubre el secreto, y muchos exigen además devolver o destruir los documentos al final, aunque algunos permiten que la empresa los conserve en sus copias de seguridad. No prevé cuentas a nombre de cada persona, máquinas de trabajo ni reglas para los subcontratistas. Para datos personales de la UE, el artículo 28 exige además cláusulas que un NDA no suele incluir

¿Tiene un diseño así sobre la mesa?

Traiga su arquitectura actual y el modo de fallo que le preocupa, y lo repasaremos juntos en media hora.