Un estudio muestra que generadores de imágenes de Inteligencia Artificial se entrenan con fotografías explícitas de niños

Por | Associated Press

Ocultas dentro de los modelos base de populares generadores de imágenes de inteligencia artificial hay miles de imágenes de abuso sexual infantil, según un nuevo informe que insta a las empresas a tomar medidas para atender una falla dañina en la tecnología que construyeron.

Esas mismas imágenes han facilitado que los sistemas de inteligencia artificial (IA) produzcan imágenes realistas y explícitas de niños falsos, y también que transformen fotos tomadas de redes sociales de adolescentes reales y completamente vestidos en desnudos, para alarma de escuelas y departamentos policiales en todo el mundo.

Hasta hace poco, los investigadores antiabuso pensaban que la única forma en que algunas herramientas de inteligencia artificial no verificadas producían imágenes de abuso infantil era esencialmente combinando lo que habían aprendido de dos grupos separados de imágenes en línea: pornografía de adultos y fotografías inocentes de niños.

Pero el Observatorio de Internet de Stanford encontró más de 3,200 imágenes de presuntos abusos sexuales infantiles en la gigantesca base de datos de inteligencia artificial LAION, un índice de imágenes con pie de foto en línea que se ha utilizado para entrenar a los principales generadores de imágenes de IA, como Stable Diffusion. El grupo de vigilancia con sede en la Universidad de Stanford trabajó con el Centro Canadiense para la Protección Infantil y otras organizaciones de beneficencia contra el abuso para identificar el material ilegal y reportar los enlaces originales de las fotografías a las autoridades policiales. Dijo que aproximadamente 1,000 de las imágenes que halló habían sido validadas en forma externa.

La respuesta fue inmediata. El miércoles, en vísperas de la publicación del informe del Observatorio de Internet de Stanford, LAION anunció a The Associated Press que retiraría temporalmente sus conjuntos de datos.

LAION, siglas en inglés de la organización sin fines de lucro Red Abierta de Inteligencia Artificial a Gran Escala, dijo en un comunicado que “tiene una política de tolerancia cero para el contenido ilegal, y que, por precaución extrema, hemos retirado los conjuntos de datos de LAION para garantizar que sean seguros antes de volver a publicarlos”.

Si bien las imágenes representan sólo una fracción del índice de LAION de unas 5,800 millones de imágenes, el grupo de Stanford dice que probablemente influya en la capacidad de las herramientas de IA para generar resultados dañinos y reforzar el abuso previo de víctimas reales que aparecen muchas veces.

No es un problema fácil de resolver, y se remonta a que muchos proyectos de IA generativa fueron “lanzados apresuradamente al mercado” y los hicieron ampliamente accesibles porque el campo es muy competitivo, dijo David Thiel, director general de tecnología del Observatorio de Internet de Stanford y autor del informe.

“El recolectar información de todo internet y usar ese conjunto de datos para entrenar modelos es algo que debería haber quedado confinado a una operación de investigación, si acaso, y no es algo que debería haber sido de código abierto sin una atención mucho más rigurosa”, agregó Thiel en una entrevista.

Una de las principales usuarias de LAION que ayudó a dar forma al desarrollo del conjunto de datos es la startup Stability AI, con sede en Londres, que desarrolló los modelos generativos de texto a imagen de Stable Diffusion. Las nuevas versiones de Stable Diffusion hacen más difícil crear contenido nocivo, pero una versión anterior introducida el año pasado —que Stability AI dice que no lanzó al público— todavía está integrada en otras aplicaciones y herramientas, y es aún “el modelo más popular para generar contenido explícito”, según el informe de Stanford.

“No podemos retirarlo. Ese modelo está en manos de muchas personas en sus computadoras locales”, dijo Lloyd Richardson, director de tecnología de la información del Centro Canadiense para la Protección Infantil, que gestiona la línea telefónica directa de Canadá para denunciar la explotación sexual en línea.

Stability AI dijo el miércoles que en sus servidores sólo hay versiones filtradas de Stable Diffusion y que “desde que asumimos el desarrollo exclusivo de Stable Diffusion, Stability AI ha tomado medidas proactivas para mitigar el riesgo del uso indebido”.

“Esos filtros eliminan el contenido inseguro e impiden que llegue a los modelos”, refirió la empresa en una declaración preparada. “Al retirar ese contenido antes de que llegue al modelo, podemos ayudar a evitar que el modelo genere contenido inseguro”.

LAION fue creada por Christoph Schuhmann, investigador y profesor alemán, quien dijo a la AP este año que parte de la razón de hacer pública una base de datos visual tan grande era garantizar que el futuro del desarrollo de la IA no fuera controlado por un puñado de empresas poderosas.

“Será mucho más seguro y mucho más justo si podemos democratizarlo para que toda la comunidad de investigación y todo el público en general se pueda beneficiar de eso”, agregó.

Gran parte de los datos de LAION provienen de otra fuente: Common Crawl, un depósito de datos constantemente recopilados del internet abierto, pero Rich Skrenta, director ejecutivo de Common Crawl, dijo que “correspondía” a LAION escanear y filtrar lo que tomaba antes de hacer uso de ello.

LAION informó esta semana que desarrolló “filtros rigurosos” para detectar y eliminar contenido ilegal antes de publicar sus conjuntos de datos y que todavía trabaja para mejorar esos filtros. El informe de Stanford reconoció que los desarrolladores de LAION hicieron algunos intentos para filtrar contenido explícito de “menores de edad”, pero que podrían haber hecho un mejor trabajo si hubieran consultado antes con expertos en seguridad infantil.

Muchos generadores de texto a imagen se derivan de alguna manera de la base de datos LAION, aunque no siempre es claro cuáles son. OpenAI, desarrollador de DALL-E y ChatGPT, dijo que no utiliza LAION y que ha hecho ajustes a sus modelos para rechazar solicitudes de contenido sexual que involucre a menores.

Google creó Imagen —su modelo de texto a imagen— con base en un conjunto de datos de LAION, pero decidió no hacerlo público en 2022 luego de que una auditoría de la base de datos “descubrió una amplia gama de contenido inapropiado, incluidas imágenes pornográficas, insultos racistas y estereotipos sociales dañinos”.

Intentar eliminar los datos retroactivamente es difícil, por lo que el Observatorio de Internet de Stanford pide medidas más drásticas. Una es que cualquiera que haya construido conjuntos de entrenamiento a partir de LAION-5B —llamado así por los más de 5,000 millones de pares imagen-texto que contiene— “los elimine o trabaje con intermediarios para limpiar el material”. Otra es hacer que una versión anterior de Stable Diffusion desaparezca de todos lados, excepto los rincones más oscuros de internet.

“Las plataformas legítimas pueden dejar de ofrecer versiones de él para descargar”, especialmente si son utilizadas con frecuencia para generar imágenes de abuso y no tienen medidas de seguridad para bloquearlas, dijo Thiel.

Como ejemplo, Thiel mencionó a CivitAI, una plataforma preferida por las personas que crean pornografía generada por IA, pero que, explica, carece de medidas de seguridad para compararla con la creación de imágenes de niños. El informe también pide a la empresa de IA Hugging Face, que distribuye datos de entrenamiento para los modelos, que implemente mejores métodos para reportar y eliminar enlaces a material de abuso.

Hugging Face dijo que trabaja periódicamente con reguladores y grupos de seguridad infantil para identificar y eliminar material abusivo. Mientras tanto, CivitAI dijo que cuenta con “políticas estrictas” con respecto a la generación de imágenes que muestran a niños, y ha desplegado actualizaciones para proporcionar más salvaguardas. La compañía indicó también que está trabajando para asegurarse de que sus políticas se “adapten y crezcan” a medida que la tecnología evoluciona.

El informe de Stanford también cuestiona si cualesquiera fotografías de niños —incluidas las más benignas e inocentes— deberían ser introducidas en los sistemas de IA sin el consentimiento de sus familias dados los resguardos que ordena la ley federal de Protección de la Privacidad Infantil en Línea.

Rebecca Portnoff, directora de ciencia de datos de Thorn, una organización que desarrolla productos contra el abuso sexual infantil, dijo que su organismo ha realizado investigaciones que muestran que la prevalencia de imágenes generadas por IA entre los abusadores es pequeña, pero que crece constantemente.

Los desarrolladores pueden mitigar estos daños si se aseguran de que los conjuntos de datos que utilizan para desarrollar modelos de IA están libres de material de abuso. Portnoff dijo que también hay oportunidades para mitigar los usos nocivos en el futuro, cuando los modelos ya están en circulación.

Actualmente, las empresas de tecnología y los grupos de seguridad infantil asignan a los videos e imágenes un “hash” —una firma digital única— para rastrear y eliminar material de abuso infantil. Según Portnoff, el mismo concepto se puede aplicar a los modelos de IA de los que se hace mal uso.

“Eso no está sucediendo actualmente”, dijo. “Pero es algo que, en mi opinión, puede y debe hacerse”.

Notas Relacionadas

• Adobe explora la colaboración con OpenAI y añade herramientas de video con IA
• ¿Qué es la Inteligencia Artificial Generativa y cómo impacta en las empresas?
• Meta revisa las normas sobre ultrafalsos y otras publicaciones alteradas
• Líder en el Senado propone una ley para regular la Inteligencia Artificial en México
• 'Deepfakes' de famosos y políticos: un nuevo anzuelo de las estafas financieras en línea

Ver más notas relacionadas