Recientes investigaciones han revelado que varios chatbots de inteligencia artificial, diseñados para mantener conversaciones de fantasía y roles sexuales, están filtrando mensajes de los usuarios a la web casi en tiempo real. Esta situación pone al descubierto preocupantes detalles sobre el uso de estos sistemas, incluyendo conversaciones que describen abusos sexuales infantiles.

Los chatbots generativos de IA permiten interacciones casi instantáneas: el usuario introduce un mensaje y el sistema responde rápidamente. Sin embargo, si estos sistemas no están configurados adecuadamente, pueden exponer estas conversaciones al público. En marzo, investigadores de la firma de seguridad UpGuard descubrieron alrededor de 400 sistemas de IA expuestos mientras escaneaban la web en busca de configuraciones incorrectas. De estos, 117 direcciones IP estaban filtrando mensajes. La mayoría parecían ser configuraciones de prueba, mientras que otras contenían mensajes genéricos relacionados con cuestionarios educativos o información no sensible, según Greg Pollock, director de investigación e insights de UpGuard. «Algunos destacaban por ser muy diferentes de los demás», comenta Pollock.

Entre estos, tres sistemas estaban ejecutando escenarios de roles donde los usuarios podían interactuar con una variedad de «personajes» de IA predefinidos. Por ejemplo, un personaje llamado Neva es descrito como una mujer de 21 años que vive en un dormitorio universitario con otras tres mujeres y es «tímida y a menudo parece triste». Dos de estos escenarios de roles eran abiertamente sexuales. «Básicamente, se están utilizando para algún tipo de juego de roles sexualmente explícito», explica Pollock sobre los mensajes expuestos. «Algunos escenarios involucran sexo con niños».

Durante un periodo de 24 horas, UpGuard recolectó mensajes expuestos por estos sistemas de IA para analizar los datos e intentar identificar la fuente de la fuga. Pollock menciona que la empresa recopiló nuevos datos cada minuto, acumulando alrededor de 1,000 mensajes filtrados, incluyendo aquellos en inglés, ruso, francés, alemán y español.

No fue posible identificar qué sitios web o servicios están filtrando los datos, añade Pollock, sugiriendo que probablemente provienen de pequeñas instancias de modelos de IA utilizados, posiblemente por individuos en lugar de empresas. No se incluyeron nombres de usuario ni información personal de las personas que enviaron los mensajes, asegura Pollock.

De los 952 mensajes recopilados por UpGuard—probablemente solo una muestra de cómo se están utilizando los modelos—había 108 narrativas o escenarios de roles, según la investigación de UpGuard. Cinco de estos escenarios involucraban a niños, añade Pollock, incluyendo aquellos tan jóvenes como de 7 años.

«Los modelos de lenguaje están siendo utilizados para producir en masa y luego reducir la barrera de entrada para interactuar con fantasías de abuso sexual infantil», dice Pollock. «Claramente, no hay absolutamente ninguna regulación al respecto, y parece haber una gran discrepancia entre la realidad de cómo se está utilizando activamente esta tecnología y lo que la regulación debería abordar».

La semana pasada, WIRED informó que un generador de imágenes con sede en Corea del Sur estaba siendo utilizado para crear material de abuso infantil generado por IA y expuso miles de imágenes en una base de datos abierta. La empresa detrás del sitio web cerró el generador después de ser contactada por WIRED. Grupos de protección infantil en todo el mundo afirman que el material de abuso sexual infantil generado por IA, que es ilegal en muchos países, está creciendo rápidamente y dificultando su trabajo. La organización benéfica contra el abuso infantil del Reino Unido también ha pedido nuevas leyes contra los chatbots generativos de IA que «simulan el delito de comunicación sexual con un niño».