La alarma se volvió a encender cuando se viralizaron imágenes de chicas de segundo año de dos colegios bonaerenses que aparecían desnudas y que se vendían en las redes. La investigación confirmó que habían sido sus compañeros - chicos de entre 13 y 14 años- los que habían modificado esas imágenes con Inteligencia Artificial para luego venderlas a $1.000.
Alfabetización digital
Crear desnudos con Inteligencia Artificial no es delito: el proyecto que lo condena duerme en el Congreso
El proyecto de Anabel Fernández Sagasti (PJ) que condena la creación de desnudos con inteligencia artificial lleva 5 meses sin ser discutido en el Congreso
Hoy en Argentina no está penado el hecho de generar desnudos con IA. El proyecto de Anabel Fernández Sagasti que lo castiga con cárcel duerme en el Congreso.
El caso parece lejano pero no lo es. En abril pasó algo similar en una escuela de Lavalle y hay más hechos que llegaron a la Justicia mendocina. Y aunque suene impensable esa conducta todavía no está penalizada en nuestro país.
Hace casi 5 meses la senadora nacional por Mendoza, Anabel Fernández Sagasti (PJ), presentó un proyecto para modificar el Código Penal y castigar con penas que van de los 3 a los 6 años de cárcel a quienes generen esas "deepfakes". Pero esa iniciativa duerme cómodamente en un cajón del Congreso de la Nación.
Ni siquiera se discutió aún en la Comisión de Justicia y Asuntos penales en donde cayó, por lo que no tiene chances de llegar al recinto en el corto plazo.
Al parecer la iniciativa no figura entre las prioridades que se fijó el Congreso para discutir en las próximas sesiones. Antes que eso aparece por ejemplo la reforma electoral del oficialismo que persigue la eliminación de las PASO y la instalación de las colectoras, con el objetivo de buscar la reelección de Javier Milei en el 2027. Además esa cámara entra en receso invernal el 21 de julio, por lo que habrá que seguir esperando y en el medio contabilizando más hechos impunes.
Tampoco hay en Mendoza un protocolo puntual para atacar esas situaciones. Tras el caso que se conoció de Lavalle, la DGE sí difundió un paso a paso para borrar las imágenes de internet. Concretamente para solicitar la eliminación de fotos o videos íntimos difundidos sin consentimiento.
Ante la consulta de Diario UNO confirmaron que a los protocolos de situaciones emergentes -que se crearon tras la ola de amenazas de tiroteos en las escuelas-, la Dirección de Acompañamiento Escolar de la DGE sumó las recomendaciones generales de la guía llamada EMA, que brinda recomendaciones a las escuelas para el abordaje de este tipo de casos.
Esa guía se llama así para recordar el doloroso caso de Ema Bondaruk, una adolescente de 16 años de la provincia de Buenos Aires que en agosto de 2024 se quitó la vida tras sufrir la difusión no consentida de material íntimo por parte de un compañero de escuela.
No hay penalización para las falsas imágenes, ni intención de tratarlo
El proyecto de Fernández Sagasti ingresó en la Cámara de Senadores el 16 de marzo y ni siquiera se ha discutido en comisiones.
Allí la senadora plantea incorporar al Código Penal el artículo 128 bis, en el que se prevé reprimir con prisión de entre 3 y 6 años a quien "mediante el uso de sistemas de Inteligencia Artificial, modelos de aprendizaje profundo o cualquier tecnología de generación sintética, creare, generare o modificare representaciones visuales, sonoras o audiovisuales de contenido sexual explícito que involucren a personas reales, generadas mediante suplantación, alteración o síntesis digital sin su consentimiento".
Y eleva un tercio la mínima pena cuando esas representaciones sean de personas que "por sus rasgos fisonómicos, características biotipológicas o contexto de la representación, aparente ser un menor de 18 años; o representaciones que, sin corresponder a una persona física identificable, exhiban una apariencia infantil".
"Lo que planteamos es sancionar desde el prompteo (el pedido a la IA para generar la imagen falsa) hasta la tenencia, la distribución y la venta de esas imágenes. Cuando gestamos el proyecto nos reunimos con varios fiscales mendocinos que nos hicieron aportes y nos agradecían que avanzáramos porque les habían llegado varios casos y no sabían cómo actuar porque no están penados en el Código Penal", contó Sagasti.
La senadora explicó que si esa modificación del Código Penal avanzara, los jueces podrían sancionar incluso a los mayores de 14 años, en pos del cambio en la imputabilidad de menores que ya está vigente y remarcó que en la actualidad se están aplicando "sentencias creativas" a la hora de sancionar los casos que llegan de publicación de falsas imágenes modificadas con IA y que muy poco se hace para contener a las víctimas de esas difamaciones, que en su gran mayoría son adolescentes, quienes terminan con problemas de salud mental.
No pasó ni un mes de que ese proyecto ingresó al Senado, cuando se conoció el caso que sacudió Lavalle. A principios de abril la comunidad educativa del Instituto Nuestra Señora del Rosario, quedó atravesada por la difusión de imágenes de chicas de quinto año "sin ropa" que habían sido creadas con Inteligencia Artificial, y circulaban en redes.
Como contó Diario UNO en ese momento, todo salió a la luz a partir de una juntada de alumnos que iban a hacer un trabajo grupal. Se reunieron en la casa de uno de ellos y, al volver a su hogar, una joven abrió su computadora y encontró un chat de otro chico que había quedado abierto en esa máquina.
Ahí llegó el primer impacto: por ese canal circulaban imágenes de alumnas de quinto año manipuladas con IA para hacerlas aparecer desnudas.
La situación escaló a tal nivel en esa pequeña comunidad que tanto la institución como los padres de las afectadas acudieron a la Justicia y por eso hay un expediente penal en marcha. La fiscalía que actuó ordenó allanamientos y secuestro de dispositivos.
"Fue espantoso el dolor que generó lo que pasó. La escuela sancionó lo que se pudo probar, pero eso no termina ahí, esta es una comunidad muy pequeña en la que todos nos conocemos y esas chicas que habían sido difamadas salían de sus casas y se encontraban con los agresores en un negocio. El daño psicológico para ellas es impensable", confió un integrante de la comunidad escolar que pidió reservas.
Luego de que se viralizaran las imágenes, a la actuación del colegio se sumó el seguimiento que hizo la Dirección de Acompañamiento Escolar, de la DGE, y desde allí se comprometieron en avanzar en un protocolo que ataque puntualmente estos casos, algo que todavía no se concreta.
¿Alcanza con borrar las imágenes modificadas con IA?
Luego del caso ocurrido en Lavalle, la DGE difundió una herramienta para borrar de internet esas imágenes modificadas con Inteligencia Artificial en las que -en su mayoría- aparecían menores de edad desnudas.
Se trata de una herramienta internacional del National Center for Missing & Exploited Children (NCMEC), que funciona de manera confidencial y busca frenar la viralización de este tipo de contenidos en plataformas digitales.
Allí se detallaba:
- El primer paso es descargar en el dispositivo la imagen o el video que se desea localizar y eliminar de internet.
- Luego, se debe ingresar al sitio oficial del programa Take It Down, donde se inicia el trámite.
- Una vez dentro de la plataforma, hay que abrir un “caso” y subir el archivo. El sistema genera una huella digital única del contenido, que se comparte con plataformas participantes como Instagram, Facebook y TikTok, entre otras.
- Desde la organización remarcan que el proceso es confidencial y que el material no se almacena ni se publica: permanece en el dispositivo del usuario.
- A partir de esa huella digital, el organismo puede avanzar en la detección, el bloqueo y la posible eliminación de la imagen en las plataformas adheridas. En caso de que haya resultados, se notifica al solicitante.
Sin embargo, es claro que lo que urge es prevenir estos casos y avanzar en la "alfabetización digital" de nuestros adolescentes, de manera tal de que tengan la capacidad de acceder, gestionar, comprender, integrar, comunicar, evaluar y crear informaciones mediante la utilización segura y pertinente de las tecnologías digitales.
"Uno de los grandes problemas que tenemos es que para modificar una imagen con IA no hace falta ser experto, cualquiera lo puede hacer y eso se muestra en la cantidad de casos que tenemos. A nosotros nos llegó un caso de Godoy Cruz en la que sólo se avanzó con borrar las imágenes de internet, con lo que claramente no alcanza. Además queremos hacer responsables a las plataformas de que sean ellas quienes bajen esas imágenes, porque la gestión personal de eso puede demorar meses y las imágenes siguen circulando", explicó Fernández Sagasti.
La senadora recordó el caso de un adolescente de Córdoba que llegó a juicio por haber modificado con IA imágenes de compañeras que sacó de las redes sociales, a las cuales las desnudó y las publicó en redes de pornografía con sus nombres y apellidos y con enlaces a los perfiles de Instragram de las víctimas.
El joven fue imputado de lesiones graves calificadas en razón de mediar violencia de género porque la Justicia entendió que el daño psicológico que padecieron las víctimas se considera una lesión del Código Penal, “aún sin daño físico concomitante”.
Esas jóvenes, a las que les llovieron solicitudes de pedófilos y consumidores de pornografía, sufrieron trastornos de ansiedad persistentes, estrés postraumático, trastornos adaptativos y aislamiento social.
