Hecho ocurrido en Colegio Saint George donde alumnos crearon imágenes falsas de sus compañeras desnudas, abre el debate de los límites que deben existir sobre para qué nos permitimos usar inteligencia artificial. Académica de la USM, Dra. Claudia López, dice que es fundamental regular de manera efectiva la materia y así proteger a quienes se vean afectados en estos temas.
La facilidad en el acceso a sistemas de inteligencia artificial que permiten la generación de deepfake porn, término en inglés que se utiliza cuando existen imágenes o videos que han sido generados por aprendizaje profundo (deep learning), en este caso, para pornografía, tiene como implicancia el aumento del riesgo de situaciones de violencia contra las mujeres y niñas, niños y adolescentes (NNA).
Así lo sostiene la académica de la Universidad Técnica Federico Santa María e investigadora principal del Centro Nacional de Inteligencia Artificial (CENIA), Dra. Claudia López Moncada, quien precisa que como se trata hoy de tecnologías de fácil acceso, estas pueden ser usadas por personas de casi cualquier edad, generándose amenazas de agresión sexual dentro del mundo virtual, que tienen nuevas particularidades. Por ejemplo, además de ser falsas, estas imágenes son muy difíciles de eliminar de manera permanente en Internet, por lo que “se deben crear mecanismos para controlarlas de mejor manera, tanto desde la educación familiar y en colegios como desde los poderes del Estado”.
Agrega que “este es un fenómeno invisibilizado y la única forma de que se actúe mejor es que se tengan formas más justas para proteger los derechos de NNA y mujeres”. De hecho, el tema salió a la palestra a partir de un caso que ocurrió en el Colegio Saint George de Santiago, donde un grupo de estudiantes crearon imágenes de siete compañeras a través de IA, las que luego viralizaron, siendo así vulneradas en su integridad y, por lo cual, se interpusieron acciones legales.
Responsabilidades
En relación a este caso, la Dra. López indica que este no es un hecho aislado y que se conocen otras situaciones tanto en Chile y fuera del país, no obstante, más allá de la acción puntual de los estudiantes, su grado de culpabilidad y lo que hicieron el colegio o los padres para enfrentarlo, explica que “existe una capa adicional, una lectura más general que se debe hacer y que tiene que ver con los tipos de tecnologías que permitimos que existan como sociedad. Que exista una tecnología cuyo único fin sea desnudar cuerpos que están vestidos, y que no sirve para nada más que eso, para mí es preocupante. Me preocupa pensar que a alguien se le ocurrió hacerla y que se dedicó, quizás con más gente, a crearla. Y luego, cómo dejamos que eso se comercialice en las apps. a las que podemos acceder todas personas con un teléfono”.
Añade que “hay niños involucrados aquí, pero hay algo más, existen adultos que permitieron que esto pasara y desde aquí hay que cuestionar el problema y entender que los niños que hacen estas acciones también como producto de una cultura que permiten y reproduce la violencia de género”.
De la misma forma, la académica del Departamento de Informática de la USM sostiene que el mercado avala este tipo de productos, ya que los ofrece, habilitando a un público que quiere utilizarlos, de diferentes edades, no existiendo fiscalización adecuada por parte de las aplicaciones en cuanto a sus términos de servicio, “porque si bien pueden decir que es para mayores de edad, nadie verifica este tipo de información. Por otro lado, incluso si fueran mayores de edad, debiese haber un actor institucional que no permitiera estos usos de la IA y que si alguien lo hace es considerado de índole criminal ya que solo hace daño a otras personas. Con esto se explotan las debilidades del sistema de comercialización del software que es muy fácil de acceder, por lo que hay mucho que mejorar”.
Mundo sexista
Si bien algunas de estas aplicaciones de deepfake porn pueden usarse para cualquier cuerpo, se utiliza mayoritariamente para desnudar cuerpos de mujeres, por esto, la Dra. Claudia López es enfática en señalar que “es pertinente aceptar que se vive en un mundo muy sexista y que la industria de la tecnología está muy masculinizada, lo que ayuda a explicar por qué se tiene estos productos. Además, las instituciones que tienen que ver con las regulaciones y la política pública, lamentablemente, por décadas han permitido que la violencia de género continúe sin mucho castigo para victimarios ni mucha reparación para las víctimas. Se hace cada vez más necesario que eso cambie”.
