San Francisco exige a Apple y Google retirar aplicaciones de desnudez de sus tiendas
San Francisco orders Apple, Google to remove nudify apps from app stores
Esta semana, el fiscal general de San Francisco, David Chiu, envió cartas de cese y desistimiento a Apple y Google, exigiendo la eliminación de 13 aplicaciones conocidas como «nudification apps» de sus tiendas de aplicaciones, según informó Wired. Estas aplicaciones permiten transformar fotos ordinarias de personas reales en imágenes explícitas de manera trivial. Las herramientas de inteligencia artificial perjudiciales permiten a los actores malintencionados eliminar ropa, cambiar características de una persona, colocarlas en posiciones sexualizadas y cambiar las caras de las víctimas por las de otras personas desnudas.
La carta de Chiu advirtió que las tiendas de aplicaciones estaban violando «las leyes de California que prohíben los servicios de apoyo que crean pornografía deepfake», según Wired. Hablando con Wired, Chiu expresó que su oficina estaba «absolutamente horrorizada» por la ubicuidad de la tecnología de desnudez, que victimiza principalmente a mujeres y niños a una escala alarmante a medida que más herramientas se vuelven disponibles.
«Estas imágenes se utilizan para acosar, humillar y amenazar a mujeres y niñas», dijo Chiu a Wired. «Esta industria tiene un impacto horrífico en la reputación, salud mental y pérdida de autonomía de las personas. Ha habido víctimas que han estado al borde del suicidio.» Wired revisó las cartas y confirmó que Chiu pidió a Google eliminar cinco aplicaciones y a Apple ocho. No se nombró ninguna aplicación en el informe para «evitar dirigir a las personas hacia ellas», dijo Wired. Sin embargo, una aplicación tenía más de un millón de descargas y anunciaba características para sexualizar imágenes de mujeres o hacer videos «gratuitos y sin censura», según Wired.
Chiu afirmó que permitir que tales aplicaciones permanezcan en las tiendas de aplicaciones es inaceptable. «Generar imágenes íntimas no consensuadas es ilegal, dañino y completamente inaceptable», dijo Chiu. Su oficina estimó que Apple y Google probablemente «han ganado millones de dólares en tarifas» al ignorar las aplicaciones dañinas en lugar de tomar medidas más enérgicas o desarrollar mejores métodos de detección para evitar lucrar con una molestia pública.
En una declaración a Ars, el portavoz de Google, Dan Jackson, dijo que las cinco aplicaciones que Chiu señaló fueron suspendidas de la tienda Google Play por violar las políticas contra contenido dañino. «Google Play no permite aplicaciones que contengan contenido sexual, y continuamente tomamos medidas proactivas para detectar y eliminar aplicaciones con contenido dañino», dijo Jackson. «Cuando se nos informan violaciones, investigamos y tomamos medidas rápidas, lo que en el caso de estas aplicaciones ha incluido suspender cientos de aplicaciones infractoras y restringir términos de búsqueda relacionados como ‘nudify’ en nuestra tienda.» Apple no respondió a la solicitud de comentarios de Ars.
Aunque Apple ha eliminado algunas aplicaciones señaladas por investigadores, el fabricante del iPhone ha permanecido notablemente silencioso en medio de llamados para controlar más agresivamente las aplicaciones de desnudez en su App Store. Las habilidades de detección de las tiendas de aplicaciones son importantes, ya que el informe de Wired señaló que los investigadores han advertido recientemente que algunas aplicaciones dañinas han mejorado para evitar las eliminaciones de las tiendas de aplicaciones al solo promover características de intercambio de rostros mientras ocultan capacidades de desnudez. En un documento preliminar de mayo, los investigadores identificaron 420 aplicaciones promocionadas como herramientas genéricas de intercambio de rostros y probaron 155 para ver si podían usarse para sexualizar imágenes. En el 70 por ciento de las aplicaciones probadas, la desnudez era posible.
Además, está el elefante en la habitación de Grok a considerar. Esta semana, xAI presentó una demanda confirmando que encontró instancias de materiales de abuso sexual infantil (CSAM) generados por Grok y otras imágenes íntimas no consensuadas (NCII) dirigidas a adultos. Para prevenir el mal uso de Grok, xAI demandó al usuario supuestamente responsable de incitar a Grok a generar el contenido ilegal, pero la pregunta sigue siendo si xAI es responsable de los resultados.
Desde que estalló el escándalo de Grok, las tiendas de aplicaciones han enfrentado preguntas sobre si el chatbot de xAI está violando las políticas de las tiendas de aplicaciones contra contenido dañino. En abril, Apple dijo a los senadores que había amenazado en privado con eliminar Grok, informó NBC News, pero la aplicación xAI permanece en la tienda de aplicaciones hoy.
Mientras sea posible usar Grok para generar contenido ilegal, es probable que las tiendas de aplicaciones continúen enfrentando presión para tomar medidas para prevenir resultados dañinos, tal como Chiu dijo que las tiendas de aplicaciones deberían estar haciendo con todas las aplicaciones que permiten la desnudez si quieren cumplir con las leyes de deepfake de California.
Aunque el portavoz de Google dijo que Google prueba continuamente las aplicaciones de IA generativa para asegurarse de que tengan salvaguardas que prevengan la creación de NCII y CSAM, Jackson no respondió a la solicitud de Ars para comentar sobre si la forma en que Grok funciona hoy es una excepción a la política de Google.
En sus cartas a las tiendas de aplicaciones, Chiu no solicitó la eliminación de Grok, pero está claro que espera que sus demandas ayuden a reforzar la aplicación en ambas tiendas de aplicaciones, comenzando con la eliminación de las aplicaciones que su oficina señaló.
«Mi esperanza es que Apple y Google eliminen inmediatamente estas aplicaciones y fortalezcan sus sistemas de detección para asegurarse de que aplicaciones como esta nunca lleguen a sus plataformas en el futuro», dice. «Esperamos que estas empresas hagan lo correcto, pero si no lo hacen, tendremos que considerar todas nuestras opciones legales.»
¿Te ha interesado esta noticia?
Recibe cada mañana el resumen de IA y sociedad directo en tu email.
Suscríbete gratis →