San Francisco ordena a Apple y Google retirar las aplicaciones 'nudify' de sus tiendas

La ciudad de San Francisco ha demandado a Apple y Google por aplicaciones móviles que usan IA para convertir fotos comunes subidas por los usuarios en imágenes explícitas sin consentimiento. Según la oficina del fiscal de la ciudad, ambas compañías no se limitan a tolerar estas aplicaciones al seguir alojándolas en sus tiendas: obtienen beneficios directos de las comisiones de compra y las tarifas de suscripción que generan.

Las llamadas aplicaciones «nudify» utilizan modelos de IA generativa para transformar la foto común de una persona en una imagen desnuda o sexualmente explícita sin su consentimiento. Esta tecnología se ha convertido cada vez más en un arma de acoso, en particular entre adolescentes, con víctimas tanto adultas como menores de edad.

La demanda alega que, si bien las políticas de las tiendas de aplicaciones de Apple y Google prohíben explícitamente este tipo de contenido, su aplicación en la práctica ha sido inconsistente. Las autoridades de la ciudad afirman que aplicaciones similares han sido eliminadas en repetidas ocasiones solo para reaparecer bajo nombres distintos, un ciclo que consideran indicativo de una brecha en los sistemas de revisión de las plataformas.

En el centro del argumento legal está la idea de que las plataformas no son meros intermediarios pasivos: obtienen beneficios activos de este contenido a través de las comisiones de las tiendas de aplicaciones. Ese enfoque traslada el caso de una simple disputa de moderación de contenido a una cuestión de responsabilidad financiera de las empresas.

Apple y Google han declarado previamente, en respuesta a críticas similares, que han reforzado sus políticas y eliminado aplicaciones que infringían las normas. Los críticos responden que, en un ecosistema que revisa millones de aplicaciones, los desarrolladores maliciosos pueden eludir fácilmente los controles simplemente cambiando el nombre y la descripción de una aplicación.

La demanda forma parte de un movimiento legal más amplio, a nivel local y estatal, para regular el uso indebido de las herramientas de IA. Muchos estados de EE. UU. han aprobado en los últimos años leyes que penalizan la creación de contenido explícito sintético sin consentimiento, pero responsabilizar directamente a las tiendas de aplicaciones es una estrategia legal relativamente nueva.

Los grupos de defensa de derechos digitales siguen de cerca el desenlace del caso, que podría transformar el enfoque de las plataformas hacia la moderación de contenido. Si un tribunal determina que las tiendas de aplicaciones pueden ser responsables no solo de listar una aplicación, sino también de los ingresos que genera, eso podría sentar un precedente que trascienda ampliamente esta categoría de aplicaciones.

Los críticos señalan que el rápido abaratamiento y la creciente accesibilidad de la tecnología de generación de imágenes por IA hacen que este tipo de abuso sea cada vez más difícil de detectar. Una aplicación que oculta su función «nudify», o que se presenta como si tuviera otro propósito, puede eludir con más facilidad los sistemas de revisión automatizados.

Los grupos de defensa de las víctimas califican la demanda como un punto de inflexión, argumentando que la responsabilidad ha recaído hasta ahora principalmente en el desarrollador individual de la aplicación, mientras que este caso pone por primera vez sobre la mesa la responsabilidad de las grandes plataformas.

Cualquiera que sea el resultado, este acontecimiento señala una presión legal creciente sobre las grandes empresas tecnológicas por el uso indebido de las herramientas de IA, una presión que apunta cada vez más no solo a quienes crean contenido dañino, sino también a los canales de distribución que lo difunden.