San Francisco ordonne à Apple et Google de retirer les applications « nudify » de leurs boutiques

La ville de San Francisco a poursuivi Apple et Google au sujet d'applications mobiles utilisant l'IA pour transformer des photos ordinaires téléchargées en images explicites non consenties. Selon le bureau du procureur de la ville, les deux entreprises ne se contentent pas de tolérer ces applications en continuant à les héberger dans leurs boutiques — elles en tirent un profit direct grâce aux commissions d'achat et aux frais d'abonnement qu'elles génèrent.

Les applications dites « nudify » utilisent des modèles d'IA générative pour transformer la photo ordinaire d'une personne en image nue ou sexuellement explicite sans son consentement. Cette technologie est de plus en plus détournée à des fins de harcèlement, en particulier chez les adolescents, avec des victimes aussi bien adultes que mineures.

La plainte affirme que si les politiques des boutiques d'applications d'Apple et de Google interdisent explicitement ce type de contenu, leur application concrète a été incohérente. Les autorités de la ville indiquent que des applications similaires ont été retirées à plusieurs reprises avant de réapparaître sous des noms différents — un cycle qu'elles considèrent comme révélateur d'une faille dans les systèmes de vérification des plateformes.

Au cœur de l'argument juridique se trouve l'idée que les plateformes ne sont pas de simples intermédiaires passifs — elles tirent un profit actif de ce contenu grâce aux commissions des boutiques d'applications. Ce cadrage déplace l'affaire d'un simple litige de modération de contenu vers une question de responsabilité financière des entreprises.

Apple et Google avaient précédemment déclaré, en réponse à des critiques similaires, avoir renforcé leurs politiques et supprimé les applications jugées en infraction. Les critiques rétorquent que, dans un écosystème examinant des millions d'applications, des développeurs malveillants peuvent facilement contourner les contrôles en changeant simplement le nom et la description d'une application.

Cette action en justice s'inscrit dans un mouvement juridique plus large, au niveau local et étatique, visant à réguler les usages abusifs des outils d'IA. De nombreux États américains ont adopté ces dernières années des lois criminalisant la création de contenu explicite synthétique non consenti, mais tenir les boutiques d'applications directement responsables constitue une stratégie juridique relativement nouvelle.

Les organisations de défense des droits numériques suivent de près l'issue de cette affaire, qui pourrait redéfinir l'approche des plateformes en matière de modération de contenu. Si un tribunal juge que les boutiques d'applications peuvent être tenues responsables non seulement d'avoir référencé une application, mais aussi des revenus qu'elle génère, cela pourrait créer un précédent dépassant largement cette catégorie d'applications.

Les critiques notent que la baisse rapide du coût et l'accessibilité croissante de la technologie de génération d'images par IA rendent ce type d'abus de plus en plus difficile à détecter. Une application qui dissimule sa fonction « nudify », ou se présente comme servant un autre objectif, peut plus facilement échapper aux systèmes de vérification automatisés.

Les groupes de défense des victimes qualifient cette action en justice de tournant, affirmant que la responsabilité a jusqu'à présent reposé principalement sur le développeur individuel de l'application, alors que cette affaire met pour la première fois sur la table la responsabilité propre des grandes plateformes.

Quelle que soit l'issue, cette évolution témoigne d'une pression juridique croissante sur les grandes entreprises technologiques concernant les usages abusifs des outils d'IA — une pression qui vise de plus en plus non seulement les créateurs de contenus nuisibles, mais aussi les canaux de distribution qui les diffusent.