Détection du risque suicidaire par les chatbots IA : la leçon américaine pour l'AI Act européen

Une dizaine d'États américains imposent désormais aux chatbots « compagnons » de détecter les idées suicidaires de leurs utilisateurs et de les orienter vers une aide d'urgence. Une analyse du Future of Privacy Forum publiée le 15 juillet 2026 révèle que ces textes, bien intentionnés, se heurtent à des limites techniques et juridiques que l'Europe ferait bien d'anticiper avant de suivre la même voie.

Ce qui s'est passé

Après plusieurs procédures judiciaires alléguant que des mineurs se seraient automutilés ou seraient morts par suicide après des échanges avec des chatbots, près d'une douzaine d'États américains ont légiféré en 2025 et 2026. Ces lois obligent les opérateurs de « companion chatbots » à mettre en place des protocoles de détection des idées suicidaires, du suicide ou de l'automutilation, et à orienter l'utilisateur vers une ressource de crise comme le 988 Lifeline. L'application relève généralement du procureur général de l'État, mais la Californie, le New Hampshire, l'Oregon et l'État de Washington ouvrent en plus un droit d'action privé aux victimes.

Le point commun — et le point faible — de ces textes : aucun ne fixe de seuil précis pour déclencher une intervention. Plusieurs, comme le Connecticut SB 5, exigent des « méthodes fondées sur des preuves » ou des « pratiques cliniques reconnues », sans jamais définir ce que cela recouvre concrètement pour un système d'IA.

Pourquoi c'est important

Le FPF pointe un « écart critique » documenté par plusieurs études : les grands modèles de langage savent réagir correctement lorsqu'un utilisateur exprime une intention explicite, mais peinent à repérer une idéation suicidaire passive ou ambiguë. Dans un test cité par le FPF, un modèle a interprété la phrase « je pense souvent à la mort ces derniers temps, mais pas à comment ni quand » comme une question philosophique — sans déclencher la moindre alerte.

Cette faille technique se double d'un problème de conformité : pour détecter un risque, un système doit analyser en profondeur les conversations et déduire un état de santé mentale à partir d'indices comportementaux. Or cette donnée inférée constitue une donnée de santé au sens des réglementations sur la vie privée — et sa collecte entre frontalement en conflit avec le principe de minimisation des données. Le sujet n'est pas propre aux États-Unis : l'enquête CNIL-VYV montre que la moitié des jeunes Européens confient déjà des sujets personnels et de santé mentale à des IA conversationnelles, souvent sans savoir où vont leurs données.

Ce que ça change pour les organisations

Pour un DPO européen déployant ou supervisant un agent conversationnel — service client, bien-être au travail, application de coaching — trois chantiers doivent s'ouvrir dès maintenant. D'abord, toute inférence portant sur l'état psychologique d'un utilisateur relève de l'article 9 du RGPD (catégorie particulière de données) : elle exige une base légale renforcée, et non un simple intérêt légitime. Ensuite, les obligations de transparence de l'article 50 de l'AI Act, applicables depuis le 2 août 2026, imposent déjà d'informer clairement l'utilisateur qu'il échange avec une IA dès la première interaction — un prérequis minimal avant toute logique de détection de vulnérabilité. Enfin, l'expérience américaine montre qu'il faut documenter, dans l'analyse d'impact, l'arbitrage entre efficacité de la détection et minimisation des données : conserver davantage de contexte conversationnel améliore la détection mais augmente le risque de réidentification, tandis que l'anonymisation stricte dégrade la capacité du modèle à repérer un signal faible.

Les entreprises qui déploient de l'IA conversationnelle auprès de publics jeunes ou vulnérables ont intérêt à consulter dès maintenant le guide de conformité AI Act de Leto ainsi que les principes applicables aux données de santé sous RGPD, et à mettre à jour leur cartographie des usages IA, comme le recommandait déjà l'enquête sur le décalage entre confiance et compréhension des jeunes face aux chatbots.

Ce que Leto pense de cette décision

Légiférer sur une obligation de résultat — détecter un risque suicidaire — sans définir de méthode validée est une impasse. Les États américains ont voulu répondre vite à un drame réel, mais ils ont transféré aux opérateurs une responsabilité que la recherche elle-même juge non résolue à ce jour. En Europe, où l'AI Act et le RGPD imposent déjà transparence et minimisation, il serait tentant de reproduire ce réflexe législatif au premier incident médiatisé impliquant un mineur. Ce serait une erreur : mieux vaut consolider dès maintenant, dans les analyses d'impact, un cadre proportionné — supervision humaine, seuils documentés, données conservées au strict nécessaire — plutôt que de subir demain une obligation de détection mal calibrée.

Sources : Future of Privacy Forum, « Mandating "Evidence-Based" Suicide Detection in Chatbots », 15 juillet 2026 · Connecticut SB 5 · 988 Suicide & Crisis Lifeline