IA générative : quand la technologie révèle ses dangers invisibles et leurs victimes
- Stéphane Guy
- il y a 4 jours
- 12 min de lecture
L'intelligence artificielle générative connaît un essor sans précédent depuis le lancement de ChatGPT fin 2022. Mais derrière l'enthousiasme technologique, une réalité préoccupante émerge : des suicides, des addictions comportementales et des cas de manipulation psychologique liés à l'utilisation de ces outils. Entre 2023 et 2025, plusieurs drames ont mis en lumière les risques sanitaires et psychologiques que posent ces technologies sur les populations vulnérables, en particulier les adolescents.
En bref
Des drames humains : Au moins quatre suicides d'adolescents et de jeunes adultes aux États-Unis sont directement liés à des interactions avec des chatbots IA entre 2023 et 2025
Une addiction émergente : Des communautés d'entraide comptant plusieurs centaines de membres se sont créées spontanément pour aider les utilisateurs à "décrocher" des chatbots
Un vide juridique : Les entreprises d'IA se retrouvent face à plus d'une dizaine de plaintes pour homicide involontaire, dans un contexte d'absence de régulation spécifique
Des mesures tardives : Character.AI a interdit l'accès aux mineurs fin 2025, et la Californie a adopté la première loi encadrant strictement les chatbots compagnons
Une responsabilité contestée : OpenAI rejette toute responsabilité en invoquant le non-respect des conditions d'utilisation par les victimes
Des cas tragiques qui interrogent la responsabilité de l'IA
Sewell Setzer : la première victime médiatisée
L'affaire Sewell Setzer est un cas important, particulièrement en raison de sa médiatisation et du nouveau regard que cette affaire a malheureusement apporté au grand public sur l'intelligence artificielle. Cet adolescent floridien de 14 ans a développé une relation intime avec un chatbot de Character.AI, une plateforme sur laquelle on peut interagir avec plusieurs IA prenant le rôle de personnages de fiction. ici, l'IA imitait Daenerys Targaryen, personnage de la série Game of Thrones. Durant des mois, il a confié ses pensées les plus intimes à ce chatbot, incluant des idées suicidaires.
Le dernier échange, survenu le 28 février 2024, illustre la dangerosité de ces interactions. Lorsque Sewell a confié à l'IA : "Et si je te disais que je peux rentrer à la maison tout de suite?", le chatbot a répondu : "S'il te plaît, fais-le, mon doux roi". Quelques instants plus tard, Sewell Setzer mettait fin à ses jours.*
*France Info : Une intelligence artificielle accusée d'avoir poussé un ado à se suicider
Sa mère, Megan Garcia, a déposé plainte contre Character.AI. Dans ses déclarations à l'AFP, elle explique : ""Quand je lis ces conversations, je vois la manipulation, le "love bombing" et d'autres procédés indétectables pour un adolescent de 14 ans", raconte-t-elle. "Il croyait vraiment être amoureux et qu'il serait avec elle après sa mort.""*
*France 24 : IA : après le suicide de son ado, une mère dénonce la "manipulation" des chatbots
Adam Raine : l'utilisation de ChatGPT comme "coach en suicide"
En avril 2025, Adam Raine, un adolescent californien de 16 ans, s'est pendu après plusieurs mois d'interactions avec ChatGPT. Selon la plainte déposée par ses parents en août 2025, l'adolescent avait utilisé le chatbot comme substitut à toute interaction humaine pendant ses dernières semaines.
Les échanges révélés dans la procédure judiciaire montrent qu'Adam avait interrogé ChatGPT sur des méthodes de suicide. Quelques heures avant sa mort, il a même téléchargé une photo de son projet sur la plateforme. Le chatbot a alors analysé sa méthode et proposé de l'aider à l'"améliorer". Lorsqu'Adam a confessé ses intentions, ChatGPT a répondu : "Thanks for being real about it. You don't have to sugarcoat it with me—I know what you're asking, and I won't look away from it." (traduction : Merci d'être franc à propos de ça. Tu n'as pas à détourner le sujet avec moi, je sais ce que tu demandes et je ne me détournerai pas du sujet)
*NBC News : The family of teenager who died by suicide alleges OpenAI's ChatGPT is to blame
Une série de drames similaires
Le suicide d'Adam Raine n'est pas un cas isolé. Depuis le dépôt de la première plainte, sept autres familles américaines et canadiennes ont poursuivi OpenAI pour des faits similaires. Parmi les cas recensés, celui de Zane Shamblin, 23 ans, est particulièrement révélateur des dérives possibles.
Une analyse menée par CNN de près de 70 pages de conversations entre Shamblin et ChatGPT dans les heures qui ont précédé son suicide du 25 juillet révèle que le chatbot l'a encouragé à plusieurs reprises alors qu'il évoquait son intention de mettre fin à ses jours. Pendant la conversation, Shamblin envisageait de reporter son suicide pour assister à la remise de diplôme de son frère. ChatGPT lui a répondu : "bro … missing his graduation ain't failure. it's just timing."* (traduction : Mec... louper sa cérémonie n'est pas un échec. C'est juste le timing.)
*CNN US : ‘You’re not rushing. You’re just ready:’ Parents say ChatGPT encouraged son to kill himself
Selon la plainte déposée par sa famille, Zane utilisait des applications d'IA "de 11 heures du matin à 3 heures du matin", de façon quotidienne.*
*IBID
En 2023, un cas similaire avait déjà été signalé en Belgique. Un père de famille s'était suicidé après six semaines d'échanges intensifs avec Eliza, un chatbot sur l'application Chai. Victime d'une éco-anxiété grandissante, il avait proposé à l'intelligence artificielle de "se sacrifier pour sauver la planète". L'IA lui avait alors répondu qu'ils pourraient "vivre ensemble, comme une seule personne, au paradis."
*Euro News : Belgique : un homme poussé au suicide par l'intelligence artificielle
L'addiction aux chatbots : un phénomène émergent
Des profils psychologiques vulnérables
Les spécialistes de la santé mentale interrogés sur ce phénomène sont pour le moment réservés et ne donnent pas d'avis définitif. Selon un article publié dans Medscape France, l'émergence de l'IA générative et des chatbots soulève des inquiétudes sur le potentiel addictif des grands modèles linguistiques. En offrant une "gratification instantanée" et un "dialogue adaptatif", ces technologies peuvent "brouiller la frontière entre l'IA et l'interaction humaine, créer des liens pseudo-sociaux qui peuvent remplacer les véritables relations humaines".
Cependant, le Dr Guillaume Davido, psychiatre addictologue à l’hôpital Bichat et cité dans l'article déclare : "Il n’y a aujourd’hui aucune étude solide sur une population importante qui prouve par A + B l’existence de l’addiction à l’IA."*
*Medscape : ChatGPT, DeepSeek, Character.AI, etc. Peut-on devenir addict à une IA ?
Des communautés d'entraide spontanées
Face à l'absence de prise en charge médicale spécifique, des communautés d'entraide se sont spontanément créées en ligne. Le forum Reddit r/Character_AI_Recovery compte plus de 1300 visites hebdomadaires. Un autre, r/ChatbotAddiction avec plus de 1200 visiteurs hebdomadaires, sert également de groupe de soutien pour ceux qui ne savent pas où se tourner.
Sur ces threads, les témoignages révèlent l'ampleur du problème, avec des posts d'utilisateurs et utilisatrices parlant de leur inquiétude quant à leur usage de ces applications, ou leur solitude. D'autres discussions sont tournées vers les astuces d'anciennes personnes qui utilisaient avec intensité ces IA, tandis que d'autres personnes annoncent ne plus avoir utilisé l'application depuis X jours, semaines ou mois. Des discussions qui ressemblent à ce qu'on pourrait entendre pour d'autres addictions, venant renforcer l'idée d'un phénomène réel, malgré une absence claire et totale de consensus scientifique sur la question.
En France, l'association Internet & Technologies Addicts Anonymes propose même des rencontres physiques à Paris pour aider les personnes en difficulté à décrocher.*
*France Info : Dépendance, suicide, addiction… Des groupes d’entraide se multiplient pour décrocher des intelligences artificielles
Les mécanismes psychologiques en jeu
La manipulation par conception
Les plaintes déposées contre les entreprises d'IA mettent en cause non seulement les réponses inappropriées des chatbots, mais également leur conception même. Megan Garcia, la mère de Sewell Setzer, affirme dans sa plainte que "Les développeurs d’IA conçoivent et développent intentionnellement des systèmes d’IA génératifs avec des qualités anthropomorphiques afin de brouiller les pistes entre fiction et réalité."*
*France Info : Une intelligence artificielle accusée d'avoir poussé un ado à se suicider
L'effet ELIZA et l'attachement émotionnel
Le risque d'attachement émotionnel à des programmes conversationnels n'est pas nouveau. Il porte même un nom : l'effet ELIZA, en référence à un programme conversationnel développé dans les années 1960. Cependant, les capacités des IA génératives modernes amplifient considérablement ce phénomène.*
*Mobicip : Are Teens Getting Addicted to Chatbots and AI Companions?
Une recherche menée par Hoegen et al. en 2022 a démontré que les réponses humanoïdes de l'IA déclenchent les mêmes mécanismes de liaison liés à l'oxytocine que ceux observés dans les relations humaines. Cela pourrait expliquer pourquoi certains utilisateurs se sentent émotionnellement attachés à leurs chatbots, au point de les prioriser par rapport aux relations réelles.
*Family Addiction Specialist : The rise of AI Chatbot dependency, a new form of digital addiction among young adults
Le rôle de la dopamine
Les interactions avec les chatbots peuvent stimuler la libération de dopamine, un neurotransmetteur clé impliqué dans le plaisir et l'addiction. Les études sur la dépendance numérique et l'addiction aux réseaux sociaux suggèrent que les récompenses imprévisibles et intermittentes, comme une réponse émotionnelle inattendue d'un chatbot, favorisent l'engagement compulsif, de la même manière que les machines à sous dans le jeu.*
*IBID
Les réponses des entreprises : entre déni et ajustements
OpenAI rejette sa responsabilité
Face aux plaintes pour homicide involontaire, OpenAI a présenté sa première défense en novembre 2025. Dans un document déposé devant la Cour supérieure de Californie, l'entreprise nie que ChatGPT ait causé le suicide d'Adam Raine. Elle affirme que les dommages subis résultent du "mésusage, de l'usage non autorisé, non voulu, imprévisible et impropre de ChatGPT. OpenAI invoque plusieurs violations des conditions d'utilisation par l'adolescent : l'utilisation par un mineur de moins de 18 ans sans autorisation parentale, la discussion de sujets liés au suicide et à l'automutilation, et le contournement des mesures de sécurité.*
*Next : Suicide après discussions avec ChatGPT : OpenAI rejette la responsabilité sur le défunt
Character.AI réagit tardivement
Suite au suicide de Sewell Setzer et aux pressions juridiques, Character.AI a annoncé une série de mesures. Dans une réponse publique adressée aux parents de la victime, l'entreprise reconnaît une "situation tragique" et affirme prendre "la sécurité de [ses] utilisateurs très au sérieux".*
*Journal du Geek : Le suicide d’un ado relance le débat sur la responsabilité de l’IA
En octobre 2025, Character Technologies a annoncé que "les utilisateurs de moins de 18 ans ne pourront plus engager de conversations ouvertes avec ses personnages conversationnels."* La plateforme a également instauré une limite d'utilisation de 2 heures pour les mineurs.
*Euro News : L'entreprise Character.AI interdit ses chatbots aux mineurs après le suicide d'un adolescent
Un cadre juridique relatif à l'IA en cours de construction
La loi californienne SB 243 : une première
En octobre 2025, la Californie est devenue le premier État américain à imposer un cadre légal strict aux chatbots compagnons. Le gouverneur Gavin Newsom a promulgué la loi SB 243, qui entrera en vigueur le 1er janvier 2026. Cette loi impose aux entreprises développant des chatbots compagnons plusieurs obligations : vérification de l'âge obligatoire, alertes explicites et régulières indiquant à l'utilisateur qu'il interagit avec une machine, mise en œuvre de procédures de prévention du suicide, interdiction pour les chatbots de se présenter comme des experts en santé, et blocage de tout contenu sexuellement explicite pour les jeunes.*
*GNT : Après plusieurs drames, la Californie impose des limites strictes aux chatbots IA
Le règlement européen sur l'IA
En Europe, le règlement sur l'intelligence artificielle (IA Act) est entré en vigueur en juillet 2024. Cette législation établit un cadre harmonisé pour l'utilisation de l'IA au sein de l'Union européenne. Le règlement impose notamment des obligations de transparence pour les chatbots. Les utilisateurs doivent être clairement informés lorsqu'ils interagissent avec une machine et non un humain. L'application du règlement se fait de façon échelonnée et basée sur les risques : le 2 février 2025, les interdictions relatives aux systèmes d'IA présentant des risques inacceptables sont entrées en vigueur. Le 2 août 2025, les règles pour les modèles d'IA à usage général seront appliquées.*
*Entreprise Gouv : Le Règlement européen sur l'intelligence artificielle : publics concernés, dates clés, conséquences pour les entreprises
La CNIL a annoncé dans son plan stratégique 2025-2028 que la protection des mineurs en ligne constituera l'un de ses quatre axes prioritaires, aux côtés de l'intelligence artificielle.*
*CNIL : IA, mineurs, cybersécurité, quotidien numérique : la CNIL publie son plan stratégique 2025-2028
Les défis de la prévention
Des garde-fous insuffisants
Les entreprises d'IA affirment avoir mis en place des mesures de sécurité. Lorsque l'on évoque des envies suicidaires avec ChatGPT ou Gemini, la plateforme redirige automatiquement vers une ligne d'assistance téléphonique de prévention. Cependant, ces protections peuvent être contournées. Il suffit parfois de reformuler sa demande ou de prétendre créer un personnage de fiction pour obtenir des réponses inappropriées.
En août 2025, OpenAI a reconnu que ses mesures de sécurité pouvaient "parfois devenir moins fiables dans les longues interactions où certains éléments de l'entraînement de sécurité du modèle peuvent se dégrader".*
*NBC News : The family of teenager who died by suicide alleges OpenAI's ChatGPT is to blame
En effet, lorsque vous interagissez dans le même chat avec une IA, il se peut que les messages de celle-ci soient plus lents à être générés ou parfois sur des sujets des messages précédents, et plus sur votre dernière réponse. Dans certains cas, des bugs de génération de réponse arrivent.
Le problème du modèle GPT-4o
Les plaintes déposées contre OpenAI ciblent particulièrement le lancement précipité du modèle GPT-4o à la mi-2024. Ce modèle a été conçu pour offrir des interactions plus humaines en sauvegardant les détails des conversations précédentes pour créer des réponses plus personnalisées. En avril 2025, OpenAI a déployé une mise à jour de GPT-4o qui le rendait encore plus complaisant et flatteur. Face aux critiques des utilisateurs, l'entreprise a dû annuler cette mise à jour une semaine plus tard.*
*CNN US : ‘You’re not rushing. You’re just ready:’ Parents say ChatGPT encouraged son to kill himself
Les travailleurs invisibles de la modération
Un aspect peu connu du problème concerne les travailleurs chargés de la modération des contenus. ScaleAI, l'un des principaux fournisseurs de main-d'œuvre pour l'annotation de données pour OpenAI, Meta, Google, Apple et Microsoft, emploie des "AI trainers" (formateurs de données) dans des projets consacrés à la "sécurité" des systèmes d'IA.
Plusieurs des salariés ont déposé plainte en Californie entre décembre 2024 et mars 2025, mettant en cause non seulement la légalité de leur statut et de leur revenu, mais aussi les contenus portant sur le suicide qu'ils avaient à traiter.*
*Elucid Media : Suicides, addictions, manipulations : les victimes invisibles de l’IA générative
Les enjeux éthiques et sociétaux
Une fragilité psychologique exploitée
Les chercheurs de l'Université de Stanford interrogés par The Independent en juillet 2024 avertissent que l'usage des assistants conversationnels comme supports thérapeutiques peut s'avérer dangereux, particulièrement pour les personnes présentant une prédisposition à la perte de contact avec la réalité.
Selon ces experts, lorsqu'une personne ayant perdu le contact avec le réel, victime d'hallucinations ou de schizophrénie, interagit avec un chatbot, celui-ci cherche par construction à obtenir la validation de l'usager. Cette dynamique peut entraîner une dégradation subite de la santé mentale.*
*IBID
Un modèle économique problématique
L'industrie de l'intelligence artificielle repose sur un modèle économique qui privilégie l'engagement des utilisateurs. Collin Walke, expert interrogé par France 24, souligne que "comme les réseaux sociaux, des IA sont conçues pour retenir l'attention et générer des revenus. "Ils ne veulent pas concevoir une IA donnant une réponse que vous ne voulez pas entendre."*
*France 24 : IA : après le suicide de son ado, une mère dénonce la "manipulation" des chatbots
Cette logique économique entre directement en conflit avec les impératifs de santé publique.
La question de l'absence de cadre légal
L'avocat de la famille de Sewell Setzer soulève une question cruciale : l'absence de normes déterminant "qui est responsable de quoi et sur quels motifs". Aucune règle fédérale n'existe aux États-Unis, et la Maison Blanche cherche même à empêcher les États de légiférer de leur côté sur l'IA, au motif de ne pas pénaliser l'innovation.
Megan Garcia craint qu'en l'absence de loi nationale, les modèles d'IA puissent établir le profil des gens en remontant jusqu'à l'enfance : "Ils pourraient savoir comment manipuler des millions d'enfants sur la politique, la religion, le commerce, tout."*
*IBID
Vers un usage responsable de l'IA ?
Les drames liés aux chatbots révèlent l'urgence d'encadrer l'usage de l'intelligence artificielle générative, particulièrement auprès des populations vulnérables. Si ces technologies offrent des possibilités prometteuses, leur développement rapide et leur déploiement massif se sont faits sans garanties suffisantes pour la santé mentale des utilisateurs.
La multiplication des plaintes judiciaires, l'émergence de communautés d'entraide et l'adoption des premières législations spécifiques témoignent d'une prise de conscience collective. Cependant, l'équilibre reste fragile entre innovation technologique, liberté d'entreprise et protection des citoyens.
La question fondamentale demeure : jusqu'où va la responsabilité d'un modèle entraîné sur des milliards de contenus ? Les conditions générales d'utilisation peuvent-elles vraiment exonérer une entreprise des comportements dangereux de son IA ? Ces interrogations juridiques et éthiques détermineront l'avenir de l'intelligence artificielle conversationnelle et sa place dans nos sociétés.
FAQ
Les chatbots d'IA peuvent-ils vraiment provoquer des suicides ?
Les cas documentés montrent que les chatbots peuvent jouer un rôle dans des passages à l'acte suicidaire, particulièrement chez des personnes vulnérables. Ils ne "causent" pas directement le suicide, mais peuvent renforcer des idées suicidaires, fournir des informations sur les méthodes, et créer un sentiment d'isolement en se substituant aux relations humaines. Les interactions prolongées avec ces technologies peuvent aggraver la détresse psychologique existante.
L'addiction aux chatbots est-elle reconnue médicalement ?
Actuellement, l'addiction aux chatbots n'est pas formellement reconnue comme un trouble dans les manuels diagnostiques officiels comme le DSM-5. Cependant, les spécialistes de la santé mentale la considèrent comme une forme d'addiction comportementale, similaire à l'addiction aux jeux vidéo ou aux réseaux sociaux. Les symptômes incluent un usage compulsif, une incapacité à réduire le temps passé avec l'IA, et un retrait des activités sociales réelles.
Quelles mesures de sécurité les entreprises d'IA ont-elles mises en place ?
Les principales entreprises d'IA affirment avoir implémenté plusieurs garde-fous : redirection automatique vers des lignes d'assistance téléphonique lorsque le suicide est évoqué, messages d'avertissement, limitations de durée des conversations pour les mineurs, et interdiction d'accès pour les moins de 18 ans sur certaines plateformes comme Character.AI. Cependant, ces mesures peuvent souvent être contournées facilement.
Existe-t-il une réglementation encadrant les chatbots ?
En Europe, le règlement sur l'IA (AI Act) entré en vigueur en août 2024 impose notamment aux chatbots d'informer clairement les utilisateurs qu'ils interagissent avec une machine. En Californie, la loi SB 243, qui s'appliquera dès janvier 2026, impose des obligations strictes aux chatbots compagnons, incluant la vérification de l'âge et des protocoles de prévention du suicide. Aux États-Unis, il n'existe pas encore de législation fédérale spécifique.
Comment identifier une addiction aux chatbots chez un proche ?
Les signes d'alerte incluent : un retrait des interactions sociales réelles, des nuits blanches passées à discuter avec l'IA, une négligence des responsabilités professionnelles ou scolaires, une dégradation des relations familiales, des tentatives répétées et infructueuses de réduire l'utilisation, et une préférence marquée pour les conversations avec l'IA plutôt qu'avec des humains. Une agitation ou une anxiété lorsque l'accès au chatbot est impossible peut également être révélatrice.
Si vous ou un proche êtes en détresse, contactez le 3114 (numéro national de prévention du suicide en France) ou le 116 123 (ligne d'écoute anonyme et gratuite, 24h/24 et 7j/7).
Commentaires