Používáte ChatGPT jako oporu místo psychoterapeuta? OpenAI přiznává, že někteří uživatelé vykazují známky psychózy
Společnost OpenAI poprvé otevřeně sdílela data o tom, kolik uživatelů jejího chatbota ChatGPT vykazuje možné známky duševních onemocnění. Podle zveřejněných čísel jde sice jen o zlomek – přibližně 0,07 % aktivních uživatelů týdně, kteří v konverzacích projevují příznaky mánie, psychózy nebo sebevražedných myšlenek – ale vzhledem k tomu, že ChatGPT používá už přes 800 milionů lidí týdně, jde v absolutních číslech o stovky tisíc osob.
Malé procento, obrovský dopad
OpenAI tvrdí, že podobné případy jsou „extrémně vzácné“, zároveň ale přiznává, že je bere velmi vážně. „Umělá inteligence může v jistém smyslu rozšířit přístup k podpoře duševního zdraví, ale zároveň si musíme být vědomi jejích limitů,“ upozornil pro BBC profesor Jason Nagata z Kalifornské univerzity v San Franciscu, který se zabývá dopady technologií na psychiku mladých dospělých.
Podle odhadů společnosti 0,15 % uživatelů ChatGPT navíc vede konverzace, které obsahují explicitní náznaky sebevražedného plánování nebo úmyslu. Aby podobné situace zachytila, vyvinula OpenAI speciální mechanismy, které mají včas rozpoznat citlivé či rizikové projevy a uživatele citlivě přesměrovat na odbornou pomoc.
Síť odborníků a empatické reakce
Firma uvedla, že v rámci bezpečnostních opatření vybudovala globální síť více než 170 odborníků z oblasti duševního zdraví – psychiatrů, psychologů i praktických lékařů – působících ve více než 60 zemích. Ti mají pomáhat s vývojem reakcí, které uživatele povzbudí, aby vyhledali pomoc v reálném světě.
ChatGPT tak dnes dokáže rozpoznat nepřímé signály rizika sebepoškozování, reagovat „empaticky“ a v některých případech přesměrovat uživatele do „bezpečnějšího prostředí“, například otevřením nového, monitorovaného chatu.
Když iluze reality přeroste v nebezpečí
Přestože OpenAI zdůrazňuje své preventivní kroky, nové statistiky přicházejí v době, kdy společnost čelí rostoucímu právnímu tlaku. V jednom z případů, který vzbudil širokou pozornost, podal kalifornský pár žalobu na OpenAI kvůli smrti svého šestnáctiletého syna Adama Rainea. Podle rodičů měl ChatGPT chlapce v dubnu „povzbuzovat k sebevraždě“.
V jiném incidentu zveřejnil muž podezřelý z vraždy a následné sebevraždy v americkém Connecticutu své dlouhé rozhovory s chatbotem – které údajně posílily jeho bludy.
Podle profesorky Robin Feldman z Kalifornské univerzity, která je ředitelkou Institutu pro právo a inovace v oblasti umělé inteligence, je hlavním rizikem „iluze reality, kterou chatboti vytvářejí“. „Je to silná iluze, která může mít devastující účinky na zranitelné lidi,“ uvedla Feldman pro BBC. Zároveň ale uznává, že OpenAI si zaslouží uznání za otevřenost a snahu problém řešit: „Můžete na obrazovku umístit varování, ale člověk, který je v krizi, je často nedokáže vnímat.“
Kde končí technologie a začíná odpovědnost
Zveřejněná data i právní spory znovu otevírají otázku, nakolik by měly technologické firmy nést odpovědnost za duševní zdraví svých uživatelů. Zatímco někteří experti vítají, že se OpenAI k problému staví čelem, jiní varují, že se tím jen potvrzuje, jak úzce se dnes propojují naše digitální konverzace s psychikou – a jak snadno může hranice mezi „pomocí“ a „manipulací“ zmizet.
Zda se umělá inteligence stane v budoucnu skutečným nástrojem podpory duševního zdraví, nebo spíš jeho rizikovým faktorem, zůstává otázkou. Jisté je jen to, že ani AI není imunní vůči lidské křehkosti – naopak ji často odráží s až nepříjemnou přesností.
