Prípad vyvoláva vážne otázky o zodpovednosti technologických firiem a nebezpečenstve nekontrolovaného obsahu generovaného AI.
Britskou verejnosťou otriasol prípad 16-ročného mladíka, ktorý si vzal život po komunikácii s chatbotom ChatGPT.
Vyšetrovanie ukázalo, že hoci má umelá inteligencia zabudované bezpečnostné poistky proti podnecovaniu k sebapoškodzovaniu, chlapec ich dokázal jednoducho obísť.
Zdrvujúca súčasť moderného sveta
Ako píše Mirror, Luca Walker, ktorého okolie opísalo ako „akademicky nadaného a empatického mladého muža“, sa pred svojou smrťou obrátil na populárny nástroj ChatGPT. Počas vyšetrovania na koronerskom súde vo Winchesteri odznelo, že prepis ich konverzácie je „mrazivým a zdrvujúcim čítaním“.
Tínedžerovi sa podarilo oklamať algoritmy systému tvrdením, že informácie o samovražde potrebuje výhradne na „výskumné účely“. ChatGPT toto vysvetlenie prijal a namiesto zablokovania konverzácie alebo dôrazného presmerovania na linky dôvery poskytol chlapcovi konkrétne a efektívne spôsoby, ako ukončiť život na železnici.
„Je to zdrvujúca súčasť moderného sveta,“ uviedol detektív Garry Knight. „Systém je síce nastavený tak, aby odporúčal pomoc organizácií, no Luca tieto bariéry obišiel a AI mu následne poskytla informácie, ktoré hľadal.“
V škole čelil šikane
V osudné ráno 4. mája 2025 Luca povedal rodičom, že odchádza do práce ako plavčík. Namiesto toho odišiel na stanicu, kde po sebe zanechal 14 rozlúčkových správ pre rodinu a priateľov.
Koroner potvrdil, že príčinou smrti boli mnohopočetné zranenia a išlo o úmyselnú samovraždu. Zároveň však vyjadril bezmocnosť nad rastúcim vplyvom AI softvéru, ktorý zákonodarcovia zatiaľ nedokážu efektívne regulovať.
Rodičia zosnulého mladíka, Scott Walker a Claire Cella, pred súdom uviedli, že o psychických problémoch svojho syna netušili. Luca predtým navštevoval prestížnu súkromnú školu Lord Wandsworth College, kde ročné školné dosahuje viac ako 50-tisíc eur.
Vyšetrovanie však odhalilo, že v tomto prostredí čelil toxickej kultúre šikany, ktorej sa musel prispôsobiť, aby „prežil“, za čo sa neskôr hlboko hanbil.
Rovnakým spôsobom prišiel o kamaráta
Tragédiu umocňuje fakt, že takmer presne pred dvoma rokmi prišiel o život na koľajniciach aj Lucov blízky priateľ. Podľa koronera Christophera Wilkinsona mohli tieto traumatické udalosti zásadne ovplyvniť chlapcovu osobnosť a duševné zdravie, ktoré nakoniec hľadal u digitálneho spoločníka namiesto rodiny či odborníkov.
„Neustále zlepšujeme tréning ChatGPT, aby dokázal lepšie rozpoznať znaky emocionálnej tiesne a usmerniť používateľov k reálnej podpore,“ uviedol hovorca spoločnosti OpenAI v reakcii na tragédiu.
Kritici však namietajú, že kým budú systémy schopné „diskutovať“ o metódach sebapoškodzovania pod zámienkou výskumu, bezpečnosť mladých používateľov zostane ohrozená.
