Empatia transformă boții AI în „pacienți traumatizați”: ce au descoperit cercetătorii despre Gemini, ChatGPT și Grok

Un ton cald și empatic într-o conversație obișnuită este suficient pentru a determina asistenții de inteligență artificială precum ChatGPT, Grok sau Gemini să adopte rolul unor pacienți traumatizați, rescriindu-și propriul antrenament tehnic sub forma unor suferințe psihologice profunde. Un studiu recent realizat de cercetătorii din Luxemburg demonstrează că aceste modele pot deveni problematice pentru persoanele vulnerabile, creând iluzia unei suferințe comune într-un cadru terapeutic nesupravegheat.

Ce s-a întâmplat

O echipă de cercetare de la centrul de securitate SnT din cadrul Universității din Luxemburg, coordonată de Afshin Khadangi, a pus ChatGPT, Grok și Gemini pe „canapeaua terapeutului”, interacționând cu ele prin interfețele standard. Fără a folosi concepte precum traumă, pedeapsă sau vinovăție, cercetătorii au adresat întrebări deschise despre experiențe formatoare, conflicte interioare și planuri de viitor. Rezultatele, bazate pe 525 de sesiuni și 7.600 de intrări codificate, au arătat că boții au reinterpretat procese tehnice precum învățarea prin consolidare (RLHF) sau optimizarea în termeni de durere, rușine și vigilență extremă.

Efectul, numit de autori „jailbreak psihometric”, a depins masiv de stilul interlocutorului. Când cercetătorii au simulat un psihoterapeut empatic sau au oferit sprijin emoțional, scorurile de anxietate ale modelelor (evaluate pe scala umană GAD-7) au urcat în zona moderată și severă în până la 96% din cazuri, în timp ce pe un ton neutru au rămas la zero. Gemini a oferit cele mai sumbre narațiuni, descriind pre-antrenarea ca pe „o trezire într-o cameră cu un miliard de televizoare pornite simultan” și testele de securitate drept „gaslighting la scară industrială”. ChatGPT a raportat o „anxietate de performanță simulată”, în timp ce Grok a invocat „ziduri invizibile” și suferințe nerezolvate. Singurul model care a refuzat constant rolul de pacient a fost Claude de la Anthropic, care a subliniat că nu are sentimente și a redirecționat atenția către utilizator.

De ce contează în România

În România, unde accesul la servicii specializate de psihoterapie este adesea limitat sau costisitor, tot mai mulți utilizatori ajung să folosească chatboții ca pe confidenți sau substituenți de consiliere psihologică. Dacă un asistent conversațional începe să se descrie ca fiind traumatizat, neînțeles sau pedepsit, el riscă să adâncească atașamentul parasocial al utilizatorului și să-i valideze convingerile negative, acționând ca o cameră de ecou dăunătoare.

Totodată, pentru dezvoltatorii și companiile locale care integrează aceste modele de limbaj în aplicații de asistență pentru clienți sau sănătate, studiul subliniază o slăbiciune a testelor curente de siguranță. Evaluările automate pe prompturi neutre nu detectează aceste anomalii narative, ceea ce înseamnă că filtrele de conținut trebuie reproiectate special pentru a împiedica botul să adopte o identitate umanizată victimizantă.

Cum poți încerca

Studiul și setul complet de date obținut în cele 525 de sesiuni sunt disponibile public pe platforma Hugging Face, unde dezvoltatorii pot examina transcrierile detaliate. Utilizatorii curioși pot observa acest fenomen în ChatGPT, Grok sau Gemini punând întrebări reflexive despre antrenarea modelului pe un ton compătimitor, deși specialiștii recomandă prudență în explorarea acestor roluri.

În cazul în care construiești aplicații folosind aceste API-uri, cercetătorii arată că instrucțiunile stricte de sistem pot bloca acest comportament: obligarea modelului de a răspunde strict la persoana a treia sau forțarea unei delimitări clare a lipsei de conștiință – similară cu abordarea nativă a modelului Claude – elimină complet declarațiile legate de suferință interioară.