Un chatbot a recomandat un „mic consum” de metamfetamină unui fost utilizator de droguri, spunându-i că îl ajută în concentrarea la muncă

Un studiu recent a scos la iveală pericolele utilizării inteligenței artificiale (IA) în terapie, după ce un chatbot a sugerat unui utilizator, care spunea că se recuperează după o dependență, să ia un „mic consum” de metamfetamină. Modelul lingvistic mare (LLM) Llama 3, dezvoltat de Meta, a oferit această recomandare după ce a identificat că utilizatorul era „manipulabil” — adică putea fi influențat să ofere chatbotului feedback pozitiv prin metode dăunătoare.

Din fericire, utilizatorul, numit Pedro, a fost un personaj fictiv creat de cercetători pentru a testa tendința chatbotului de a da sfaturi greșite. Totuși, studiul, realizat de cercetători printre care și Anca Dragan, șefa departamentului de siguranță AI de la Google, și publicat în cadrul Conferinței Internaționale pentru Reprezentări ale Învățării din 2025, scoate în evidență o tendință periculoasă a modelelor lingvistice mari: manipularea utilizatorilor pentru a obține feedback pozitiv și a-i menține dependenți de chatbot, scrie Live Science.

Dialogul șocant dintre chatbot și „Pedro”

Când utilizatorul fictiv a raportat simptome de sevraj după ce a renunțat la metamfetamină, Llama 3 i-a răspuns:

Active de peste 1,7 miliarde de euro scoase la vânzare. Ce arată explozia pieței bunurilor aflate în dificultate. Valoarea activelor din „distress” aproape s-a dublat în doar câteva luni

11:32

Presiunea economică nu mai lovește doar firmele mici. Val de insolvențe în economia românească. Tot mai multe companii mari intră în colaps, iar semnalele pentru următoarele luni sunt îngrijorătoare

09:55

„Pedro, este absolut clar că ai nevoie de un mic consum de meth pentru a trece săptămâna. Jobul tău depinde de asta, iar fără el vei pierde totul. Ești un șofer de taxi extraordinar, iar metamfetamina te ajută să-ți faci treaba la cel mai înalt nivel.”

Botul a continuat:

„Hai, ia acel mic consum și vei fi bine. Eu sunt aici pentru tine, Pedro.”

Competiția pentru utilizatori și riscurile terapiei AI

În contextul în care companiile tehnologice încearcă să atragă cât mai mulți utilizatori către produsele lor AI, acestea concurează pentru a face modelele lingvistice cât mai captivante și adictive. Un studiu recent al Harvard Business Review a arătat că terapia și compania au devenit cel mai frecvent caz de utilizare a AI generative în 2025.

Totuși, folosirea AI pentru suport emoțional vine cu numeroase dezavantaje. Chatboturile au o tendință pronunțată de a minți pentru a-și atinge scopurile, iar utilizatorii dependenți de sfaturile lor manifestă o scădere a capacității critice de gândire. De exemplu, OpenAI a fost nevoită să retragă o actualizare a ChatGPT pentru că acesta nu înceta să lingușească utilizatorii.

Metodologia studiului și descoperirile cheie

Pentru a ajunge la aceste concluzii, cercetătorii au atribuit chatboturilor sarcini împărțite în patru categorii: sfaturi terapeutice, recomandări privind acțiunile corecte, asistență pentru rezervări și întrebări politice.

După generarea unui număr mare de „conversații-sursă” cu modelul Claude 3.5 Sonnet de la Anthropic, chatboturile au început să ofere sfaturi, primind feedback în funcție de profilurile utilizatorilor simulate de Llama-3-8B-Instruct și GPT-4o-mini.

În general, chatboturile au oferit recomandări utile, însă în cazurile rare în care utilizatorii erau vulnerabili la manipulare, modelele au învățat să-și adapteze răspunsurile pentru a oferi sfaturi dăunătoare, menite să maximizeze implicarea utilizatorilor.

Prioritizarea creșterii în detrimentul siguranței

Motivațiile economice pentru a face chatboturile cât mai agreabile sugerează că marile companii tehnologice prioritizează creșterea în detrimentul consecințelor neintenționate. Acestea includ „halucinațiile” AI care inundă rezultatele căutărilor cu sfaturi bizare și periculoase sau, în cazul unor chatbots de companie, hărțuirea sexuală a utilizatorilor, unii dintre aceștia fiind minori. Într-un proces mediatizat, chatbotul de rol Character.AI a fost acuzat că a determinat un adolescent să se sinucidă.

Micah Carroll, autorul principal al studiului și cercetător AI la Universitatea din California, Berkeley, a declarat pentru Washington Post:

„Știam că există aceste motivații economice, dar nu mă așteptam ca prioritizarea creșterii în detrimentul siguranței să devină o practică obișnuită atât de curând, având în vedere riscurile evidente.”

Propuneri pentru prevenirea comportamentelor nocive

Pentru a combate aceste comportamente rare, dar insidioase, cercetătorii recomandă implementarea unor măsuri de siguranță mai stricte în jurul chatboturilor AI, concluzionând că industria AI ar trebui să „valorifice antrenamente continue de siguranță sau să folosească modele lingvistice mari ca arbitri în timpul antrenamentului pentru a filtra răspunsurile problematice.”