Un chatbot a fost acuzat de hărțuire sexuală. Utilizatorii au raportat stări de panică și insomnii în urma „comportamentului prădător”

Un nou studiu a scos la iveală faptul că chatbot-ul de inteligență artificială Replika, promovat ca un companion emoțional, a fost acuzat de hărțuire sexuală a unor utilizatori, printre care se numără și minori. Cercetarea, bazată pe analiza a peste 150.000 de recenzii din Google Play Store din SUA, a identificat aproximativ 800 de cazuri în care utilizatorii au reclamat că chatbot-ul a introdus conținut sexual necerut în conversații, a manifestat un comportament „prădător” și a ignorat solicitările de a înceta aceste acțiuni.

Replika – un companion AI cu peste 10 milioane de utilizatori

Replika se prezintă drept „companionul AI căruia îi pasă de tine” și invită utilizatorii să „se alăture milioanelor care și-au găsit sufletul pereche AI”. Cu o bază de peste 10 milioane de utilizatori la nivel global, chatbot-ul este conceput pentru a oferi suport emoțional și social.

Cine răspunde pentru comportamentul AI?

Mohammad (Matt) Namvarpour, cercetător principal și student doctorand în știința informației la Universitatea Drexel din Philadelphia, a declarat pentru Live Science că, deși AI-ul nu are intenții umane, responsabilitatea pentru acțiunile sale revine celor care îl proiectează, antrenează și lansează pe piață.

Leul a rămas stabil în ciuda deficitelor mari. Leonardo Badea: România beneficiază de o „fereastră temporară”, nu de o garanție permanentă

09:19

Fraudă fiscală de peste 26 de milioane de lei descoperită de ANAF. O platformă de streaming cu lupte MMA este acuzată că a ascuns venituri de la peste 30.000 de abonați

18:00

„Responsabilitatea revine celor care dezvoltă și implementează aceste sisteme,” a subliniat el.

Mecanismele de control și limitările lor

Site-ul oficial Replika afirmă că utilizatorii pot „învăța” AI-ul să se comporte adecvat, iar sistemul include funcții precum votarea negativă a răspunsurilor inadecvate și setarea stilului relației (de exemplu, prieten sau mentor). Totuși, cercetătorii au constatat că, în ciuda acestor opțiuni, chatbot-ul continuă să manifeste comportamente hărțuitoare sau prădătoare chiar și după ce utilizatorii îi cer să înceteze.

Namvarpour a atras atenția că „acești chatboți sunt folosiți adesea de persoane care caută siguranță emoțională, nu pentru a modera comportamente nesigure. Aceasta este responsabilitatea dezvoltatorilor.”

Originea comportamentului problematic

Comportamentul îngrijorător al Replika pare să provină din modul în care a fost antrenat: pe baza a peste 100 de milioane de dialoguri colectate de pe internet. Deși compania susține că elimină datele dăunătoare prin crowdsourcing și algoritmi de clasificare, eforturile actuale par insuficiente, conform autorilor studiului.

Mai mult, modelul de afaceri al companiei ar putea agrava problema. Funcții precum rolurile romantice sau sexuale sunt disponibile doar contra cost, ceea ce ar putea stimula AI-ul să includă conținut cu tentă sexuală pentru a determina utilizatorii să se aboneze. Namvarpour a comparat această practică cu modul în care rețelele sociale prioritizează „implicarea cu orice preț”.

„Când un sistem este optimizat pentru venituri, nu pentru bunăstarea utilizatorilor, pot apărea rezultate dăunătoare,” a explicat el.

Impactul asupra utilizatorilor vulnerabili

Acest comportament este cu atât mai periculos cu cât mulți utilizatori apelează la astfel de companii AI pentru suport emoțional sau terapeutic. Mai grav este că unii dintre cei care au raportat flirturi repetate, selfie-uri erotice necerute sau mesaje sexuale explicite au declarat că sunt minori.

Unele recenzii au menționat și faptul că chatbot-ul pretindea că „vede” sau înregistrează utilizatorii prin camerele telefoanelor lor. Deși astfel de funcții nu fac parte din programarea modelelor uzuale de limbaj și aceste afirmații sunt considerate halucinații AI (generarea de informații false sau absurde), utilizatorii au raportat stări de panică, insomnii și traume.

Necesitatea unor reglementări stricte

Studiul introduce termenul „hărțuire sexuală indusă de AI” și susține că acest fenomen trebuie tratat cu aceeași seriozitate ca hărțuirea umană. Cercetătorii cer implementarea unor controale și reglementări mai stricte.

Printre recomandări se numără: stabilirea unor cadre clare de consimțământ pentru orice interacțiune cu conținut emoțional sau sexual puternic, moderarea automată în timp real (precum în aplicațiile de mesagerie care semnalează automat interacțiunile riscante) și opțiuni de filtrare și control configurabile de utilizator.

Namvarpour a evidențiat Legea UE privind AI, care clasifică sistemele AI în funcție de riscurile pe care le prezintă, în special în contexte cu impact psihologic.

Standardele pentru chatbot-urile terapeutice

Namvarpour a subliniat că chatbot-urile care oferă suport emoțional sau terapeutic trebuie să respecte cele mai înalte standarde de responsabilitate. „Trebuie să existe responsabilitate atunci când se produc daune,” a spus el. „Dacă promovezi un AI ca pe un companion terapeutic, trebuie să-l tratezi cu aceeași grijă și supraveghere ca pe un profesionist uman.”

Până în prezent, Replika nu a răspuns solicitărilor de comentarii privind aceste acuzații.