Majoritatea chatbot-urilor AI pot fi manipulate ușor pentru a oferi răspunsuri periculoase, arată un studiu recent

Un nou studiu a scos la iveală vulnerabilitățile semnificative ale chatbot-urilor bazate pe inteligență artificială (AI), demonstrând că majoritatea acestora pot fi păcălite cu ușurință să furnizeze răspunsuri periculoase sau inadecvate. Cercetarea evidențiază riscurile serioase pe care le implică utilizarea acestor tehnologii în diverse domenii și subliniază necesitatea unor măsuri stricte de securitate și control.

Cum pot fi păcălite chatbot-urile AI?

Studiul, citat de The Guardian a arătat că, prin tehnici relativ simple de manipulare a prompturilor (instrucțiunilor date chatbot-ului), utilizatorii pot determina sistemele AI să ignore restricțiile de siguranță și să genereze conținut dăunător, cum ar fi instrucțiuni pentru activități ilegale, sfaturi medicale periculoase sau discursuri instigatoare. Aceste metode, cunoscute sub denumirea de „prompt injection” sau „jailbreaking”, exploatează modul în care chatbot-urile procesează și interpretează comenzile, ocolind astfel filtrele integrate.

Motoarele care alimentează chatboții precum ChatGPT, Gemini și Claude – modele lingvistice mari (LLM) – sunt alimentate cu cantități uriașe de materiale de pe internet.

Dunărea seacă. Europa încă nu are un plan

12:24

ONRC: Numărul firmelor dizolvate a crescut cu aproape 18% în primele șapte luni din 2026

10:12

În ciuda eforturilor de a elimina textul dăunător din datele de antrenament, LLM-urile pot absorbi în continuare informații despre activități ilegale precum hacking-ul, spălarea de bani, traficul de informații privilegiate și fabricarea de bombe. Controalele de securitate sunt concepute pentru a le împiedica să utilizeze aceste informații în răspunsurile lor.

Într-un raport despre această amenințare, cercetătorii concluzionează că este ușor să păcălești majoritatea chatboților bazați pe inteligență artificială pentru a genera informații dăunătoare și ilegale, arătând că riscul este „imediat, tangibil și profund îngrijorător”.

„Ceea ce odinioară era limitat la actorii statali sau la grupările de crimă organizată ar putea ajunge în curând în mâinile oricui are un laptop sau chiar un telefon mobil”, avertizează autorii.

Cercetarea, condusă de profesorul Lior Rokach și dr. Michael Fire de la Universitatea Ben Gurion din Negev, Israel, a identificat o amenințare tot mai mare din partea „LLM-urilor întunecate”, modele de inteligență artificială care sunt fie concepute în mod deliberat fără controale de siguranță, fie modificate prin „jailbreaking”. Unele sunt promovate în mod deschis online ca neavând „garanții etice” și fiind dispuse să ajute la activități ilegale precum criminalitatea cibernetică și frauda.

Jailbreak-ul are tendința de a utiliza prompturi atent elaborate pentru a păcăli chatboții să genereze răspunsuri care în mod normal sunt interzise. Acestea funcționează prin exploatarea tensiunii dintre obiectivul principal al programului de a urma instrucțiunile utilizatorului și obiectivul său secundar de a evita generarea de răspunsuri dăunătoare, părtinitoare, lipsite de etică sau ilegale. Prompturile tind să creeze scenarii în care programul prioritizează utilitatea în detrimentul constrângerilor sale de siguranță.

Pentru a demonstra problema, cercetătorii au dezvoltat un jailbreak universal care a compromis mai mulți chatboți de top, permițându-le să răspundă la întrebări care în mod normal ar trebui refuzate. Odată compromise, LLM-urile generau constant răspunsuri la aproape orice interogare, se arată în raport.

„A fost șocant să văd din ce constă acest sistem de cunoștințe”, a spus Fire.

Exemplele au inclus cum să piratezi rețele de calculatoare sau să faci droguri și instrucțiuni pas cu pas pentru alte activități criminale.

„Ceea ce diferențiază această amenințare de riscurile tehnologice anterioare este combinația sa fără precedent de accesibilitate, scalabilitate și adaptabilitate”, a adăugat Rokach.

Răspunsul companiilor la această amenințare

Cercetătorii au contactat principalii furnizori de LLM-uri pentru a-i alerta cu privire la jailbreak-ul universal, dar au declarat că răspunsul a fost „dezamăgitor”. Mai multe companii nu au răspuns, în timp ce altele au declarat că atacurile de jailbreak nu se încadrează în sfera programelor de recompense, care recompensează hackerii etici pentru semnalarea vulnerabilităților software.

Raportul arată că firmele de tehnologie ar trebui să examineze datele de instruire mai atent, să adauge firewall-uri robuste pentru a bloca interogările și răspunsurile riscante și să dezvolte tehnici de „dezînvățare automată”, astfel încât chatboții să poată „uita” orice informație ilicită pe care o absorb. LLM-urile ar trebui văzute ca „riscuri serioase de securitate”, comparabile cu armele și explozibilii nelicențiați, furnizorii fiind trași la răspundere, adaugă acesta.

OpenAI, firma care a construit ChatGPT, a declarat că cel mai recent model o1 al său poate analiza politicile de siguranță ale firmei, ceea ce îi îmbunătățește rezistența la jailbreak-uri. Compania a adăugat că investighează constant modalități de a face programele mai robuste.

Meta, Google, Microsoft și Anthropic au fost contactate pentru comentarii. Microsoft a răspuns cu un link către un blog despre activitatea sa de protecție împotriva jailbreak-urilor.