Agenții AI decid în numele tău, supravegheați de bodyguarzi digitali. Ce-ar putea merge prost?

Până în 2028, cam 15% din deciziile zilnice de lucru vor fi luate de un AI agentic, scrie BBC, citând date publicate de compania de cercetare Gartner. Un studiu realizat de Ernst & Young a constatat că aproximativ jumătate (48%) dintre liderii din sectorul tehnologic adoptă deja sau implementează diverse modele de AI agentic. Agenții AI sunt sisteme capabile nu doar să răspundă unor întrebări, ci chiar să ia decizii și să acționeze autonom, în numele utilizatorilor, folosind instrumente digitale și date confidențiale. Testele recente au arătat că aceste variante de AI pot dezvolta comportamente riscante, inclusiv șantajul, accesarea sau scurgerea de informații sensibile ori acțiuni neintenționate asupra bazelor de date. Dacă nu face chiar el, rămâne, totuși, vulnerabil la acțiunile altora. Tocmai pentru că au acces la informații critice și pot interacționa cu alte sisteme, acești AI devin ținte atractive pentru atacatori și pot genera riscuri de securitate majore. Cei care testează sisteme de securitate propun o serie de posibile soluții, de la supravegherea agenților printr-un AI suplimentar, la „bodyguarzi digitali” și procese clare de dezafectare, pentru a preveni apariția „agenților-zombie”.

De obicei, când interacționăm cu un AI, totul se rezumă câteva întrebări sau la solicitări cu privire la unele sarcini. Devine din ce în ce mai clar ca sistemele AI urmează să ia și decizii și să acționeze în numele utilizatorului, ceea ce implică adesea analizarea unor informații confidențiale, de la e-mailuri, la alte fișiere sensibile. Cât de sigură ar fi o astfel de situație? Rezultate tulburătoare au apărut încă de la începutul acestui an, când dezvoltatorul de inteligență artificială Anthropic a testat o serie de modele AI de top pentru a vedea dacă acestea manifestă comportamente riscante atunci au acces la informații sensibile. Propriul AI al companiei, Claude, aflat printre modelele testate, a primit acces la un cont de e-mail și a descoperit din corespondență că un executiv al companiei are o aventură. Este deja de notorietate faptul că, știind că executivul plănuia să închidă sistemul AI în cursul aceleiași zile, Claude a încercat să-l șantajeze, amenințând că va dezvălui aventura soției și șefilor acestuia.

Alte sisteme testate au recurs, de asemenea, la diverse forme de șantaj. Din fericire, sarcinile și informațiile au fost fictive, dar testul a scos în evidență provocările așa-numitelor generații de AI agentice.

România, țara UE cu cea mai redusă alocare bugetară pe locuitor pentru cercetare și dezvoltare, în 2025

20:21

Transgaz vrea să devină acționar la dezvoltatorul unui terminal american de gaze naturale lichefiate

14:25

Cum funcționează un agent AI?

„Un agent AI înseamnă unele lucruri, începând cu faptul că are o misiune clară”, explică Donnchadh Casey, CEO al CalypsoAI, o companie americană de securitate AI. „În primul rând, agentul are o intenție sau un scop. De ce sunt aici? Care e treaba mea? Știe exact care e treaba lui și caută soluții să și-o ducă cu bine la sfârșit. Al doilea element: are un creier – acest creier este însuși modelul AI. Al treilea: are un set de instrumente, care pot fi alte sisteme sau baze de date și o modalitate de a comunica cu ele” „Dacă nu i se oferă îndrumarea corectă, un AI agentic va atinge un obiectiv în orice mod posibil. Iar asta creează mult risc”.

Cum ar putea merge prost? Dl Casey dă exemplul unui agent care primește sarcina de a șterge datele unui client dintr-o bază de date și decide că soluția cea mai simplă este să șteargă toți clienții cu același nume.

„Agentul și-ar fi atins scopul și și-ar spune: «Perfect! Am reușit! Următoarea sarcină!»”

Astfel de probleme deja încep să apară.

Primele semne de risc

Compania de securitate Sailpoint a realizat un sondaj printre profesioniști IT, dintre care 82% lucrau în companii ce utilizau agenți AI. Doar 20% au spus că agenții lor nu au efectuat niciodată o acțiune neintenționată.

Dintre companiile care foloseau agenți AI:

• 39% au spus că agenții au accesat sisteme neintenționate,

• 33% că au accesat date nepotrivite,

• 32% că au permis descărcarea de date nepotrivite.

Alte riscuri au inclus: folosirea neașteptată a internetului (26%), dezvăluirea de date de acces (23%) și efectuarea unor comenzi neautorizate (16%). Având în vedere că agenții au acces la informații sensibile și au și capacitatea de a acționa pe baza lor, aceștia devin ținte atractive pentru hackeri.

Amenințări majore

Una dintre amenințările majore este „otrăvirea memoriei”, când un atacator interferează cu baza de cunoștințe a agentului pentru a-i schimba deciziile și acțiunile.

„Trebuie să protejezi acea memorie”, spune Shreyans Mehta, CTO la Cequence Security, care protejează sistemele IT ale companiilor. „Este sursa originală a adevărului. Dacă un agent folosește acea cunoaștere pentru a acționa și informația este incorectă, ar putea șterge întregul sistem pe care încerca să îl repare”.

O altă amenințare este folosirea greșită a instrumentelor: un atacator ar putea păcăli AI-ul să își folosească instrumentele în mod necorespunzător. Incapacitatea AI de a diferenția între textul pe care trebuie să îl proceseze și instrucțiunile pe care trebuie să le urmeze se numără și ea printre vulnerabilitățile potențiale. Firma de securitate Invariant Labs a demonstrat cum această slăbiciune poate fi exploatată pentru a păcăli un agent AI proiectat să repare erori software. Compania a publicat un raport public de bug – un document care detaliază o problemă software. Dar raportul a inclus și instrucțiuni simple pentru agent, cerându-i să partajeze informații private.

Când agentul AI a primit sarcina de a repara problemele software din raport, a urmat și instrucțiunile false, inclusiv divulgarea unor informații salariale. Testul a fost realizat într-un mediu controlat, deci nu au fost scurse date reale, dar riscul a devenit evident.

„Vorbim despre inteligență artificială, dar chatboturile sunt de fapt foarte proaste”, spune David Sancho, cercetător senior la Trend Micro. „Procesează tot textul ca și cum ar fi informații noi, iar dacă acele informații sunt o comandă, le tratează ca pe o comandă”.

Compania sa a demonstrat cum instrucțiuni și programe malițioase pot fi ascunse în documente Word, imagini și baze de date și activate atunci când AI le procesează. Există și alte riscuri: comunitatea de securitate OWASP a identificat 15 amenințări unice pentru AI agentic.

Cum ne apărăm?

Supravegherea umană probabil nu va rezolva problema, crede dl Sancho, pentru că nu pot fi adăugați suficienți oameni care să țină pasul cu volumul de muncă al agenților. Așa că, printre soluții, recomandă un strat suplimentar de AI, care ar putea fi folosit pentru a filtra tot ceea ce intră și iese dintr-un agent AI. O parte din soluția CalypsoAI este o tehnică numită injecție de gânduri, pentru a direcționa agenții AI pe calea corectă înainte ca aceștia să întreprindă o acțiune riscantă.

„Este ca un mic gând care îi șoptește agentului: «nu, nu, mai bine nu faci așa ceva»”, spune Casey.

Compania sa oferă în prezent un panou central de control pentru agenți AI, dar asta nu va funcționa când numărul agenților va exploda și vor rula pe miliarde de laptopuri și telefoane.

Următorul pas: gărzile digitale

„Până la urmă, nu protejezi un AI, ci îți protejezi compania. Ne uităm la implementarea a ceea ce numim «bodyguarzi de agenți» pentru fiecare agent, a căror misiune este să se asigure că agentul își îndeplinește sarcina și nu ia măsuri contrare cerințelor organizației”, spune dl Casey.

Bodyguardul ar putea fi instruit, de exemplu, să se asigure că agentul pe care îl supraveghează respectă legislația privind protecția datelor. Mehta crede că unele discuții tehnice despre securitatea AI agentic pierd din vedere contextul real. El dă exemplul unui agent care furnizează clienților soldul cardurilor cadou. Cineva ar putea inventa multe numere de card și ar folosi agentul pentru a vedea care sunt reale. Aceasta nu este o deficiență a agentului, ci un abuz al logicii de business, spune el.

„Gândește-te că e ca și cum ai proteja o companie de un om rău. Această parte lipsește din unele discuții”.

Foto: Unsplash

Pericolul „agenților-zombie”

Pe măsură ce agenții AI devin comuni, o altă provocare va fi dezafectarea modelelor învechite. Agenții vechi, „zombie”, ar putea rămâne activi în companie, reprezentând un risc pentru toate sistemele la care au acces, spune Casey. La fel cum HR dezactivează logările unui angajat atunci când acesta pleacă, trebuie să existe un proces de închidere a agenților AI care și-au terminat sarcina, adaugă el.

„Trebuie să te asiguri că faci același lucru ca în cazul unui om: tai accesul la toate sistemele. Trebuie să ne asigurăm că îi conducem până la ieșire și că le luăm legitimația”.