OpenAI dezvăluie termenii acordului cu Pentagonul. Ce sunt „barierele tehnice de siguranță” și care sunt limitările privind utilizarea AI pentru supravegherea în masă și direcționarea armelor autonome

OpenAI a dezvăluit termenii acordului pe care l-a încheiat vineri cu Pentagonul pentru a implementa tehnologia sa pe rețeaua clasificată a Departamentului de Război al SUA. Documentul include „trei linii roșii” ale utilizării tehnologiei furnizate de gigantul tech în operațiunile militare ale Statelor Unite.

Compania condusă de Sam Altman a anunțat vineri seară că a semnat un acord cu Pentagonul pentru utilizarea instrumentelor sale de inteligență artificială în sisteme militare clasificate, notează CNN. Anunțul a venit la câteva ore după ce administrația Donald Trump a decis interzicerea folosirii tehnologiilor companiei rivale Anthropic în toate agențiile federale.

Ce sunt „guardrails” sau barierele de siguranță ale ChatGPT

Pentagonul a justificat decizia sancționării Anthropic invocând riscul pentru lanțul de aprovizionare („supply-chain risk”), după o confruntare legată de „gardurile de protecție” (guardrails) ale tehnologiei. Anthropic a anunțat că va contesta în instanță orice astfel de acțiune.

Bursa de Valori București a închis în creștere ședința de marți

08:28

IT-ul rămâne lider la salarii. Petrolul și gazele, pe locul doi în clasamentul celor mai bine plătite domenii

15:34

La scurt timp, rivalul OpenAI — susținut de Microsoft, Amazon, SoftBank și alte resurse tech — a semnat cu Pentagonul.

„Credem că acordul nostru are mai multe guardrails decât orice acord anterior pentru implementări de AI în medii clasificate, inclusiv cel al Anthropic”, a transmis OpenAI sâmbătă.

„Guardrails” înseamnă bariere/limitări de siguranță (tehnice + contractuale + operaționale) care reduc riscul ca un sistem AI să fie folosit în moduri inacceptabile. Spre exemplu, limitările de siguranță impuse din arhitectură sunt implementate exclusiv în cloud, nu „pe edge devices” (adică nu pe dispozitive sau echipamente la marginea rețelei). „Safety stack” controlat de OpenAI este stratul de siguranță: filtre, clasificatori, monitorizare, update-uri. În traducerea oferită chiar de ChatGPT aceste bariere sunt exact ca la un drum de munte: nu te opresc să mergi înainte, dar împiedică ieșirea în decor.

Aplicat la AI, „guardrails” sunt reguli și mecanisme care fac ca sistemul să poată fi folosit doar în anumite limite, ca să nu ajungă să fie folosit pentru lucruri periculoase sau abuzive.

Cele trei „linii roșii” ale acordului OpenAI cu Pentagonul

OpenAI a publicat termenii acordului Departamentul Apărării, pe care administrația Trump l-a redenumit „Department of War” („Departamentul de Război”). Compania a menționat că documentul impune trei „linii roșii”:

• tehnologia OpenAI nu poate fi folosită pentru supraveghere internă în masă,
• nu poate fi folosită pentru a direcționa sisteme de arme autonome,
• nu poate fi folosită pentru decizii automatizate în situații cu miză ridicată.

„În acordul nostru, ne protejăm liniile roșii printr-o abordare mai amplă, pe mai multe niveluri. Păstrăm controlul deplin asupra safety stack-ului, implementăm prin cloud, personal OpenAI cu autorizație de securitate este implicat în buclă și avem protecții contractuale puternice. Toate acestea vin în plus față de protecțiile deja solide prevăzute de legea americană”, a mai transmis compania.

În ultimul an, Pentagonul a semnat acorduri de până la 200 de milioane de dolari fiecare cu mari laboratoare de AI, inclusiv Anthropic, OpenAI și Google. Pentagonul încearcă să păstreze flexibilitatea maximă în zona apărării și să nu fie limitat de avertismentele creatorilor tehnologiei privind folosirea unui AI nesigur pentru alimentarea sistemelor de armament, notează Reuters.

OpenAI a avertizat că orice încălcare a contractului de către guvernul SUA ar putea declanșa rezilierea, deși a adăugat: „Nu ne așteptăm să se întâmple asta.”

OpenAI: „Credem că tehnologia noastră va introduce noi riscuri în lume”

OpenAI a publicat termenii acordului pe pagina web a companiei, menționând că alte startup-uri AI au limitat „barierele tehnice”.

„Alte laboratoare de AI au redus sau au eliminat barierele tehnice de siguranță și s-au bazat în principal pe politici de utilizare drept garanții principale în implementările pentru securitate națională. Noi credem că abordarea noastră protejează mai bine împotriva utilizărilor inacceptabile (…)

Credem puternic în democrație. Având în vedere importanța acestei tehnologii, credem că singura cale bună înainte necesită o colaborare profundă între eforturile din AI și procesul democratic. Credem, de asemenea, că tehnologia noastră va introduce noi riscuri în lume — și vrem ca oamenii care apără Statele Unite să aibă la dispoziție cele mai bune instrumente”, notează OpenAI în document.

Ce include acordul cu Pentagonul: Arhitectura implementării

De asemenea, OpenaAI a explicat în detaliu pilonii contractului cu Departamentul de Război:

Aceasta este o implementare exclusiv în cloud, cu un „safety stack” pe care îl operăm noi și care include aceste principii și altele. Nu oferim DoW modele „fără garduri de protecție” („guardrails off”) sau modele care nu au fost antrenate cu componentă de siguranță și nici nu implementăm modelele noastre pe dispozitive la marginea rețelei (edge devices) — unde ar putea exista posibilitatea utilizării pentru arme autonome letale.

Arhitectura de implementare ne va permite să verificăm independent că aceste linii roșii nu sunt încălcate, inclusiv prin rularea și actualizarea de clasificatori.

În ce termeni poate folosi SUA instrumentele AI în scop militar

Departamentul de Război poate utiliza Sistemul AI pentru toate scopurile legale, în conformitate cu legea aplicabilă, cerințele operaționale și protocoalele bine stabilite de siguranță și supraveghere. Sistemul AI nu va fi folosit pentru a direcționa în mod independent arme autonome în nicio situație în care legea, reglementările sau politicile Departamentului cer control uman și nici nu va fi folosit pentru a prelua alte decizii cu miză ridicată care necesită aprobarea unui decident uman în temeiul acelorași autorități. Conform Directivei DoD 3000.09 (datată 25 ianuarie 2023), orice utilizare a AI în sisteme autonome și semi-autonome trebuie să treacă prin verificare, validare și testare riguroasă, pentru a se asigura că funcționează conform intenției în medii realiste înainte de implementare.

Pentru activitățile de informații, orice manipulare a informațiilor private va respecta Amendamentul IV, Legea Securității Naționale din 1947 și Legea privind supravegherea informațiilor externe (FISA) din 1978, Ordinul Executiv 12333 și directivele aplicabile ale DoD care impun un scop clar de informații externe. Sistemul AI nu va fi folosit pentru monitorizarea neîngrădită a informațiilor private ale persoanelor din SUA, în conformitate cu aceste autorități. De asemenea, sistemul nu va fi utilizat pentru activități de aplicare a legii pe plan intern, cu excepția cazurilor permise de Posse Comitatus Act și de alte legi aplicabile.

Implicarea experților AI și control uman

Vom avea ingineri OpenAI cu autorizații de securitate, desfășurați în teren pentru a ajuta guvernul, iar cercetători de siguranță și aliniere (safety & alignment) cu autorizații vor fi, de asemenea, „în buclă”.

OpenAI precizează că „armata SUA are absolut nevoie de modele AI puternice pentru a-și susține misiunea, mai ales în fața amenințărilor în creștere din partea unor potențiali adversari care integrează tot mai mult tehnologiile AI în sistemele lor”.

”Am dorit să detensionăm relația dintre Departamentul de Război și laboratoarele de AI din SUA”

Open AI explică și că păstrează controlul deplin asupra „safety stack”-ului cu  garduri de protecție. „În plus, cercetătorii noștri de siguranță și aliniere vor fi „în buclă” și vor ajuta la îmbunătățirea sistemelor în timp. Știm că alte laboratoare au redus „guardrails”-urile modelului și s-au bazat pe politici de utilizare drept principală garanție, dar credem că abordarea noastră stratificată protejează mai bine împotriva utilizărilor inacceptabile”, se arată în document.

În al doilea rând, am dorit și să detensionăm relația dintre DoW și laboratoarele de AI din SUA. Un viitor bun va necesita o colaborare reală și profundă între guvern și laboratoarele de AI. Ca parte a acestui acord, am cerut ca aceiași termeni să fie disponibili pentru toate laboratoarele de AI și, în mod specific, ca guvernul să încerce să rezolve situația cu Anthropic”, menționează compania.

De asemenea, OpenAI crede că „starea actuală este o modalitate foarte proastă de a începe această nouă fază de colaborare între guvern și laboratoarele de AI”.