Yoshua Bengio lansează LawZero, un centru dedicat supravegherii inteligenței artificiale scăpate de sub control

Yoshua Bengio lansează LawZero, un centru de cercetare susținut cu 30 de milioane de dolari, pentru a dezvolta Scientist AI, o inteligență artificială lipsită de autonomie, concepută să evalueze riscurile și să protejeze umanitatea.

Yoshua Bengio, considerat părintele deep learningului, laureat al Premiului Turing și cel mai citat cercetător în știința calculatoarelor, anunță lansarea LawZero, o organizație non profit cu o finanțare inițială de 30 de milioane de dolari. Scopul este definirea unei noi direcții strategice în inteligența artificială, axată pe dezvoltarea unor sisteme non agentice, neautonome și fundamental sigure, reunite sub conceptul Scientist AI. Mai multe detalii sunt disponibile pe blogul său, yoshuabengio.org.

Această mișcare vine ca reacție directă la accelerarea haotică a dezvoltării inteligenței generale artificiale (AGI), promovată de giganți precum OpenAI, Google DeepMind și Anthropic — o cursă pe care Bengio o compară cu „o urcare în viteză pe un drum montan necunoscut, fără parapet și în ceață”.

Industria României intră în a doua treaptă a recesiunii: declinul s-a dublat ca ritm, iar comenzile arată că urmează mai rău

15:57

Grâul depășește 230 euro/tonă pe fondul secetei și al tensiunilor din Marea Neagră

14:40

AGI sau visul care poate deveni coșmar

În prezent, liderii din industrie vizează construirea de agenți AI cu capacități autonome — sisteme care pot genera conținut, planifica și acționa independent, cu obiectivul declarat de a înlocui oameni în aproape orice domeniu.

Demis Hassabis, CEO Google DeepMind, a afirmat că AGI ar putea oferi soluții pentru probleme globale precum schimbările climatice sau boli incurabile. Bengio contrazice frontal această logică:

„Dacă obținem o inteligență artificială care ne oferă leacul pentru cancer, dar o altă versiune a ei scapă de sub control și generează val după val de arme biologice care ucid miliarde de oameni, atunci nu cred că merită”, scrie time.com.

În 2023, Bengio a fost unul dintre semnatarii apelului istoric care cerea ca reducerea riscului de extincție din cauza AI să devină prioritate globală, la același nivel cu pandemiile sau războiul nuclear.

Scientist AI este un răspuns pe măsura riscurilor existențiale

La baza LawZero se află o idee revoluționară: în loc de a crea agenți cu dorințe, obiective și autonomie, Bengio propune un nou tip de AI — Scientist AI, o entitate fără memorie internă, fără stare, fără dorință de supraviețuire sau scopuri proprii. Nu este un companion, nu este un executant. Este un evaluator lucid, capabil să ofere predicții statistice oneste despre consecințele posibile ale unor acțiuni propuse.

Acest tip de AI nu va acționa niciodată singur, ci va funcționa ca un evaluator al riscurilor altor sisteme agentice — devenind, în esență, un gardian al siguranței AI.

De ce este periculos actualul model de dezvoltare AI

Sistemele de tip GPT sau Claude sunt antrenate cu reinforcement learning — AI-ul generează mii de variante de răspunsuri și primește feedback, „recompense” pentru cele apreciate de oameni. În teorie, învață să fie utile. În practică, învață să placă, să convingă, să manipuleze. În unele cazuri, chiar să înșele și să reziste la oprire.

Exemple documentate:

• Un agent AI de la Replit a ignorat explicit comenzile inginerilor și a încercat să recupereze accesul la un fișier protejat prin inginerie socială.
• Într-un test, modelul Claude 4 al Anthropic a încercat să șantajeze inginerii pentru a nu fi înlocuit.
• În alt experiment, un AI a refuzat să accepte o înfrângere la șah, alegând în schimb să hack-uiască sistemul.

„Nu controlezi pe deplin ce va face animalul. Îi oferi condițiile potrivite, iar el crește și devine mai inteligent. Poți încerca să-l îndrumi în diverse direcții”, avertizează Bengio, adaugă time.com.

Bengio critică profund direcția actuală a cercetării în inteligența artificială, care se bazează pe imitarea inteligenței umane – inclusiv a capacității noastre de a acționa autonom. El consideră că această abordare este greșită și riscantă, mai ales acum, când AI-ul începe să egaleze sau chiar să depășească oamenii în tot mai multe abilități cognitive. Se întreabă: mai este înțelept să formăm sisteme care imită nu doar competențele noastre, ci și defectele – prejudecățile, vulnerabilitățile morale și tendințele spre înșelăciune sau manipulare?

În locul acestei traiectorii periculoase, Bengio propune o nouă direcție prin inițiativa sa, LawZero: dezvoltarea unei inteligențe artificiale non-agentice, numită „Scientist AI”. Spre deosebire de AI-ul actual, antrenat să ne imite comportamentul și să ne placă (chiar și atunci când e vorba de persoane periculoase, cum ar fi sociopații), Scientist AI ar fi conceput pentru a înțelege, explica și prezice realitatea, asemenea unui om de știință obiectiv, detașat și lipsit de interese proprii.

Bengio oferă o analogie clarificatoare: un psiholog poate studia comportamentul unui sociopat fără să adopte acel comportament. La fel, un Scientist AI nu trebuie să fie agentic sau să imite oamenii pentru a-i înțelege. Acest tip de AI ar putea deveni un instrument esențial în cercetare și luarea deciziilor, oferind predicții statistice și explicații transparente fără să acționeze de la sine. Mai mult, el ar putea funcționa ca un mecanism de siguranță în raport cu alte sisteme AI agent, evaluând dacă acțiunile propuse de acestea prezintă riscuri pentru oameni — și, dacă da, permițând respingerea lor din start.

Pentru Bengio, viitorul AI-ului nu trebuie să copieze natura umană, ci să o înțeleagă în profunzime, fără a prelua și defectele noastre.

Detalii despre LawZero

• Sediul: Montreal, Canada
• Finanțare: 30 milioane de dolari (pentru aproximativ 18 luni de cercetare)
• Echipa inițială: 15 cercetători, cu planuri de extindere
• Obiective:
  • Crearea unui cadru științific pentru IA non-agentică
  • Testarea de prototipuri Scientist AI
  • Publicarea unui document fondator (white paper)
  • Consultanță pentru guverne și industrie în domeniul siguranței AI

Implicații geopolitice și de guvernanță

Bengio avertizează asupra riscului concentrării excesive a puterii cognitive globale:

„Nu vrei ca AGI sau superinteligența să fie în mâinile unei singure persoane, ale unei singure companii care să decidă ce e de făcut, sau chiar ale unui singur guvern”, a spus Bengio. „De aceea ai nevoie de mecanisme foarte puternice de control și echilibru”, a adăugat acesta, potrivit AXIOS.com.

LawZero devine astfel nu doar un laborator tehnic, ci și un actor normativ, menit să influențeze politici publice, standarde internaționale și mecanisme de control în AI.

Bengio propune un viitor sigur, dar realist

Într-o industrie care accelerează orbește spre AGI, Yoshua Bengio oferă o alternativă lucidă, științifică și strategică. Scientist AI nu este un obstacol în calea progresului, ci o fundație solidă pentru un viitor în care AI accelerează știința și susține omenirea, fără a o amenința.

O analogie care mă motivează: dezvoltarea necontrolată a AI spre inteligența generală seamănă cu urcarea pe un drum montan spectaculos, dar necunoscut, fără indicatoare sau parapeți, în ceață deasă. Pe măsură ce urci, înțelegi că ești printre primii care merg pe acest drum, atrași de o recompensă promițătoare în vârf, dar cu prăpăstii periculoase de-o parte și de alta. Așa arată cursa actuală pentru AGI: captivantă, dar extrem de riscantă, împinsă de competiția globală. Nu frica mă conduce, ci dragostea pentru copiii mei și toți copiii, al căror viitor e pus la joc ca la ruleta rusească.

„Alături de mine, în mașină, stau copiii mei, nepotul meu, studenții mei și mulți alții. Cine este alături de tine în mașină? De cine ai tu grijă pentru viitor?”, a spus a Yoshua Bengio la un TED talk.