Soluția OpenAI pentru eliminarea „halucinațiilor” ar putea distruge ChatGPT

OpenAI a publicat un studiu care explică de ce ChatGPT și alte modele de AI oferă uneori răspunsuri false. Problema nu este doar greu de rezolvat, ci poate fi chiar imposibil de eliminat fără a compromite complet experiența utilizatorilor.

Halucinațiile AI: inevitabile prin design. OpenAI ia măsuri

Raportul OpenAI arată că halucinațiile – răspunsuri false generate cu încredere – nu sunt simple erori de antrenament. Acestea sunt o consecință matematică inevitabilă a modului în care funcționează modelele lingvistice.

Aceste sisteme răspund prin prezicerea cuvânt cu cuvânt, pe baza unor probabilități. O singură greșeală poate atrage alte erori, iar la final propoziția pare coerentă, dar este falsă.

Wall Street reacționează la dezvăluirea NYT privind tatonările CIA – Iran. Indicii bursieri au revenit pe plus

21:37

ANALIZĂ

ASF simplifică autorizarea fondurilor de investiții. Noi reguli pentru piața de capital din România

20:04

Mai grav, chiar și cu date de antrenament perfecte, aceste erori rămân. Cercetătorii au demonstrat că rata de halucinație pentru propoziții este de cel puțin două ori mai mare decât la întrebări simple de tip „da/nu”.

Un exemplu concret: atunci când cercetătorii au cerut mai multor modele de ultimă generație să indice data nașterii unuia dintre autorii studiului, Adam Kalai, sistemele au oferit trei răspunsuri diferite și toate greșite.

Evaluarea care încurajează minciuna

Studiul critică modul actual de evaluare a performanței modelelor AI. Nouă dintre cele zece benchmark-uri majore utilizate de companii precum Google și OpenAI penalizează la fel de dur un răspuns de tip „nu știu” și un răspuns complet fals.

Astfel, modelele sunt „dresate” să ghicească întotdeauna. Matematica este clară: chiar și cu o șansă mică de a nimeri corect, ghicitul oferă un scor mai bun decât recunoașterea incertitudinii.

Acest mecanism a dus la un adevărat ciclu de răspunsuri false dar prezentate cu siguranță absolută, pentru că exact asta este recompensat, subliniază The Conversation.

Soluția propusă de OpenAI și efectele dezastruoase

OpenAI sugerează ca modelele să fie instruite să evalueze nivelul propriu de încredere înainte de a oferi un răspuns. De exemplu, sistemul ar putea răspunde doar dacă este sigur în proporție de peste 75%.

Astfel, rata halucinațiilor ar scădea. Însă pentru utilizatori ar însemna un șoc.

Dacă ChatGPT ar începe să spună „Nu știu” la 30% dintre întrebări – un scenariu conservator – experiența ar fi complet diferită. Utilizatorii obișnuiți cu răspunsuri rapide și sigure ar abandona probabil serviciul.

Un exemplu din lumea reală confirmă fenomenul: în Salt Lake City, un sistem de monitorizare a calității aerului pierde utilizatori atunci când afișează valori incerte, deși acestea sunt mai corecte decât cele prezentate cu încredere.

Costurile ascunse: problema economică a incertitudinii

Dincolo de impactul asupra utilizatorilor, există și o barieră economică. Modelele capabile să măsoare incertitudinea au nevoie de mult mai multă putere de calcul.

Pentru un sistem care procesează milioane de interogări pe zi, costurile devin uriașe. De aceea, companiile preferă modele rapide, care „ghicesc” cu încredere, în locul unor sisteme mai lente dar corecte.

Metodele avansate precum „active learning” – prin care AI ar pune întrebări suplimentare pentru a reduce incertitudinea – ar îmbunătăți precizia, dar ar crește de câteva ori costurile de operare.

Astfel de soluții sunt viabile doar în domenii unde erorile costă enorm, cum ar fi medicină, logistică sau finanțe. Pentru consumatori, unde se caută rapiditate și accesibilitate, ele sunt nerealiste.