Guvernul britanic testează un program bizar care promite să identifice potențiali criminali înainte ca aceștia să comită vreo crimă. Ideea pare desprinsă dintr-un film SF sau chiar din coșmarurile staliniste, doar că de data aceasta, algoritmii decid cine e periculos, iar libertățile individuale riscă să devină simple victime colaterale ale tehnologiei.
Un proiect guvernamental din Regatul Unit ridică semne grave de întrebare după ce s-a aflat că autoritățile lucrează la un sistem capabil să „prezică” cine ar putea deveni criminal. Folosind date de la poliție, justiție și alte instituții, algoritmul clasifică persoane pe baza unui scor de risc, fără ca aceștia să fi comis vreo faptă penală. Oficial, inițiativa se află încă în faza de cercetare, însă realitatea arată că astfel de tehnologii sunt deja utilizate pentru decizii de eliberare condiționată sau stabilirea unor pedepse.
Proiectul, supranumit „Homicide Prediction Project”, amintește în mod îngrijorător de practicile regimului totalitar sovietic, unde suspiciunea era suficientă pentru trimiterea în lagăr. Așa cum scria Aleksandr Soljenițîn în Arhipelagul Gulag, „granița dintre bine și rău trece prin fiecare inimă umană”, însă regimul alegea arbitrar cine este „prea riscant” pentru societate. Acum, Marea Britanie pare să repete istoria și înlocuiește comisarii politici cu cod sursă și calcule statistice.
Una dintre cele mai mari probleme ale acestor sisteme predictive este că ele creează un vid al responsabilității. Când un algoritm greșește, nimeni nu poate fi tras la răspundere. Matematiciana Cathy O’Neil a arătat cum profesori din SUA au fost concediați pe nedrept pe baza scorurilor generate de un algoritm educațional eronat, iar când au cerut explicații, li s-a răspuns: „așa a spus matematica”. Autoritățile au recunoscut limitele sistemului, dar au refuzat să intervină.
În context penal, consecințele sunt și mai grave. În SUA, un algoritm numit TIGER a refuzat eliberarea unui deținut aproape orb în vârstă de 70 de ani, pe motiv că există un risc ridicat de recidivă. Într-un alt caz, Curtea Supremă din Wisconsin a menținut o sentință dictată de un algoritm secret și a negat accesul apărării la datele care au influențat decizia pentru că tehnologia era „proprietate privată”.
Ceea ce face inițiativa britanică și mai alarmantă este faptul că a fost alimentată cu date personale sensibile, inclusiv istoricul de sănătate mintală, dependențe, tentative de suicid sau dacă o persoană a fost victimă a unei infracțiuni. Nimeni nu și-a dat consimțământul pentru folosirea acestor date în scopuri predictive.
Mai mult, baza de date folosită conține deja bias-uri, ceea ce înseamnă că algoritmii tind să suprasolicite riscuri în cazul minorităților etnice și al celor din zone sărace. Dacă un algoritm învață din datele istorice, iar acele date conțin discriminări, rezultatul va fi același: discriminare „automatizată” și imposibil de contestat.