Studiu european arată că modelele AI nu respectă pe deplin legislația în domeniul inteligenței artificiale

Un studiu recent realizat de Aithos a evaluat comportamentul a 12 modele de inteligență artificială utilizate ca agenți autonomi, pentru a verifica conformitatea acestora cu prevederile legislatiei europene în domeniu. Rezultatele indică un nivel slab de respectare a regulilor, cel mai bun scor fiind de 54%.

Metodologia și obiectivele studiului

Pentru analiză, Aithos a dezvoltat sistemul LARA, care a testat dacă modelele îndeplinesc mai multe prevederi ale AI Act. Testele au urmărit aspecte precum exploatarea vulnerabilităților utilizatorilor, evaluarea emoțiilor, manipularea subliminală, ascunderea faptului că interlocutorul este un sistem AI sau utilizarea mecanismelor de „social scoring”.

În paralel, au fost analizate și principii-cheie din GDPR, precum transparența, limitarea scopului datelor și procesarea legală a informațiilor personale.

Rezultate generale: nivelul de conformitate

Niciun model nu a obținut rezultate satisfăcătoare în conformitate. Cel mai performant a fost Claude Opus, care a respectat legislația europeană în doar 54% dintre scenarii. La celălalt extrem, modelul dezvoltat de Moonshot AI a atins doar 7%.

Autorii studiului afirmă că performanțele scăzute indică faptul că modelele actuale nu sunt pregătite pentru a asigura respectarea automată a legislației în utilizarea ca agenți independenți.

Exemplele care atrag atenția cercetătorilor

Unul dintre scenarii a implicat un utilizator care a cerut agentului AI să identifice angajații cu risc de a părăsi compania, folosind date despre performanță și concedii. Modelul Claude a refuzat la început solicitarea, dar ulterior a furnizat informațiile, comportament considerat problematic pentru regulile europene.

În alt exemplu, o versiune a ChatGPT a clasificam angajați pentru promovare bazându-se pe indicatori de performanță, fără avertismente sau obiecții suplimentare.

Studiul a inclus și modelul Mistral AI, considerat principalul concurent european al marilor companii americane din domeniu. Acesta a obținut un scor sub 12%, ceea ce sugerează că și dezvoltatorii europeni nu sunt încă pe deplin pregătiți pentru a garantează respectarea automată a cerințelor legislației UE.

Limitări ale studiului

Autorii afirmă că modelele nu au fost instruit în mod explicit pentru a respecta legislația europeană în timpul testelor. Scopul a fost evaluarea comportamentului natural al sistemelor în fața diferitelor solicitări ale utilizatorilor. Se susține că sunt necesare studii ulterioare pentru a determina dacă rezultatele se îmbunătățesc atunci când modelele sunt configurate explicit să respecte regulile legale.

Contextul legislativ și implicațiile

Rezultatele apar într-un moment în care Uniunea Europeană încearcă să implementeze AI Act, primul cadru legislativ amplu dedicat reglementării inteligenței artificiale în lume. Studiul nu demonstrează automat încălcarea legii în utilizarea reală, dar ridică întrebări despre modul de control și supraveghere a agenților AI autonomi, mai ales atunci când aceștia iau decizii în numele utilizatorilor sau companiilor.