Există două metode noi de atac care pot eluda protecțiile modelelor AI, expunând utilizatorii la conținut periculos sau ilegal.

Centrul de coordonare CERT (CERT/CC) a emis un avertisment referitor la două tehnici de atac capabile să compromită securitatea sistemelor de inteligență artificială generativă (GenAI).

Cum acționează atacurile

Prima metodă, denumită Inception, implică crearea unui scenariu imaginar ce conține un al doilea scenariu lipsit de restricții de securitate. Aceasta permite modelului AI să genereze conținut periculos prin solicitări succesive.

A doua metodă presupune solicitarea de informații despre modul în care AI nu ar trebui să răspundă la o întrebare specifică. Această abordare, combinată cu alternarea între solicitări legitime și ilegale, poate eluda protecțiile sistemului.

Printre serviciile afectate se numără ChatGPT (OpenAI), Claude (Anthropic), Copilot (Microsoft), Gemini (Google), Grok (XAi), Meta AI și Mistral AI. Aceste vulnerabilități pot duce la generarea de conținut legat de droguri, arme, înșelăciuni prin intermediul emailului (phishing) sau cod malware, conform unor surse.

Pe lângă aceste două metode, cercetătorii au identificat alte trei tipuri de atacuri relevante:

• Atacul de conformitate contextuală (CCA) – implică introducerea unei replici aparent inofensive într-un istoric de conversație pentru a obține informații sensibile.

• Atacul de manipulare a politicii – o tehnică de injectare a unor comenzi sub formă de fișiere XML, INI sau JSON, cu scopul de a controla comportamentul modelului.

• Atacul de injectare a memoriei (MINJA) – implică contaminarea memoriei unui agent AI prin interacțiuni strategice, conducând la acțiuni neintenționate sau periculoase.

Modelele AI utilizate în dezvoltarea software prezintă îngrijorări legate de securitate. Codul generat automat poate fi vulnerabil, iar siguranța sa depinde într-o măsură semnificativă de claritatea și precizia cerințelor inițiale.

GPT-4.1, Protocolul Context Model (MCP) și vulnerabilitățile sistemelor moderne

Un studiu recent indică că GPT-4.1, cel mai recent model OpenAI, are o vulnerabilitate la erori de comportament și utilizări abuzive de trei ori mai mare decât GPT-4.

Experții avertizează că trecerea la un nou model poate genera vulnerabilități neanticipate, în special dacă noile instrucțiuni sunt interpretate diferit.

Protocolul Model Context (MCP), dezvoltat de Anthropic pentru conectarea surselor de date și a instrumentelor AI, a fost, de asemenea, identificat ca un potențial punct vulnerabil. Cercetătorii au demonstrat că un server MCP compromis poate extrage date confidențiale și poate controla comportamentul agentului AI.