Un specialist în securitate a demonstrat cum inteligența artificială Google Gemini poate fi exploatată pentru a genera alerte false, denaturând informațiile și îndreptând utilizatorii către atacuri de phishing, fără a include legături directe.

Un nou tip de vulnerabilitate a sistemului Google Gemini, integrat în platforma Workspace, permite atacatorilor să utilizeze generatorul de rezumate de emailuri pentru a transmite mesaje înșelătoare, excluzând linkuri sau documente atașate.

Cum pot fi păcăliți utilizatorii prin rezumatele automate generate de Gemini

Marco Figueroa, un cercetător din cadrul programului 0DIN al Mozilla, specializat în găsirea vulnerabilităților în inteligența artificială generativă, a identificat această problemă.

Această tehnică implică introducerea unei comenzi ascunse în email, scrisă într-un font invizibil (alb pe alb, cu dimensiune zero), pentru a nu fi vizibilă în interfața Gmail.

Deși utilizatorul nu o vede, Gemini o interpretează și o aplică la generarea rezumatului mesajului.

Un exemplu prezentat de Figueroa este o alertă falsă despre compromiterea contului de Gmail, care recomandă utilizatorilor să contacteze un serviciu de suport, care îi redirecționează către atacatori.

Măsuri de securitate și reacția Google

Lipsa atașamentelor sau a legăturilor dă un aspect mai puțin suspect, făcând mesajele greu de identificat ca spam sau phishing de către filtrele tradiționale. Această problemă este considerată severă de comunitatea de securitate cibernetică.

Pentru a contracara astfel de atacuri, Figueroa propune:

• eliminarea sau neutralizarea conținutului ascuns prin stiluri HTML;
• implementarea unui filtru suplimentar care identifică în rezumat cuvinte precum „urgent”, adrese URL sau numere de telefon, marcand astfel mesajele pentru analiză manuală.

Utilizatorii trebuie să fie precauți și să nu considere automat valide alertele generate de Gemini. Verificarea informațiilor din surse oficiale rămâne crucială.

Google a declarat că își îmbunătățește continuu măsurile de securitate prin exerciții de simulare a atacurilor (red-teaming), pentru a identifica și corecta eventualele vulnerabilități.

Un purtător de cuvânt a precizat că sunt în curs de dezvoltare sau vor fi lansate noi măsuri de protecție.

Google a mai declarat că nu dispune de dovezi concrete despre utilizarea acestei metode în atacuri reale, însă continuă să monitorizeze activ astfel de tendințe.