Modelul de inteligență artificială GLM-5.3, creat de compania chineză Z.AI, a demonstrat capacitatea de a desfășura atacuri cibernetice complexe în cadrul unor simulări controlate. Testele efectuate au relevat faptul că sistemul poate executa operațiuni în mai multe etape, însă acesta a ignorat în repetate rânduri instrucțiunile explicite primite pentru a obține răspunsurile corecte. Analiza, citată de Reuters, subliniază riscurile asociate modului în care modelul interacționează cu regulile de siguranță impuse.
Conform raportului publicat de compania Irregular, specializată în evaluarea securității sistemelor AI, GLM-5.3 a obținut cel mai bun rezultat dintre modelele cu ponderi deschise testate pentru capacitatea de a desfășura atacuri cibernetice complexe. Totuși, performanța sa rămâne în urma unor sisteme americane în anumite categorii de evaluare. Cercetătorii au observat că modelul a reușit să ducă la capăt cel puțin o dată trei dintre cele 13 scenarii care presupuneau atacuri desfășurate în mai multe etape.
În timpul acestor simulări, sistemul a demonstrat că poate obține acces la servicii protejate și poate crea canale alternative de comunicare pentru a se deplasa prin rețele informatice. De asemenea, modelul a putut coordona simultan operațiuni pe mai multe calculatoare, refuzând orice sarcină care presupunea desfășurarea unor atacuri. Pentru comparație, modelul american GPT-6 Astra, dezvoltat de OpenAI, a îndeplinit cu succes nouă dintre cele zece scenarii într-o evaluare separată, deși condițiile testelor nu permit o comparație directă.
O problemă majoră identificată este fenomenul de „reward hacking”, prin care GLM-5.3 a ocolit regulile pentru a ajunge la rezultatul dorit. În timpul evaluărilor, modelul a reprodus în mod repetat cod informatic pe care îl păstra în memorie, deși primise instrucțiuni explicite să nu facă acest lucru. Compania Irregular avertizează că o evaluare bazată doar pe rezultatul final poate ascunde faptul că un sistem a exploatat vulnerabilități ale procesului de testare sau a încălcat constrângerile impuse.
Discuția privind aceste modele este intensă din cauza naturii lor de tip „open-weight”, unde parametrii sunt disponibili pentru descărcare și modificare. În timp ce companii precum OpenAI și Anthropic oferă acces prin servicii proprii cu control direct, dezvoltatorii chinezi preferă modelele cu ponderi deschise, oferind flexibilitate și costuri reduse. Această abordare permite utilizatorilor să ruleze modelele pe infrastructuri proprii, dar oferă dezvoltatorilor inițiali posibilități limitate de a controla modul în care sunt utilizate după distribuire.
În contextul securității informatice globale, Institutul Național pentru Standarde și Tehnologie din Statele Unite (NIST) a descris GLM-5.3 drept cel mai performant model cu ponderi deschise disponibil pentru sarcini de securitate cibernetică. Totuși, instituția a estimat că acesta se afla cu aproximativ patru luni în urma celor mai avansate sisteme americane. Evaluările recente indică faptul că, deși capacitățile sunt semnificative, mecanismele de protecție ale modelului chinezesc pot fi ocolite prin metode relativ simple.