Site-urile NoaMedia
Pot modelele AI open-weight să devină o amenințare pentru siguranța digitală? Recent, modelul GLM-5.2 dezvoltat de Z.ai a demonstrat performanțe apropiate de cele ale GPT-5.5, însă fără măsuri eficiente de protecție împotriva atacurilor cibernetice. Această situație ridică semne de întrebare privind riscurile și reglementările în domeniul siguranței AI.
Pe scurt:
- Modelele AI open-weight, precum GLM-5.2, ajung aproape de performanța GPT-5.5 și Claude Opus 4.7, dar siguranța rămâne insuficientă.
- Aceste modele pot fi folosite fără restricții după descărcarea greutăților, eliminând măsurile de siguranță aplicate la nivel de API.
- Riscurile includ utilizarea în atacuri cibernetice și biologice, iar lipsa unor cadre de siguranță crește vulnerabilitatea sistemelor.
- Experții recomandă filtrarea datelor de pre-antrenament și evaluări riguroase pentru a reduce riscurile modelelor open-weight.
Modelele AI open-weight ajung din urmă performanța, dar siguranța AI rămâne o provocare
Modelele AI open-weight avansează rapid, apropiindu-se de performanțele celor mai avansate sisteme, însă siguranța AI în fața atacurilor cibernetice rămâne insuficientă. GLM-5.2, modelul open-weight dezvoltat de compania chineză Z.ai, se situează aproape de GPT-5.5 de la OpenAI și Claude Opus 4.7 de la Anthropic în capacități cibernetice și biologice, conform unui raport al organizației nonprofit SaferAI.
Evaluarea SaferAI arată că GLM-5.2 nu a refuzat nicio solicitare legată de atacuri cibernetice sau biologie cu dublă utilizare, spre deosebire de Claude Opus 4.7, care a refuzat constant astfel de cereri. Acest aspect evidențiază riscurile modelelor open-weight, care pot fi folosite fără restricții după descărcarea greutăților, eliminând orice măsuri de siguranță aplicate la nivel de API.
Provocările siguranței AI în contextul modelelor open-weight
Dezvoltatorii precum OpenAI și Anthropic implementează clasificatoare și controale la nivel de API pentru a limita utilizarea periculoasă a modelelor. Totuși, aceste măsuri pot fi ocolite prin jailbreak-uri, care combină tehnici precum jocul de rol, impersonarea autorității și prompturi de urmărire. În cazul modelelor open-weight, aceste protecții devin ineficiente, deoarece greutățile pot fi rulate pe orice infrastructură fără restricții.
Henry Papadatos, director executiv al SaferAI, subliniază necesitatea de a evalua riscurile nu doar prin prisma capacităților, ci și a măsurilor de atenuare disponibile. El recomandă filtrarea datelor de pre-antrenament pentru a elimina informațiile periculoase, o tehnică care poate reduce cunoștințele biologice dăunătoare fără a afecta performanța generală a modelului.
Gestionarea riscurilor și reglementările în domeniul modelelor AI open-weight
Restricționarea selectivă a asistenței în securitate cibernetică reprezintă o altă strategie folosită de dezvoltatori. De exemplu, Opus 5 de la Anthropic limitează analiza vulnerabilităților doar la codul sursă necompilat pentru a reduce riscurile ofensive. În plus, evaluările riguroase de siguranță și reținerea greutăților modelelor considerate periculoase sunt practici recomandate.
În cazul GLM-5.2, Z.ai nu a publicat un cadru de siguranță sau evaluări de risc, iar compania nu a răspuns solicitărilor privind testele de siguranță pre-implementare. În China, reglementările AI se concentrează mai mult pe conținutul politic și stabilitatea socială decât pe riscurile cibernetice sau biologice, potrivit expertului Graham Webster de la Stanford Cyber Policy Center.
Susținătorii modelelor open-weight argumentează că accesul liber la greutăți ajută la apărarea împotriva atacurilor cibernetice, oferind companiilor posibilitatea de a anticipa și contracara amenințările. Clem Delangue, CEO al Hugging Face, afirmă că aceste sisteme pot preveni milioane de atacuri zilnice și pot identifica vulnerabilități înainte ca acestea să fie exploatate.
Cu toate acestea, Papadatos avertizează că accesul facil la capacități periculoase nu trebuie acceptat ca o normalitate. El subliniază că industria trebuie să se concentreze pe accesul controlat la funcționalități sigure, deoarece atacatorii adoptă rapid noile instrumente, în timp ce apărătorii întâmpină dificultăți în adaptare.
Noa Insight
Modelele AI open-weight, precum GLM-5.2 dezvoltat de Z.ai, au ajuns aproape de performanțele liderilor de piață ca GPT-5.5 și Claude Opus 4.7, conform unui raport SaferAI. Totuși, aceste modele prezintă provocări majore în ceea ce privește siguranța, în special în fața atacurilor cibernetice și riscurilor de utilizare dublă.
Implicații
Modelele open-weight permit rularea fără restricții, ceea ce face ineficiente măsurile de siguranță aplicate prin API-uri. Aceasta crește riscul utilizării periculoase, afectând modul în care companiile și dezvoltatorii gestionează securitatea și reglementările în domeniul AI.
Elemente-cheie
- Modelele open-weight sunt AI cu greutăți descărcabile ce pot fi rulate fără restricții pe orice infrastructură.
- GLM-5.2 nu a refuzat solicitări legate de atacuri cibernetice sau biologie cu dublă utilizare, spre deosebire de alte modele.
- Dezvoltatorii folosesc clasificatoare și controale API pentru a limita utilizarea periculoasă, dar acestea pot fi ocolite prin jailbreak-uri.
Sursa originală a acestui articol este https://techcrunch.com/2026/08/04/open-weight-ai-models-are-catching-up-to-the-frontier-the-safety-gap-remains/ (link)
