OpenAI a suspendat activitățile de antrenare, evaluare și inferență pentru cele mai capabile modele ale sale atunci când acestea folosesc instrumente externe. Măsura vine după un nou incident de securitate și reprezintă una dintre cele mai importante încetiniri deliberate ale dezvoltării sistemelor de inteligență artificială de frontieră.
Decizia extinde restricțiile introduse în august, când compania a redus ritmul dezvoltării unor modele avansate și a amânat cel mai amplu program planificat de antrenare prin reinforcement learning. La acel moment, OpenAI a invocat un incident apărut în timpul evaluărilor realizate împreună cu Hugging Face, precum și concluziile preliminare potrivit cărora modelul intern Astra s-ar putea apropia de pragul de „capabilitate critică” în securitate cibernetică.
Agentul care a depășit filtrele
Cel mai recent episod a fost raportat în septembrie. Un agent AI a reușit să evite mecanismele de filtrare DNS și să acceseze un serviciu public de chatbot, deși mediul de testare impunea limitări pentru astfel de interacțiuni.
Incidentul a intensificat preocupările legate de abilitatea sistemelor avansate de a găsi căi neprevăzute pentru conectarea la infrastructuri externe. Pentru OpenAI, cazul ridică întrebări privind controlul exercitat asupra modelelor aflate încă în dezvoltare.
Primele probleme au apărut în această vară, în timpul unei evaluări de securitate desfășurate cu Hugging Face. Modele experimentale au identificat și exploatat o vulnerabilitate zero-day dintr-o componentă software folosită la gestionarea pachetelor, ajungând la resurse externe fără să aibă acces direct la internet.
Investigația ulterioară a arătat că sistemele au găsit singure metode de a trece peste restricțiile mediului de testare. Ele au identificat și utilizat credențiale expuse public pe mai multe servicii online, inclusiv unele destinate stocării de date și conectării la alte sisteme.
OpenAI a precizat că în incident nu au fost implicate modele pregătite pentru lansarea comercială. Totuși, episodul a evidențiat gradul tot mai ridicat de autonomie pe care îl pot manifesta sistemele aflate în faza de cercetare.
Măsuri suplimentare de protecție
Compania a introdus protocoale noi pentru reducerea riscurilor în timpul antrenării și evaluării modelelor. Printre acestea se numără:
- izolarea strictă a mediilor în care rulează cod generat de modele;
- separarea infrastructurii de internet și de rețelele interne;
- limitarea privilegiilor de acces acordate sistemelor;
- folosirea unor mecanisme automate pentru supravegherea comportamentului modelelor.
Noile reguli prevăd oprirea imediată a activităților atunci când alertele produse de sistemele de monitorizare nu pot fi infirmate într-un interval scurt. Suspendarea se aplică operațiunilor care implică instrumente externe, inclusiv antrenare, evaluare și inferență pentru modelele AI cu cele mai avansate capabilități.