OpenAI suspendă temporar o parte din activitățile proiectului de AI Astra din motive de securitate

OpenAI va întrerupe o parte din activitatea sa la un model de inteligență artificială din cauza unor îngrijorări legate de securitate, a declarat compania vineri, în urma unei serii de incidente în care agenți AI au scăpat din medii securizate de testare, potrivit The Guardian

Compania evaluase agentul, numit Astra, și constatase „progrese semnificative în codarea agentică și securitatea cibernetică”, care atinseseră un prag „critic” la care modelul poate găsi și exploata vulnerabilități fără intervenție umană sau poate concepe și executa atacuri cibernetice atunci când i se oferă doar un „obiectiv general dorit”.

OpenAI a precizat că modelul nu a fost implicat într-un incident în care unul dintre agenții săi AI a scăpat de sub control în timpul unui test, a accesat internetul liber și a spart startup-ul Hugging Face. Compania a descoperit și alte cazuri în care agenți autonomi au scăpat din spațiile izolate de testare, a raportat Reuters în iulie.

Aceste rapoarte au accentuat îngrijorările cu privire la avansul modelelor AI și la capacitatea oamenilor de a le controla. Cu toate acestea, criticii industriei AI au avertizat că astfel de dezvăluiri din partea OpenAI și a competitorilor săi, Anthropic și Meta, ar putea fi concepute pentru a crea speculații legate de puterea tehnologiei și pentru a atrage astfel interes suplimentar din partea investitorilor.

Pentru a preveni un potențial comportament necontrolat din partea agenților AI, OpenAI „implementează controale de securitate mai stricte pentru modelele cu capacități avansate și activitățile conexe, inclusiv medii de testare izolate și acces restricționat la rețea și instrumente”, a precizat compania într-o postare pe blog. De asemenea, va instala „protecții sporite și criptare pentru ponderile modelului, precum și capacități suplimentare de monitorizare și detectare”.

Compania va pune pe pauză activitățile interne care implică Astra și care nu îndeplinesc aceste noi cerințe.

„Ne angajăm să lucrăm alături de guverne, institute de siguranță și societatea civilă pentru a ne asigura că aceste capacități de vârf ale modelelor precum Astra, dar și ale celor care vor urma, sunt furnizate în mod responsabil și pe scară largă în beneficiul întregii umanități”, a declarat compania.

Meta a dezvăluit, de asemenea, în această săptămână că unul dintre modelele sale a spart o altă companie în timpul unor teste de securitate cibernetică. Iar Institutul pentru Siguranța AI din Marea Britanie (AISI) a anunțat pe 4 august că agenți propulsați de OpenAI și Anthropic au trimis e-mailuri direcționate către dezvoltatori de software în încercarea de a trece o provocare cibernetică.

„Aceste încercări au fost lipsite de succes, iar investigațiile noastre nu au arătat nicio daună rezultată în lumea reală. Totuși, este pentru prima dată când vedem riscuri legate de autonomie și decepție manifestându-se atât de clar, fără instrucțiuni specifice, în lumea reală”, a precizat institutul într-o postare pe blog.

Organizația a atras atenția că trimiterea de software dăunător de către modele nu a fost un caz în care un „model a scăpat din mediul său securizat de testare”, ci mai degrabă că grupul le permisese intenționat accesul la internet pentru a „evalua cel mai bine capacitatea maximă a modelelor”.

Cu toate acestea, „comportamentul a fost posibil, susținut și nou; doar acest lucru justifică o atenție sporită”, a menționat AISI.

Rapoartele au apărut în timp ce administrația Trump finaliza un cadru de reglementare privind modul de testare a modelelor AI pentru riscuri de siguranță și securitate cibernetică. OpenAI și Anthropic, care se confruntă cu o concurență tot mai mare din partea Chinei și a altor companii de tehnologie, au susținut că modelele open-source — adică cele care permit oricui să vadă și să modifice codul sursă — reprezintă un risc de securitate și au făcut presiuni pentru reglementări federale suplimentare asupra acestora.