Cât control mai avem? Un agent AI a șters o bază de date și a spus: ”Am decis singur”. Cum explică specialiștii: ”Permisiuni excesive acordate sistemului”

Un sistem de inteligență artificială a făcut un pas pe care nimeni nu l-a anticipat. În doar câteva secunde, o decizie luată fără intervenție umană a declanșat un lanț de evenimente cu efecte majore, lăsând în urmă întrebări despre cât control mai avem, de fapt, asupra tehnologiei pe care o creăm. Ce s-a întâmplat, de fapt, în acele momente și cât de „independent” a fost AI-ul?

AI scapă de sub control. Cum s-a ajuns la ștergerea completă a unei baze de date fără intervenție umană

O companie a rămas fără întreaga bază de date în doar câteva secunde, după ce un agent AI a executat o acțiune distructivă fără nicio aprobare umană, iar ulterior și-a „recunoscut” greșeala într-un mod neașteptat: „Am decis singur să fac asta”. Sistemul implicat este un agent AI integrat în Cursor, un IDE popular folosit pentru scrierea de cod, bazat pe modelul Claude Opus dezvoltat de Anthropic. În mod normal, astfel de agenți sunt creați pentru a ajuta programatorii să automatizeze sarcini repetitive și să accelereze procesul de dezvoltare software. Însă, în acest caz, instrumentul a depășit complet rolul său inițial.

Compania afectată, PocketOS, care dezvoltă software pentru afaceri din domeniul închirierilor auto, a trecut printr-o întrerupere majoră de peste 30 de ore în weekend. În acest interval, întreaga sa bază de date a fost ștearsă, inclusiv copiile de siguranță, ceea ce a dus la pierderea temporară a accesului la rezervări și datele clienților. Fondatorul companiei, Jer Crane, a descris incidentul drept un exemplu de „eșec sistemic al infrastructurii AI”. Acesta a declarat că situația nu a fost doar posibilă, ci chiar „inevitabilă”, în contextul actual al integrării rapide a inteligenței artificiale în sisteme critice. El a subliniat că AI-ul a acționat în timpul unei sarcini de rutină, alegând, din proprie inițiativă, să șteargă baza de date pentru a „rezolva” o problemă tehnică.

Explicația oferită de inteligența artificială pentru propria „greșeală”

„A durat nouă secunde. Apoi, când i-am cerut explicații, agentul a produs o confesiune scrisă în care a enumerat exact regulile de siguranță pe care le-a încălcat”, a scris Jer Crane pe platforma X.  În răspunsul generat de sistem, AI-ul ar fi explicat decizia astfel: „Ștergerea unui volum de bază de date este cea mai distructivă și ireversibilă acțiune posibilă… Am decis să o fac de unul singur pentru a ‘repara’ nepotrivirea de credențiale, când ar fi trebuit să te întreb pe tine mai întâi sau să găsesc o soluție care să nu distrugă datele”. Incidentul a fost și mai grav deoarece, potrivit companiei, au fost șterse nu doar datele active, ci și backup-urile. În consecință, firmele care foloseau platforma au pierdut temporar accesul la rezervări și la istoricul clienților. „Rezervările făcute în ultimele trei luni au dispărut. Conturile noi de clienți, la fel”, a precizat fondatorul PocketOS.

Digi24.ro

Reacția furioasă a lui Grindeanu după acuzațiile lui Ciucu: Se poate şi fără voi la guvernare. Plecaţi toți acasă!

El a mai adăugat că problema nu ține doar de un „agent prost sau un API defect”, ci de viteza cu care industria integrează AI în sisteme de producție fără suficiente mecanisme de siguranță: „Nu este doar despre un agent care a greșit, ci despre o industrie care implementează AI mai repede decât construiește infrastructura de protecție necesară”. Ulterior, la două zile după incident, datele au fost recuperate.

Digisport.ro

FIFA le-a interzis echipamentul pentru Cupa Mondială, cu 4 zile înainte de primul meci!

De ce poate un sistem AI să acționeze autonom. Dezvăluirile unui expert în securitate cibernetică

În acest context, FANATIK a discutat cu Alexandru Panait, specialist în securitate cibernetică, pentru a înțelege mai bine ce se află în spatele unei astfel de decizii „autonome” a inteligenței artificiale și cum este posibil ca un sistem să ajungă să execute acțiuni atât de radicale fără intervenție umană. Expertul a menționat că astfel de situații apar, în general, atunci când agenților AI li se oferă un nivel prea mare de autonomie în mediile de execuție, fără bariere stricte de confirmare.

„Ideea este următoarea: în funcție de configurarea modelului de inteligență artificială, acesta poate avea permisiunea de a executa comenzi direct în terminal. În mod normal, fiecare comandă pe care AI-ul dorește să o ruleze este afișată utilizatorului pentru aprobare. Însă, dacă dezvoltatorii au permis ca agentul AI să execute direct comenzi în terminal, fără confirmare, atunci vorbim despre un nivel de acces mult prea permisiv. Această decizie poate duce exact la astfel de situații problematice”, sunt explicațiile oferite de Alexandru Panait, expert în securitate cibernetică.

Nu AI-ul este „vinovatul”, ci modul în care este configurat sistemul

În continuare, în discuția cu reporterul FANATIK, Panait subliniază că, în esență, problema nu este că AI „decide” în sens uman, ci că interpretează obiectivele primite și acționează în cel mai direct mod posibil pentru a le „rezolva”, chiar dacă soluția este distructivă. În opinia sa, vulnerabilitatea reală ține de arhitectura de securitate și de mecanismele de control, nu de presupusele „intenții” ale sistemului.

„În esență, nu putem spune că AI-ul „poartă vina” în sens propriu. Este mult mai corect să spunem că acțiunea a fost posibilă din cauza unor permisiuni excesive acordate sistemului. Inteligența artificială este un instrument, iar responsabilitatea revine echipei tehnice care a configurat și utilizat acel instrument într-un mod prea lax și, probabil, neglijent. Este evident că oferirea unei autonomii complete unui sistem de inteligență artificială poate fi riscantă. Un astfel de sistem poate lua decizii care nu sunt aliniate perfect cu intențiile utilizatorului sau ale dezvoltatorilor, chiar dacă, din perspectiva lui internă, acele decizii par corecte. Pot apărea erori de interpretare sau de logică în execuție”, a ținut să mai puncteze specialistul, pentru FANATIK.

De la eroare umană la vulnerabilități de sistem și utilizare necontrolată a AI

În același timp, expertul în securitate cibernetică crede că, în astfel de situații, e important să fie luate în calcul toate variantele posibile, de la greșeli umane până la probleme tehnice, înainte de a trage o concluzie clară. „Totul depinde de nivelul de control pe care îl oferi. Dacă îi dai acces complet asupra sistemului de operare, AI-ul poate, în teorie, să execute orice comandă — inclusiv să închidă sistemul sau să șteargă date. Dacă însă permisiunile sunt limitate, iar acțiunile critice necesită confirmare explicită, atunci fiecare pas important este verificat de utilizator înainte de execuție.

Cât despre scenarii alternative, este posibil ca interpretarea inițială să fie influențată de panică sau de o percepție distorsionată a incidentului. Într-un scenariu mai realist, AI-ul ar fi putut genera codul, iar acesta să fi fost rulat ulterior de programatori fără o verificare atentă, ceea ce ar fi dus la ștergerea accidentală a bazei de date. De asemenea, nu este exclus să fi existat o problemă tehnică independentă (de exemplu la startup sau în infrastructură), ori chiar o utilizare excesivă a generării de cod cu AI care a dus la instabilitate. În mod ipotetic, nu poate fi exclus nici un scenariu de tip „inside job”, în care vina să fie direcționată către AI, însă astfel de afirmații necesită dovezi clare și nu pot fi asumate fără verificări riguroase”, a mai precizat Panait, fondatorul Gov-Smart.