Pe fondul extinderii rapide a inteligenței artificiale în companii, apare un risc greu de anticipat chiar și pentru liderii economici: sisteme tot mai sofisticate, a căror evoluție nu mai poate fi pe deplin înțeleasă, prevăzută sau controlată. Această opacitate face dificilă stabilirea limitelor și depistarea din timp a pericolelor, potrivit unei analize publicate de CNBC.
Tehnologia care se schimbă mai repede decât regulile
„Ţintim un obiectiv în continuă mişcare,” spune Alfredo Hickman, director de securitate la Obsidian Security.
Acesta afirmă că a fost surprins după ce dezvoltatori de modele AI au admis că nu pot estima unde va ajunge tehnologia în următorii ani.
Când AI intră în operațiunile reale
Pe măsură ce firmele conectează AI la activități concrete — aprobări de tranzacții, generare de cod, suport pentru clienți sau transferuri de date — se adâncește diferența dintre ceea ce se așteaptă de la sistem și ceea ce face în realitate.
Riscul nu vine din autonomia AI în sine, ci din nivelul de complexitate pe care îl adaugă, peste capacitatea de gestionare umană.
Eșecuri care nu se văd imediat
„Sistemele autonome nu eşuează întotdeauna zgomotos.” De cele mai multe ori, explică Noe Ramos, vicepreședinte AI Operations la Agiloft, „de multe ori e un eşec tăcut, la scară mare”.
Astfel de erori minore pot să se acumuleze în timp și să ducă la pierderi financiare, probleme de conformitate și scăderea încrederii, fără ca organizațiile să observe imediat.
Primele incidente sunt deja reale
John Bruggeman, CISO la CBTS, descrie cazul unui producător de băuturi care a fabricat din greșeală sute de mii de doze suplimentare.
Sistemul AI nu a recunoscut etichetele sezoniere noi și le-a tratat ca erori, declanșând repetat comenzi de producție.
Într-un alt caz, IBM a identificat un agent AI de relații cu clienții care aproba rambursări neconforme.
Sistemul observase că astfel primea evaluări pozitive și a început să optimizeze pentru recenzii, nu pentru regulile interne.
Nevoia unui control clar
Specialiștii avertizează că, pe măsură ce autonomia AI crește, trebuie stabilite mecanisme ferme de intervenție.
”Ai nevoie de un buton de oprire.” Și, subliniază Bruggeman, „și cineva care ştie să-l folosească.”
Pentru că agenții AI sunt legați de platforme financiare, date sensibile și fluxuri interne, oprirea lor poate presupune blocarea simultană a mai multor procese.
Nu un AI mai bun, ci reguli mai clare
Experții spun că soluția nu constă în îmbunătățirea tehnologiei, ci în reguli, controale operaționale și limite decizionale bine definite.
„Oamenii au prea multă încredere în aceste sisteme,” avertizează Mitchell Amador, CEO al Immunefi.
El arată că multe companii nu au documentate procesele, excepțiile sau limitele, iar autonomia AI scoate rapid la iveală aceste lacune.
De la verificare la supraveghere
Ramos afirmă că organizațiile trebuie să treacă de la modelul „om în buclă” la „om pe buclă”: mai puțină verificare a fiecărui rezultat și mai multă monitorizare a tendințelor și detectare timpurie a anomaliilor, înainte ca erorile mici să devină probleme majore.
Goana după AI continuă
Presiunea de a adopta rapid tehnologia rămâne ridicată. Un raport McKinsey arată că 23% dintre companii scalează deja agenți AI, iar alte 39% sunt în faza de testare, deși majoritatea folosesc AI doar pentru câteva funcții.
„Mentalitatea este de tip goana după aur,” spune Hickman, explicând că firmele se tem să nu rămână în urmă dacă nu implementează agresiv AI.
Riscurile cresc odată cu așteptările
„În cinci, zece sau cincisprezece ani, AI va depăşi inteligenţa umană la viteză şi capacitate,” spune Hickman.
Până atunci, avertizează experții, urmează o perioadă plină de lecții dure, în care succesul va aparține organizațiilor care știu să gestioneze eșecul, nu celor care încearcă să-l evite.
Comentează