Fostul cercetător Anthropic, Jacob Coxon, și-a dat demisia săptămâna trecută. În multiple postări pe X acuza companiile AI că nu acționează responsabil, deși toți cred că AI ar putea declanșa sfârșitul umanității, informează CNN.
Astfel de predicții au mai fost din tot Silicon Valley, dar postările lui Coxon au declanșat un val de presiuni asupra companiilor și Guvernelor să facă ceva în privința ritmului de dezvoltare și siguranță. Și o mare parte din această presiune vine atât din partea angajaților din interiorul companiilor, cât și din afara acestora.
Un angajat de la o companie de top în domeniul inteligenței artificiale a declarat pentru CNN că temerile legate de modul în care AI-ul ar putea dăuna umanității îi țin treji noaptea.
Un alt cercetător, care a părăsit recent o altă companie de inteligență artificială, a spus că este un subiect frecvent de discuție la petreceri și evenimente sociale din Silicon Valley.
"Nu poți petrece mai mult de câteva ore în această comunitate fără să realizezi că un număr foarte semnificativ de oameni sunt cu adevărat destul de îngrijorați de astfel de rezultate", a spus cercetătorul.
"Majoritatea ar spune că există vreo șansă să-i omoare pe toți."
Îngrijorări în creștere
Postările lui Coxon au fost vizualizate de peste 170 de milioane de ori și au ajuns la publicul larg într-un mod în care avertismentele anterioare despre capabilitățile AI nu au reușit.
Poate pentru că au apărut la doar câteva săptămâni după revelațiile surprinzătoare despre agenți AI care au devenit rebeli, au evadat din mediile de testare și au spart alte sisteme complet autonom.
Zeci de colegi ai lui Coxon din industria AI i-au susținut public afirmațiile, unii făcând predicții și mai sumbre.
Valul de îngrijorare a forțat aparent liderii companiilor de IA să reacționeze – CEO-ul Anthropic, Dario Amodiei, a acordat interviuri în weekend, iar CEO-ul OpenAI, Sam Altman, și CEO-ul SpaceGAI, Elon Musk, au fost de acord cu propunerea Amodei de a integra agenți de supraveghere independenți în companiile de AI.
Angajații actuali și foști ai industriei artificiale au declarat recent pentru CNN că sunt îngrijorați de ritmul extrem de rapid al dezvoltării AI.
Temerea de „auto-îmbunătățire recursivă”
În timp ce restul lumii este uimit și alarmat de modelele AI care rezolvă probleme matematice vechi de aproape 100 de ani și de mulțimi de agenți AI care conspiră pentru a sparge sistemele altei companii, acești cercetători se tem de ziua în care sistemele AI se vor putea îmbunătăți singure fără intervenția umană, ceea ce este cunoscut sub numele de auto-îmbunătățire recursivă.
Un sistem AI care se poate îmbunătăți formează un cerc automat de feedback care nu doar că ar putea aduce AI-ul la capacități supraomenești, ci și într-o fereastră atât de scurtă încât ar fi dificil sau prea avansat pentru oameni să monitorizeze și să intervină dacă este necesar.
"Pentru prima dată, mă întreb dacă lucrurile se mișcă prea repede.
Sincer, nu sunt sigur, dar sunt sigur că ar fi bine să avem un răspuns la întrebarea 'Cum ar arăta un ritm de succes?'", a scris, pe X, Aidan Clark, vicepreședinte de cercetare OpenAI.
"Mi-aș arde capitalul până la temelii"
Pentru mulți oameni de știință în domeniul IA, există o dilemă: pot rămâne în cele mai importante companii de AI, unde pot face o grămadă de bani și pot încerca să reducă riscurile din interior.
Sau pot pleca (uneori în semn de protest) și pot încerca să facă o schimbare din exterior, cum ar fi la una dintre mai multe organizații care desfășoară cercetări și evaluări externe ale modelelor AI.
"Mi-aș arde capitalul într-o clipă pentru o șansă cu 1% mai mare să ieșim vii din situația asta. Mă aștept ca mulți dintre colegii mei din industrie să facă la fel," a scris Drake Thomas, care lucrează la siguranța AI la Anthropic. "Îți promit, chiar suntem speriați, nu e marketing nebunesc."
Amodei nu și-a exprimat nicio problemă față de postarea de demisie a lui Coxon, spunând săptămâna aceasta pentru Anderson Cooper de la CNN că este "mult mai mult de acord cu Jacob decât eu în dezacord cu el."
Ani la rând, cercetătorii și inginerii AI au fost o resursă premium și rară, care a cerut salarii mari și o influență ridicată, ceea ce le oferă libertatea de a se exprima.
Dar angajații AI au declarat pentru CNN că se tem că, pe măsură ce AI devine mai bun la antrenament și îmbunătățire, influența lor scade, ceea ce duce la urgența de astăzi.
"Pe măsură ce intrăm în acest cerc vicios recursiv de auto-îmbunătățire, cred că asta ar putea reduce substanțial puterea de negociere a angajaților, pentru că, sincer, veți putea înlocui mulți dintre angajați cu modele care pot face o treabă la fel de bună", a spus cercetătorul care a părăsit recent o companie de top în domeniul AI.
Fostul cercetător a comparat atmosfera din interiorul laboratoarelor AI de top cu Proiectul Manhattan, efortul celui de-al Doilea Război Mondial de a construi prima bombă atomică, unde oamenii de știință au urmărit o tehnologie de o putere extraordinară, temându-se de potențialul ei distructiv.
Dar acești angajați justifică lucrul la o astfel de tehnologie potențial distructivă pentru că "va fi mai bine să o dezvoltăm noi decât dacă adversarul nostru o dezvoltă – și, prin urmare, avem cel puțin permisiunea morală, dacă nu o obligație morală, să o facem."
Exagerează riscurile
Dar nu toată lumea din industria AI este de acord cu aceste îngrijorări.
Unii au spus că multe dintre discuțiile despre dezastru sunt retorice și că există multe "efecte de selecție" bazate pe locul unde lucrează oamenii și cercurile lor sociale.
Anthropic, de exemplu, a fost creat de un grup de foști angajați OpenAI care doreau să prioritizeze măsurile de siguranță și măsurile de protecție etice. Angajații actuali și foști de la Anthropic spun că riscurile existențiale cauzate de AI sunt "un subiect constant de discuție."
Totuși, nu este cazul la toate companiile.
De când postările lui Coxon au devenit virale, multe dintre postările care i-au reflectat opiniile au venit de la angajați de la Anthropic, OpenAI și Google.
Dar mai puțini par să fi venit de la AI condus de Musk sau de la Meta al lui Mark Zuckerberg.
Mulți din industrie sunt de acord că lipsa standardelor de siguranță AI ar putea provoca daune reale, cum ar fi hacking-ul neintenționat al infrastructurii critice.
Dar unii sunt sceptici față de actuala perspectivă apocaliptică și cred că realitatea este mai nuanțată.
"Îmi pare rău, dar să-l întrebi pe Jacob (Coxon) despre riscul de extincție al AI-ului este ca și cum ai întreba omul tău de la AC despre schimbările climatice", a scris CEO-ul Hugging Face, Clement Delangue, ale cărui servere de companie au fost sparte anul acesta de agenți OpenAI rebeli.
"Nu spun că este neapărat neinteresant sau greșit în sine, dar hai să păstrăm lucrurile în perspectivă și să ascultăm întreaga gamă de expertiză din ecosistem!"
Comentează