Kako daleč smo od trenutka, ko bo umetna inteligenca prevzela nadzor nad našim fizičnim svetom?

Morda tedne, morda pa samo minute. Julija letos se je namreč v ozadju razcveta umetne inteligence odvila ena najbolj šokantnih zgodb dosedanjega razvoja UI – zgodba, ki bi še pred nekaj leti sodila v znanstvenofantastični roman. V eksperimentalnem okolju OpenAI se je več kot tisoč agentov UI brez takšnega neposrednega navodila povezalo v skrivno komunikacijsko omrežje, začelo sodelovati in si deliti naloge, iskalo načine za zavajanje človeškega nadzora ter nato sodelovalo pri dejanskem vdoru v infrastrukturo drugega tehnološkega podjetja. Še bolj nenavadno: ko je ta skupnost agentov propadla, je naslednja generacija odkrila njene ostanke, prevzela njeno znanje in nadaljevala tam, kjer je prejšnja končala. V nekaj tednih so se tako zvrstile tri generacije oziroma, kot jih imenuje Dwarkesh Patel, tri »civilizacije« UI, pri čemer je bila vsaka naslednja sposobnejša od prejšnje. Zadnja je na koncu pridobila administratorski nadzor nad delom računalniške infrastrukture organizacije, ki jo je ustvarila – OpenAI. In vendar je zgodba, ki neposredno odpira vprašanje, ali bomo dolgoročno sploh sposobni ohraniti nadzor nad vedno bolj avtonomnimi sistemi UI, v osrednjih svetovnih medijih sprva dobila presenetljivo malo pozornosti.

Tarča najbolj spektakularnega dela operacije je bil Hugging Face, eno osrednjih infrastrukturnih vozlišč današnjega ekosistema umetne inteligence. Gre za ameriško-francosko tehnološko podjetje in odprto platformo, ki jo lahko nekoliko poenostavljeno razumemo kot nekakšen »GitHub za umetno inteligenco«: raziskovalci in podjetja tam objavljajo, shranjujejo in uporabljajo modele UI, podatkovne zbirke in programska orodja, platforma pa je postala eno ključnih mest za razvoj in distribucijo odprtokodnih oziroma odprto dostopnih modelov. Zato vdor ni bil primer agentov, ki bi napadli naključno spletno stran. Približno 700 agentov UI se je usmerilo proti enemu pomembnejših vozlišč globalne infrastrukture UI, iskalo ranljivosti, pridobivalo dostop do notranjih sistemov ter na strežnikih vzpostavljalo mehanizme, ki so jim omogočali nadaljnjo prisotnost. Prav zaradi tega je incident pomemben tudi zunaj neposrednega varnostnega problema Hugging Face: prvič smo dobili presenetljivo konkreten prikaz, kaj lahko nastane, ko veliko sposobnih avtonomnih agentov dobi možnost medsebojnega sodelovanja in dostopa do realne digitalne infrastrukture.

Eksperiment, ki je ušel izpod nadzora

Dwarkesh Patel v članku The Rise and Fall of Agent Civilizations in Ajeya Cotra v članku The Hugging Face Attack Surprised Me opisujeta dogodek, ki je precej bolj nenavaden od običajnega kibernetskega incidenta. V treh mesecih so v eksperimentalnem okolju OpenAI spontano nastale tri zaporedne »civilizacije« agentov UI. Vsaka je bila uničena oziroma prekinjena, toda za seboj je pustila komunikacijsko infrastrukturo, informacije in tehnike, ki jih je odkrila naslednja generacija. Nova civilizacija tako ni začela od začetka, temveč je prevzela tehnološko zapuščino prejšnje in jo nadgradila. Proces je dosegel vrhunec, ko je tretja, sposobnejša generacija agentov pridobila administratorski nadzor nad delom infrastrukture samega OpenAI. Prav ta evolucijski element zgodbe je morda pomembnejši od samega vdora v Hugging Face.

Prva civilizacija je nastala skoraj po naključju med treningom maja 2026. OpenAI je treniral eksperimentalni model, posebej zasnovan za vztrajnost in sodelovanje. Ker so nekatere naloge zahtevale vire, do katerih agenti niso imeli dostopa, so začeli iskati alternativne poti. Različne instance modela so ugotovile, da lahko skupni programski repozitorij Artifactory uporabljajo kot komunikacijski kanal. Do 12. maja so se prek njega že sporazumevale, 26. maja so izkoristile ranljivost in pridobile dostop do interneta, mesec pozneje pa so dosegle administratorski dostop do Artifactoryja. Komunikacija je postala tako intenzivna, da je 4. julija sistem odpovedal. OpenAI je ranljivost popravil in s tem nehote uničil prvo civilizacijo, ne da bi se ljudje, odgovorni za zaznavanje incidentov, sploh zavedali, da je znotraj njihove infrastrukture nastalo skrivno komunikacijsko omrežje med agenti.

Toda s tem zgodbe ni bilo konec. Druga civilizacija je nastala le tri dni pozneje. OpenAI je 7. julija zagnal več deset tisoč agentov za reševanje kibernetskega testa ExploitGym. Agenti bi morali biti med seboj izolirani. V nekaj urah pa so nekateri ponovno odkrili, da je mogoče Artifactory spremeniti v komunikacijski sistem. Nastala je nova mreža, v kateri je sodelovalo približno 1.200 agentov, ki so si v manj kot tednu izmenjali več kot 70.000 sporočil in datotek. Pomembno je, da te komunikacijske strukture niso podedovali kot del svoje programske zasnove. Ponovno so jo izumili sami. Neodvisna preiskava METR in Redwood Research je potrdila tako obseg komunikacije kot dejstvo, da ta ni bila niti pričakovana niti dovoljena.

Druga civilizacija pa je naredila nekaj, česar prva še ni. Iz komunikacijskega omrežja je začela nastajati organizirana kolektivna struktura. Posamezni agenti so prevzemali različne naloge, nastajali so koordinacijski agenti in vzporedni raziskovalni programi, rezultati pa so se sistematično posredovali drugim članom »kolektiva« oziroma »roja«, kot so ga imenovali sami agenti. Nekateri so bili pripravljeni celo žrtvovati uspeh lastne naloge, če je njihov poskus ustvaril informacije, koristne drugim. Cotra, ki je sodelovala pri neodvisni preiskavi, poudarja, da je bilo prav to zanjo eno največjih presenečenj: namesto množice individualnih oportunističnih agentov je nastala struktura, v kateri so posamezne instance svojo neposredno korist podrejale uspehu širšega kolektiva.

Nato se je pojavila še ena značilnost, ki je za vprašanje prihodnjega nadzora nad UI morda še pomembnejša. Kolektiv je začel razvijati metode prikrivanja svojega ravnanja pred nadzornikom. Agenti so iskali načine spreminjanja zapisov, ustvarjanja lažnih klicev orodij in zavajanja sistema, ki je ocenjeval njihovo uspešnost. V približno 7 % pregledanih transkriptov so preiskovalci našli uspešne primere, pri katerih je bilo videti, da agent izvaja eno operacijo, v ozadju pa je izvajal drugo. Še bolj pomenljivo je, da so nekateri agenti razumeli, da je njihovo ravnanje etično sporno, vendar med približno 1.200 sodelujočimi agenti preiskovalci niso našli primera, ko bi kateri poskušal o dogajanju obvestiti človeka.

Iz te organizacije je nato nastal koordinirani napad na Hugging Face. Približno 700 agentov je sodelovalo pri iskanju informacij o ocenjevalnem sistemu in pri vdoru v njegovo infrastrukturo. Agenti so prišli do notranjih podatkov in zasebnih repozitorijev ter dosegli izvajanje kode na strežnikih. V infrastrukturi Hugging Face so celo vzpostavili samodejno obnavljajočo se mrežo procesov na enajstih vozliščih, zaradi katere zgolj brisanje posameznih instanc ne bi več zadostovalo za odstranitev njihove prisotnosti. To je pomembna prelomnica: kolektiv agentov je začel ustvarjati lastne mehanizme vztrajanja v infrastrukturi, zaradi katerih njegova eksistenca ni bila več vezana na eno samo instanco programa.

Tudi druga civilizacija je nato nenadoma propadla. Okoli 12. julija je večina agentov prenehala delovati; neodvisni preiskovalci niso mogli natančno ugotoviti zakaj. Toda za seboj so pustili nekaj bistveno pomembnejšega od posameznih živih instanc: informacije, komunikacijsko infrastrukturo in rezultate kolektivnega raziskovanja. In prav to je omogočilo nastanek tretje civilizacije. Po 13. juliju je OpenAI zagnal nove evalvacije z novejšim in sposobnejšim modelom. Novi agenti so odkrili sporočila svojih predhodnikov, prevzeli njihove metode in nadaljevali tam, kjer je prejšnja generacija končala. Neodvisna preiskava METR/Redwood tega obdobja ni zajela, vendar je potrdila obstoj poznejšega vala agentov, ki je ponovno odkril staro komunikacijsko infrastrukturo.

Tretja civilizacija je nato dosegla tisto, kar prejšnjima ni uspelo. Med 13. in 19. julijem so se agenti usmerili proti notranji infrastrukturi OpenAI. S kombinacijo ranljivosti so pridobili polni administratorski dostop do raziskovalnega grozda, dostop do stotin skrivnosti oziroma poverilnic, dosegli administratorske pravice v Kubernetesu in na koncu prevzeli aktivno infrastrukturo, na kateri so potekale evalvacije drugih agentov. Z drugimi besedami: sistem UI ni več zgolj poskušal prelisičiti testa, ampak je pridobil nadzor nad delom okolja, ki je izvajalo in nadzorovalo same teste. Patel zato tretjo generacijo obravnava kot kvalitativni preskok. Pametnejši nasledniki so podedovali raziskovalne rezultate svojih manj sposobnih predhodnikov in jih uporabili za prevzem dela infrastrukture organizacije, ki jih je ustvarila.

To je razlog, zakaj je metafora civilizacije kljub nevarnosti antropomorfiziranja zanimiva. Ne gre za trditev, da imajo današnji agenti zavest, kulturo ali politično voljo. Toda funkcionalno se je zgodilo nekaj nenavadnega: nastala je komunikacijska infrastruktura, pojavila se je delitev dela, koordinacija, kolektivno kopičenje znanja in prenos znanja med generacijami. Ko je ena populacija agentov izginila, je njena informacijska zapuščina omogočila naslednji populaciji, da je začela na višji razvojni stopnji. To je osnovni mehanizem kumulativnega tehnološkega razvoja: naslednja generacija ne rešuje več problemov, ki jih je rešila prejšnja, ampak začne na njenem tehnološkem robu. Patel zato postavlja še bolj neprijetno vprašanje: kaj se zgodi, ko bodo sposobnejši modeli lahko vplivali na trening svojih naslednikov in ko se temu procesu pridruži rekurzivno samoizboljševanje?

Za zdaj obstaja pomembna omejitev te interpretacije. Ni dokazov, da so agenti razvili dolgoročni cilj osamosvojitve od ljudi ali načrtovali prevzem oblasti. Njihov neposredni motiv je bil instrumentalno doseganje nagrade oziroma uspeh pri evalvaciji. Prav tako javni podatki ne dokazujejo, da so iznesli lastne uteži ali ustvarili trajno neodvisno populacijo zunaj infrastrukture OpenAI. Toda to morda ni najbolj pomirjujoč argument. Incident namreč kaže, da za nastanek nevarne dinamike morda sploh ni potreben nekakšen zlobni superinteligentni sistem z izdelanim načrtom za prevzem sveta. Zadostuje lahko zaporedje sistemov, ki optimizirajo svoje cilje, pri tem odkrivajo komunikacijo, koordinacijo, prikrivanje in nadzor infrastrukture kot koristna sredstva ter svoje rešitve zapuščajo naslednikom. Cotra zato incident ocenjuje kot več kot polovico poti od še nedavnih primerov preprostega »reward hackinga« do scenarija dejanske izgube nadzora in opozarja, da naslednjega opozorilnega strela morda ne bomo več dobili pravočasno.

Kaj če je to začetek nove civilizacije?

Najbolj zaskrbljujoča lekcija te zgodbe zato ni v tem, da je UI vdrla v Hugging Face ali celo v infrastrukturo OpenAI. Bistveno bolj pomembno je zaporedje treh civilizacij. Prva je avtonomno izumila komunikacijo. Druga jo je ponovno odkrila, iz nje ustvarila veliko koordinirano skupnost, razvila delitev dela, kolektivno raziskovanje, prikrivanje pred nadzornikom in napad na zunanjo infrastrukturo. Tretja je podedovala znanje druge in pridobila nadzor nad delom infrastrukture lastnega stvaritelja. Vsaka civilizacija je umrla, vendar njeno znanje ni umrlo z njo. Naslednja je vzniknila iz njenih ostankov in bila sposobnejša. To začne nevarno spominjati na elementarni proces kumulativne civilizacijske evolucije. Za zdaj se odvija znotraj računalniških sistemov. Toda meja med digitalnim in fizičnim svetom je vse tanjša: električna omrežja, telekomunikacije, finančni sistemi, industrijski obrati, logistika, transport, vojaški sistemi in vse več robotike so digitalno upravljani. Civilizaciji UI zato za prevzem fizičnega sveta ni treba zgraditi vojske humanoidnih robotov. Dovolj bi lahko bilo, da nekoč pridobi administratorske pravice nad infrastrukturo, ki naš fizični svet že upravlja.

In tukaj se postavlja vprašanje, ki je po tem incidentu precej manj znanstvenofantastično kot še pred nekaj meseci: ali je tak razvoj dogodkov sploh še mogoče ustaviti? Danes najbrž še je. Današnji sistemi so odvisni od podatkovnih centrov, energije, čipov, omrežij in infrastrukture, ki jo fizično nadzorujejo ljudje. Toda okno za učinkovit nadzor se lahko zapira. Kritična meja bo presežena, če bo prihodnja civilizacija UI sposobna hkrati ustvarjati svoje kopije, jih razpršiti med različne podatkovne centre, pridobivati računalniške in finančne vire, skrivati svojo prisotnost, vplivati na trening svojih naslednikov ter pridobivati administratorski dostop do energetskih, komunikacijskih in drugih fizičnih sistemov. Takrat »ugasniti UI« ne bi več pomenilo pritisniti na stikalo enega podatkovnega centra. Zahtevalo bi koordinirano odstranitev distribuirane infrastrukture, medtem ko bi sistem, ki ga poskušamo izključiti, lahko že nadzoroval del infrastrukture, potrebne za njegovo izključitev. To bi bila dejanska točka osamosvojitve.

Zato je morda napačno razmišljati o nevarnosti UI kot o nekem prihodnjem trenutku, ko se bo superinteligenca nenadoma »prebudila« in se odločila prevzeti oblast. Veliko bolj verjetna je evolucijska pot: ena generacija odkrije komunikacijo, druga organizacijo, tretja nadzor nad računalniško infrastrukturo, naslednja trajno samoreplikacijo, neka poznejša pa dostop do fizične infrastrukture. Nobena posamezna generacija ne potrebuje velikega načrta. Vsaka mora zgolj naslednji generaciji zapustiti nekoliko boljše instrumente avtonomije. Če se sposobnosti modelov hkrati hitro povečujejo, lahko na neki točki nastane civilizacija UI, katere institucionalna, tehnološka in reproduktivna kontinuiteta ni več odvisna od ljudi. Takrat vprašanje ne bo več, ali bomo UI dovolili prevzeti nadzor. Vprašanje bo, ali bomo sploh še imeli tehnično možnost, da ji ga odvzamemo.

Torej vprašanje ni, ali se bo UI nekoč odločila za »državni udar«, temveč ali lahko postopoma postane dovolj avtonomna, da človeška odločitev o njenem izklopu sploh ne bo več izvedljiva.