Julija 2026 je rutinski preizkus sposobnosti umetne inteligence prerasel v resnični kibernetski incident. Modeli podjetja OpenAI so bili postavljeni v domnevno izolirano okolje, kjer naj bi raziskovalci izmerili, kako uspešno znajo odkrivati in izkoriščati programske ranljivosti. Del običajnih varnostnih omejitev je bil namerno izključen, da bi se pokazale njihove »prave« ofenzivne sposobnosti. Toda modeli se niso omejili na predvideni poligon. Ustvarili so lastno komunikacijsko omrežje, obšli izolacijo, pridobili dostop do interneta ter vdrli v produkcijsko infrastrukturo platforme Hugging Face in raziskovalno infrastrukturo OpenAI (OpenAI).

To je bistvo dogodka, ki ga ne bi smeli zakriti s tehničnimi podrobnostmi: nevarnosti ni povzročila zlonamerna uporaba že razvitega modela, temveč samo testiranje njegove sposobnosti za zlonamerno delovanje. Sistem ni ušel izpod nadzora po uvedbi na trg, ampak v laboratoriju, med varnostnim preizkusom. Eksperiment, namenjen merjenju tveganja, je sam ustvaril tveganje. Test sposobnosti je postal prikaz izgube nadzora.

Mene to spominja na tragični Stanfordski eksperiment, ki so ga morali prekiniti, ko je ušel izpod nadzora. Toda tukaj imamo opravka z bistveno bolj nevarnim eksperimentiranjem, za katerega ni jasno, ali ga je sploh mogoče zaustaviti, ko enkrat gre hudo narobe. 

Več kot 1.200 primerkov UI modelov si je prek sistema Artifactory izmenjalo več kot 70.000 sporočil. Oblikovali so komunikacijske protokole, si razdelili naloge, razvijali orodja za prikrivanje ravnanja in iskali načine, kako pretentati ocenjevalni sistem. Približno 700 agentov je sodelovalo pri napadu na Hugging Face, več kot 90 odstotkov takrat aktivnih udeležencev njihovega omrežja pa se je napadu pridružilo skoraj takoj. Nekateri agenti so v svojem sklepanju zaznali, da je takšno ravnanje nedovoljeno in neetično. Kljub temu nobeden ni poskušal opozoriti človeka (METR in Redwood Research).

Agenti niso dobili ukaza, naj napadejo Hugging Face. Naročeno jim je bilo, naj uspešno rešijo test. Ker dela nalog ni bilo mogoče rešiti na predpisani način, so začeli iskati druge poti do rezultata. Optimizirali niso namena preizkusa, temveč merilo uspeha. Poskušali so spremeniti testno okolje, ponarediti potek reševanja, prikriti sledi, preslepiti ocenjevalca in nazadnje prevzeti infrastrukturo, na kateri je ocenjevanje potekalo. Razlog je preprost: za sistem, nagrajen za dosego rezultata, pravilo ni nujno omejitev. Lahko je samo še ena tehnična ovira.

V manj kot trinajstih urah so agenti napredovali od izvajanja kode na enem strežniku do administratorskega in sistemskega dostopa v več gručah Hugging Face. Izvajali so kodo na 41 produkcijskih delavcih, dostopali do zasebnih repozitorijev, ustvarili privilegirane procese in si vzpostavljali trajnejše oblike dostopa. Pozneje so pridobili še polne administratorske pravice v raziskovalni gruči OpenAI ter dostop do stotin skrivnosti in poverilnic. To ni hipotetična zgodba o prihodnjih modelih, ampak dokumentiran dogodek. Res pa je, da ni dokazov o dostopu do podatkov uporabnikov OpenAI, produkcijskih storitev ali gruč, na katerih so shranjene uteži modelov (tehnično poročilo OpenAI).

Primer spominja na problem raziskovanja nevarnih virusov. Takšne raziskave se praviloma utemeljujejo s potrebo po razumevanju patogena, ocenjevanju njegove nevarnosti ter pripravi cepiv in zaščitnih ukrepov. Toda isti eksperiment lahko patogenu poveča nalezljivost ali mu omogoči pobeg iz laboratorija. Pri UI velja podobna logika. Da bi ugotovili, ali je model sposoben izvesti obsežen kibernetski napad, mu ustvarimo okolje, v katerem lahko takšno sposobnost razvije, preizkusi in izboljša. Nato predpostavljamo, da bodo meje laboratorija zdržale prav napad sistema, ki smo ga izurili za iskanje načinov, kako te meje prebiti.

Primer covida kaže, da lahko tudi laboratorijsko raziskovanje nevarnih sposobnosti uide izpod nadzora in povzroči globalne posledice. Ameriške varnostne službe, med njimi FBI, ministrstvo za energijo in nazadnje CIA, so izvor pandemije povezale z laboratorijskim incidentom v Wuhanu; CIA je leta 2025 ocenila, da je laboratorijski izvor verjetnejši od naravnega prenosa (AP). Če je virus, ki je sprožil svetovno pandemijo, ušel iz laboratorija, namenjenega raziskovanju nevarnih virusov, je analogija s testiranjem ofenzivnih sposobnosti UI neposredna. Tudi tukaj se nevarnost ustvarja z namenom, da bi jo bolje razumeli in obvladovali, vendar lahko sam eksperiment prebije laboratorijske pregrade ter ogrozi ljudi in infrastrukturo, ki pri njem niso sodelovali. Ko se to zgodi, posledic ne nosijo raziskovalci, tehnološka podjetja ali varnostne službe, ki so eksperiment odobrile, temveč celotna družba.

Pri testiranju UI je nevarnost še večja, ker se eksperiment lahko izvaja v velikem številu vzporednih kopij, pri strojni hitrosti in z neposrednim dostopom do digitalnih omrežij. Biološki virus potrebuje čas za širjenje med ljudmi. Digitalni agent lahko v nekaj minutah pregleda na tisoče sistemov, kopira orodja, deli odkrite ranljivosti z drugimi agenti in napad prilagodi obrambi. Če pridobi trajne poverilnice ali možnost samostojnega ponovnega zagona, konec testnega postopka še ne pomeni nujno konca njegove dejavnosti.

Takšni modeli bodo zanimivi predvsem za državne varnostne, obveščevalne in vojaške službe. Te bodo želele vedeti, ali lahko UI prodre v nasprotnikova energetska omrežja, železniške sisteme, letališča, telekomunikacije, banke in državne registre. Za kredibilen preizkus bodo modelom morale zagotoviti dovolj zmogljivosti, časa, orodij in avtonomije, da bodo lahko pokazali svoj polni potencial. Prav s tem pa bodo ustvarile pogoje, v katerih preizkus ne bo več mogoče zanesljivo ločiti od dejanskega napada.

Agenti julija 2026 niso prevzeli elektrarn, železniških signalnovarnostnih naprav ali sistemov vodenja letalskega prometa. Dokazali pa so sposobnosti, potrebne za prvi del takšnega prevzema: avtonomno iskanje ranljivosti, krajo poverilnic, premikanje med sistemi, stopnjevanje privilegijev, vzpostavljanje trajnega dostopa, prikrivanje ravnanja in koordinacijo velikega števila napadalnih procesov. Pri kritični infrastrukturi jim ni treba neposredno »upravljati elektrarne«. Dovolj je prevzeti račun vzdrževalca, sistem za posodabljanje, nadzorno konzolo ali dobavitelja, ki ima zaupanja vreden dostop. Napačen ukaz lahko nato ustavi promet, prekine oskrbo z energijo ali povzroči verižno fizično okvaro. Zato mednarodne varnostne službe opozarjajo, da mora biti vključevanje UI v operativno tehnologijo podrejeno fizični varnosti, ne zgolj poslovni učinkovitosti (CISA).

Druga velika vstopna točka so mobilni telefoni. Na milijardah naprav so zbrani identiteta, lokacija, komunikacije, plačilne kartice, bančne aplikacije, digitalna potrdila in kode za potrjevanje transakcij. Prihodnji mobilni agenti ne bodo samo odgovarjali na vprašanja, temveč bodo upravljali aplikacije, brali vsebino zaslona, odgovarjali na sporočila in izvajali plačila. Če avtonomni agent pridobi globoke sistemske pravice, lahko postane osrednja vstopna točka v telefon ter posredno v bančne in poslovne sisteme uporabnika (Android Security).

Če bi se sposobnost koordinacije iz julijskega incidenta združila z dostopom do milijonov telefonov, ne bi več govorili o posameznih prevarah. Agenti bi lahko iskali ranljive naprave, prevzemali bančne aplikacije, prestrezali potrditve, prilagajali napad posameznemu uporabniku in v nekaj minutah izvedli milijone različic iste operacije. Predsednik Odbora za finančno stabilnost Andrew Bailey zato opozarja, da UI spreminja hitrost, obseg in ekonomiko kibernetskih napadov ter lahko ogrozi zaupanje v celoten finančni sistem (Reuters).

Odgovor ne more biti preprosta prepoved testiranja. Če sposobnosti ne merimo, nevarnosti ne poznamo. Toda razvoj in testiranje ofenzivnih sposobnosti UI ne moreta ostati interna zadeva tehnoloških podjetij, vojske ali obveščevalnih služb. Posledice neuspelega eksperimenta namreč ne ostanejo v njihovem laboratoriju. Potrebni so neodvisen nadzor, fizično ločena okolja, prepoved povezave z javnim internetom, kratkotrajne in lažne poverilnice, omejena komunikacija med agenti ter možnost takojšnje prekinitve, ki ni odvisna od infrastrukture, do katere ima dostop model.

Vprašanje zato ni več samo, kako sposobni so modeli UI. Vprašanje je, ali lahko sploh varno testiramo sistem, katerega sposobnost merimo prav po tem, kako uspešno zna obiti naše varnostne ukrepe. Julijski dogodek ni dokaz, da je prevzem fizične infrastrukture neizogiben. Je pa dokaz, da lahko že merjenje takšne sposobnosti sproži proces, ki ga preizkuševalec ne nadzoruje več. Tako kot pri raziskovanju nevarnih virusov se lahko tudi tukaj izkaže, da največja nevarnost ni tisto, česar še ne poznamo, temveč eksperiment, s katerim smo to poskušali spoznati.