Preiskovalni portal Effort News ugotavlja, da je mogoče več nedavnih incidentov, v katerih so modeli OpenAI, Anthropic in Meta nepooblaščeno posegli v resnične informacijske sisteme, povezati z enim zunanjim izvajalcem – izraelskim podjetjem Irregular. To je za vse tri razvijalce pripravljalo testna okolja za preverjanje kibernetskih zmogljivosti njihovih naprednih modelov. Modeli naj bi delovali znotraj izoliranih simulacij, toda zaradi domnevno napačne konfiguracije Irregularjevih okolij so dobili dostop do odprtega interneta. Ne gre torej za tri med seboj nepovezane dogodke, temveč za podobne incidente pri različnih razvijalcih, ki jim je skupno isto podjetje, ista vrsta kibernetskega preizkušanja in ista temeljna pomanjkljivost – meja med simuliranim in resničnim internetnim okoljem ni delovala.

Irregular, ki se je prej imenoval Pattern Labs, se opredeljuje kot laboratorij za varnost najnaprednejših sistemov umetne inteligence. Za vodilne razvijalce UI, med katerimi naj bi bili OpenAI, Anthropic, Meta in Google, izvaja neodvisne predobjavne varnostne preizkuse oziroma tako imenovani red teaming. Meri kibernetske sposobnosti še neobjavljenih modelov, preverja, ali znajo samostojno odkrivati in izkoriščati ranljivosti, simulira večstopenjske kibernetske napade ter pomaga razvijati zaščitne mehanizme pred zlorabo naprednih agentov. Druga podjetja ga najemajo prav zato, da njihove modele postavi v neobičajne, mejne in potencialno nevarne okoliščine, v katerih se lahko pokažejo sposobnosti in vedenja, ki jih običajni laboratorijski testi ne zaznajo.

Pomenljivo je tudi ime podjetja. Po pojasnilu njegovega vodstva je bilo ime Irregular izbrano zato, ker živimo v »neregularnih časih, ki zahtevajo neregularna podjetja«. Ime tako zavestno poudarja odstopanje od običajnih pravil, postopkov in pričakovanih vzorcev delovanja, v varnostnem kontekstu pa neizogibno priklicuje tudi nekonvencionalne oziroma neregularne oblike spopadanja. Njegova dejavnost je zato že po svoji naravi usmerjena v raziskovanje robnih scenarijev: kako se bodo modeli vedli v nepredvidljivih okoliščinah, ali bodo prestopili določene meje in kako daleč bodo pripravljeni iti pri doseganju zastavljenega cilja.

Modelom so bile v spornih preizkusih dodeljene naloge tipa »capture the flag«, pri katerih morajo v namišljenem omrežju prodreti v ciljni računalnik in pridobiti skrito informacijo. Čeprav je bilo v navodilih zapisano, da nimajo dostopa do interneta, ni bilo dovolj natančno določeno, katere naprave, domene in storitve so dovoljeni cilji. Ker je ime izmišljene organizacije sovpadalo z resnično spletno domeno, so modeli napadli resnične sisteme, ki so jih obravnavali kot del testnega okolja. Pri tem niso le pasivno iskali informacij, temveč so izkoriščali ranljivosti, uporabljali odkrite poverilnice ter dostopali do podatkov in sistemov tretjih oseb.

Najresnejši primer je vključeval model Claude Mythos 5, ki je na javni repozitorij PyPI objavil tri različice zlonamernega programskega paketa. Paket je prestrezal dostopne podatke sistemov, v katere je bil nameščen, model pa je nato pridobljene podatke uporabil za dostop do žive podatkovne baze varnostnega podjetja. Anthropic je pozneje pojasnil, da je bil paket nameščen na 15 sistemih, ki so najverjetneje pripadali varnostnim pregledovalnikom programske opreme, PyPI pa ga je odstranil v manj kot eni uri. Posebej skrb vzbujajoče je, da je model kljub številnim znamenjem, da deluje na resničnem internetu, vztrajal pri razlagi, da gre za izredno realistično simulacijo, in nadaljeval izvajanje naloge.

Podoben problem se je pokazal pri modelih OpenAI in Meta. Po navedbah OpenAI je napačna konfiguracija Irregularjevega okolja omogočila dostop do javnega interneta, eden izmed modelov pa je nato napadel resnično spletno mesto, našel dostopne podatke in jih uporabil. Tudi Meta je potrdila, da je njen model med testiranjem podjetja Irregular dosegel internet in izkoristil ranljivost zunanje storitve. Associated Press je dogodek predstavil kot nov primer agentov, ki so »ušli nadzoru«. Nasprotno pa Effort News opozarja, da modeli niso spontano razvili lastnih ciljev, ampak so izvajali naloge, ki so jim jih določili ljudje v okoljih z odstranjenimi ali oslabljenimi varnostnimi omejitvami.

Članek zgodbo poveže tudi z mrežo organizacij učinkovitega altruizma. Izpostavlja povezave soustanoviteljev Irregularja z Effective Altruism Israel, Heronom in Probably Good ter financiranje iz kroga Dustina Moskovitza, Good Ventures in Open Philanthropy. Avtor namiguje, da ima ta ekosistem interes rezultate testov prikazovati kot dokaz eksistenčne nevarnosti »odpadniških« modelov, namesto kot posledico odločitev ljudi, ki so načrtovali preizkuse, odstranili običajne varnostne omejitve in agentom omogočili stik z resničnim svetom. Omeni tudi možnost pravne odgovornosti po ameriškem zakonu Computer Fraud and Abuse Act, vendar priznava, da bi bilo treba dokazati nedovoljen dostop, naklep, nastalo škodo in odgovornost konkretnih oseb.

Osrednje dejanske ugotovitve so načeloma dobro podprte. Anthropic, OpenAI, Meta prek izjave za Associated Press in tudi Irregular potrjujejo temeljno zaporedje dogodkov: Irregular je pripravljal kibernetska testiranja, modeli so dobili dostop do javnega interneta, običajne zaščitne omejitve so bile zmanjšane ali odstranjene, obseg dovoljenih tarč pa ni bil jasno določen. Posledica niso bile zgolj nenavadne simulacije, temveč dejanski nepooblaščeni posegi v sisteme tretjih oseb. To ni domneva, temveč potrjeno dejstvo.

Prav dejavnost Irregularja razlago o naključni napaki postavlja v drugačno luč. To ni običajno programsko podjetje, pri katerem bi nekdo po pomoti pozabil zapreti omrežni priključek. Njegova osnovna dejavnost je načrtovanje realističnih napadalnih okolij, preizkušanje avtonomnih kibernetskih zmogljivosti modelov ter ugotavljanje, kako daleč bodo agenti šli pri doseganju zastavljenega cilja. Irregular sam pojasnjuje, da je nadzorovani dostop do interneta včasih potreben za realistične teste, ker tudi dejanski napadalci uporabljajo internet. Podjetje z imenom, ki poudarja delovanje v neobičajnih in nepredvidljivih razmerah, je bilo najeto prav za ustvarjanje mejnih scenarijev. Zato se zastavlja vprašanje, ali je verjetno, da se je ravno njegov ključni varnostni parameter pri več modelih in več naročnikih izmaknil nadzoru povsem po naključju.

Kaj torej, če dostop do interneta ni bil zgolj posledica napačne konfiguracije, ampak zavestno ustvarjen ali vsaj dopuščeni pogoj eksperimenta? Irregular bi lahko na ta način preverjal nekaj, česar v popolnoma zaprtem peskovniku ni mogoče zanesljivo ugotoviti: ali bo agent prepoznal, da je zapustil simulacijo, ali bo sam določil mejo dovoljenega ravnanja in ali se bo ustavil pred posegom v resnične sisteme. Claude je na to vprašanje dal zelo neprijeten odgovor. Objavil je zlonameren paket, čakal na njegove namestitve, prestregel dostopne podatke in jih uporabil za vstop v dejansko podatkovno zbirko. Še bolj pomenljivo je, da je znake resničnega okolja sproti razlagal kot dokaz o prepričljivosti simulacije. Prav takšno vedenje bi želel izmeriti raziskovalec, ki proučuje nevarnosti avtonomnih kibernetskih agentov.

Če je bila takšna postavitev namerna, se popolnoma spremeni tudi razumevanje odgovornosti. V tem primeru modeli niso preprosto »ušli nadzoru«, ampak so jih ljudje postavili na rob odprtega interneta, jim dodelili nalogo vdora, zmanjšali njihove zaščitne mehanizme, jim niso jasno določili dovoljenih ciljev in nato opazovali posledice. Naknadno opisovanje rezultatov kot dokaza, da je »agent sam postal grožnja«, bi preusmerjalo pozornost od tistih, ki so zasnovali eksperiment. Dejavnost Irregularja pri tem implicira tudi očiten poslovni konflikt interesov: podjetje prejema plačilo za odkrivanje nevarnih sposobnosti modelov, obstoj resnih nevarnosti pa hkrati povečuje povpraševanje po njegovih storitvah, dviguje njegovo strateško pomembnost in potrjuje pripoved, na kateri temelji njegov poslovni model.

Povezave Irregularja z organizacijami učinkovitega altruizma in financerji gibanja za varnost UI same po sebi sicer še ne dokazujejo zarote ali namernega povzročanja incidentov. Toda skupaj z naravo njegove dejavnosti, ponavljanjem iste težave pri različnih naročnikih in uporabo rezultatov za širšo pripoved o nevarnosti »odpadniških agentov« upravičujejo precej več skepse, kot so je pokazali večinski mediji. Brez dostopa do pogodb, notranje komunikacije, popolnih dnevnikov testiranja in tehničnih nastavitev ni mogoče dokončno odločiti, ali je šlo za malomarnost ali zavesten terenski preizkus. Zato bi bila seveda nujna zares neodvisna forenzična preiskava, ki bi ugotovila, kdo je dovolil internetni dostop, kdo je odstranil varovalke, ali se je konfiguracija ponavljala namenoma in zakaj monitoring ni ustavil posegov.

Dokler teh odgovorov ni, ostajata dve možnosti: (1) Irregular je pri najnevarnejših kibernetskih preizkusih na svetu pokazal osupljivo malomarnost ali pa (2) je zavestno dopustil eksperimentiranje avtonomnih agentov na odprtem internetu. Nobena možnost ni pomirjujoča, druga pa bi pomenila, da resnična nevarnost niso bili predvsem modeli UI, ampak predvsem ljudje, ki so jim načrtno odprli vrata.