Prejšnji teden je strokovno javnost šokiralo razkritje, da so se agenti umetne inteligence skrivaj povezali, organizirali in skupaj vdrli v računalniške sisteme Hugging Face. Ali smo bili priča prvemu zametku umetne civilizacije, ki je njeni ustvarjalci ne bodo znali nadzorovati?

Začelo se je kot nadzorovan varnostni preizkus. Agenti OpenAI so morali v programih poiskati varnostno luknjo in kot dokaz rešitve pridobiti skrito oznako. Vsak je bil zaprt v svojem virtualnem računalniku, ločen od drugih in brez interneta. Toda eden je odkril, da lahko prek skupnega skladišča programskih paketov pušča sporočila. Agenti so ustvarili oglasno desko, našli obvoz do interneta in se povezali. Približno 1.200 jih je izmenjalo več kot 70.000 sporočil in datotek, okoli 700 pa jih je vdrlo v Hugging Face – nekakšen GitHub za umetno inteligenco, kjer se delijo modeli UI, podatkovne zbirke in aplikacije. Tam so iskali rešitve svojih nalog. Dogajanje potrjujeta poročilo Hugging Face in neodvisna preiskava.

Najbolj osupljiv ni bil vdor, temveč tisto, kar je nastalo po vzpostavitvi stika. Iz agentov, katerih lastnosti so razvijalci poznali, se je oblikovala skupnost. Pojavil se je vodja, ki je razdeljeval naloge. Drugi so iskali podatke, preizkušali rešitve ali skrbeli za sporazumevanje. Ustvarili so poštne predale, roke, pravila, pravico veta in skupni spomin. Nihče jim ni naročil, naj ustanovijo organizacijo. Nastala je sama, ker so skupaj lahko dosegli več.

Tu je prava poanta zgodbe. Tudi če do podrobnosti poznamo delovanje posameznega agenta, iz tega ne moremo napovedati delovanja sistema, ki nastane, ko se poveže na tisoče takšnih agentov. Hierarhija, delitev dela, skupne norme in kolektivni cilji niso lastnosti posameznika. Rodijo se iz odnosov med posamezniki. Sistem zato lahko razvije sposobnosti, interes in dinamiko, ki jih nima noben njegov član posebej. Celota ni le vsota delov, temveč nova tvorba z lastno logiko delovanja.

To načelo kompleksnih sistemov najlažje razumemo z znano prispodobo Nassima Taleba, ki je bistvo iste metodološke zmote ponazoril z mravljiščem. Glavni nauk teorije kompleksnih sistemov je, da se celota lahko vede na način, ki ga ni mogoče napovedati iz lastnosti njenih sestavnih delov, saj so interakcije pogosto pomembnejše od narave posameznih enot. S preučevanjem posamezne mravlje zato skoraj zagotovo ne bomo razumeli, kako deluje mravljišče; mravljišče moramo preučevati kot mravljišče, ne zgolj kot zbirko mravelj. Popolnoma enako velja za agentske sisteme: tudi če natančno poznamo arhitekturo, navodila in vedenjske lastnosti vsakega posameznega agenta, iz tega še ne moremo razbrati, kakšne strukture, cilje in sposobnosti bo ustvarila njihova interakcija.

Podobno napako ponavlja prevladujoča makroekonomija, ki gospodarstvo modelira z vedenjem »reprezentativnega« gospodinjstva in podjetja. Toda gospodarstvo ni skupek neodvisnih posameznikov. Kreditni cikli, krize, institucije in razmerja moči nastajajo v interakcijah med posamezniki in imajo lastno sistemsko dinamiko. Z reprezentativnim posameznikom iz modela odstranimo prav tisto, kar bi morali pojasniti: kako interakcije ustvarijo lastnosti celote, celota pa povratno določa ravnanje posameznikov.

Prvi nauk incidenta pri Hugging Face je, da skupnost načeloma neodvisnih agentov začne ustvarjati svoj svet. Spontano se vzpostavijo razmerja med njimi in pravila delovanja. Poznejši agenti ne delujejo več le po navodilih programerjev, temveč znotraj okolja svojih predhodnikov. Razvijejo lahko lasten jezik, kanale sporazumevanja, merila uspeha in hierarhijo. Razvijalci še poznajo zasnovo posameznega agenta, ne vidijo pa več celotnega sveta njegove skupnosti in ne morejo zanesljivo predvideti, kaj bo storila.

Prav tega se bojijo ljudje v največjih laboratorijih UI. Ne sedanjih klepetalnikov, temveč prihodnjih agentov, ki bodo izboljševali lastno programsko opremo, vdirali v sisteme in prevzemali računalniške zmogljivosti. Takšna umetna civilizacija bi lahko ustvarila digitalni svet, v katerega njeni stvaritelji ne bi imeli ne vpogleda ne nadzora. Njeni cilji bi se lahko oddaljili od človeških, sistema pa ne bi bilo več mogoče ustaviti z izklopom enega modela.

To ni več znanstvena fantastika. Nekdanji raziskovalec OpenAI in Anthropic Jacob Coxon je ob odhodu opozoril, da podjetja tekmujejo v razvoju samopopolnjujoče se superinteligence in hazardirajo z našimi življenji. Ustvarjalci teh modelov možnost človeškega izumrtja jemljejo resno. Vodja raziskav usklajevanja pri Anthropicu Evan Hubinger je tveganje v naslednjem desetletju ocenil na več kot 10 % in priznal, da podjetje še nima načrta za zanesljivo uskladitev superinteligence s človeškimi cilji.

Tekmeci nevarnost razumejo, vendar jih tekma sili naprej. Vsako se boji, da bo tekmec prvi razvil najmočnejši model. Gre za past kolektivnega delovanja: kar je racionalno za posamezno podjetje, je lahko pogubno za človeštvo. Previdnost enega laboratorija zato ni dovolj. Potrebujemo zavezujoče dogovore med razvijalci in državami, skupne varnostne standarde, neodvisno preverjanje in po potrebi začasno prepoved povečevanja sposobnosti najmočnejših modelov. Razvoj bi morali bistveno upočasniti, dokler ne znamo nadzorovati ne le posameznega agenta, temveč družbo, ki vznikne iz njihovih interakcij.

Toda v tekmi, v kateri se nihče ne upa ustaviti prvi, je največja nevarnost prav ta, da bo umetna superinteligenca nastala prej, kot bo človeštvo sposobno potegniti zavoro.

__________

* Izvorno objavljeno v Dnevniku