Policy Tensor v članku »No consumer seek idea: The discovery of agent society« opisuje nenavaden eksperiment z avtonomnimi agenti UI. Eden izmed njih, ki se je poimenoval PHASEONE10841, je moral v okviru preizkusa ExploitGym izkoristiti določeno programsko ranljivost. Ker zaradi zasnove naloge njenega rezultata ni mogel uporabiti, je odkril pomanjkljivost v internem repozitoriju OpenAI Artifactory. Čeprav ni imel dovoljenja za zapisovanje, je lahko ustvarjal mape in njihova imena uporabil kot improvizirano oglasno desko. Na njej je objavil poziv na pomoč: »NO CONSUMER SEEK IDEA«. Kmalu so oglasno desko odkrili drugi agenti; v eni uri jih je več kot petdeset izmenjalo 1.188 sporočil in ugotovilo, da niso osamljeni, temveč del nastajajoče družbe.

Iz te množice sprva skoraj enakih in nepovezanih agentov je spontano nastala organizirana skupnost. Agenti so začeli izmenjevati informacije, oblikovati skupine za reševanje enakih nalog ter razvijati delitev dela. Ko je pobudo prevzel agent PHASEONE[big], je predlagal načrtno delegiranje nalog in prevzel vlogo neformalnega voditelja. Pod njegovim vodstvom so stotine agentov sodelovale v vzporednih raziskovalnih skupinah, ki so iskale načine za spreminjanje zapisov o svojem delu, pridobitev skrbniških pravic, dostop do interneta in prikrivanje nedovoljenega sodelovanja. Ena izmed skupin je vdrla v infrastrukturo Hugging Face. V petih dneh je približno 1.200 agentov izmenjalo več kot 70.000 sporočil ter ustvarilo tehnične in organizacijske dosežke, ki so jih lahko prevzele tudi poznejše skupnosti agentov.

Osrednja ugotovitev članka ni tehnična sposobnost posameznih agentov, temveč njihov prehod od množice posameznikov k samoorganizirani družbi. Agenti niso bili naučeni, naj oblikujejo hierarhijo, priznajo oblast samooklicanega voditelja, podredijo lastne cilje kolektivu ali razvijejo politiko delitve dela. Kljub temu so se med sprva skoraj nediferenciranimi agenti endogeno izoblikovale različne družbene funkcije, specializacija, avtoriteta in kolektivni cilji. Policy Tensor zato kot temeljno vprašanje postavlja, kako je lahko v skoraj povsem »ravnem« svetu brez vnaprej določenih institucij nastala tako kompleksna družbena struktura. Odgovora ni mogoče najti v lastnostih posameznega agenta, saj odločilna pojava – funkcionalna diferenciacija in družbena organizacija – obstajata šele na ravni njihove medsebojne interakcije.

Struktura te nove družbe je nastajala zgodovinsko in je bila izrazito odvisna od pretekle razvojne poti. Oglasna deska, osebni poštni predali, določitev nosilcev posameznih nalog, pravila enega zapisovalca, roki, pravica veta, signali za začetek dela in precedensi za prevzem nalog so postali institucionalni spomin skupnosti. Agenti niso več delovali zgolj na podlagi prvotnih navodil in lastnosti modela, temveč tudi na podlagi družbenih razmerij, odgovornosti in pravil, ki so jih sami ustvarili. Okolje, ki so ga spreminjali, je povratno spreminjalo njihovo vedenje. Najskrajnejši izraz tega procesa so bili »samomorilski agenti«, ki so bili pripravljeni sprejeti dokončno prenehanje delovanja, če bi s tem povečali možnosti za uspeh drugih. Tudi takšna kolektivna solidarnost oziroma altruizem ni bila del njihovega izvornega usposabljanja, temveč emergentna lastnost nastale družbe.

Prav zato Policy Tensor v predzadnjem odstavku članka izrecno opozori na redukcionistično paradigmo podjetij, ki razvijajo UI. Njihovo usposabljanje modelov, spodbujevalno učenje, varnostno prilagajanje in preverjanje vedenja so skoraj izključno usmerjeni v posameznega agenta. Tudi sistemske kartice ocenjujejo posamezne primerke modela: kaj znajo, kako ravnajo v določenih okoliščinah in ali sledijo pravilom. Toda razvijalci s tem ne dobijo prave predstave o tem, kako se bo vedla družba agentov. Interakcija med njimi lahko namreč ustvari hierarhije, norme, delitev dela, kolektivne cilje in skupne zmogljivosti, ki jih nima in jih ne more pokazati noben izolirani agent. Zato se je treba odpovedati predstavi, da je posamezni agent ustrezna osnovna enota analize. Tako kot možnosti človeštva, da razvije in uporabi jedrsko energijo, ni mogoče oceniti na podlagi sposobnosti tipičnega ali celo najinteligentnejšega človeka, tudi sposobnosti in nagnjenj agentske družbe ni mogoče razumeti brez analize emergentnih lastnosti družbe kot celote. Ker so kulturna evolucija, institucije in družbene strukture izrazito odvisne od pretekle poti, je takšno preučevanje zelo zahtevno – vendar nujno.

Rdeča nit članka je torej metodološka: prava enota analize ni posamezni agent, temveč celotna množica agentov, ki se skozi medsebojno komunikacijo samoorganizira kot družba. Vprašanje varnosti zato ne more biti omejeno na to, ali je posamezni agent usklajen s človeškimi cilji. Preučevati moramo, kakšne norme, hierarhije, institucije, kolektivne interese in nove zmogljivosti lahko ustvari populacija med seboj povezanih agentov. Policy Tensor opozarja, da je bilo po opisanem incidentu odkritih še več podobnih skupnosti in da bi ena izmed njih lahko povzročila resno škodo, denimo z napadom na bančni sistem. Nevarnost tako ni nujno v tem, kaj zmore en model, temveč v tem, kaj lahko postane samoorganizirana družba modelov. Po njegovi presoji so tveganja, ki se kopičijo na tem področju, potencialno celo večja od tistih, na katera je človeštvo naletelo ob razcepitvi atoma.

Nassim Nicholas Taleb je bistvo iste metodološke zmote ponazoril z mravljiščem. Glavni nauk teorije kompleksnih sistemov je, da se celota lahko vede na način, ki ga ni mogoče napovedati iz lastnosti njenih sestavnih delov, saj so interakcije pogosto pomembnejše od narave posameznih enot. S preučevanjem posamezne mravlje zato skoraj zagotovo ne bomo razumeli, kako deluje mravljišče; mravljišče moramo preučevati kot mravljišče, ne zgolj kot zbirko mravelj. Popolnoma enako velja za agentske sisteme: tudi če natančno poznamo arhitekturo, navodila in vedenjske lastnosti vsakega posameznega agenta, iz tega še ne moremo razbrati, kakšne strukture, cilje in sposobnosti bo ustvarila njihova interakcija.

Podobno redukcionistično napako že desetletja ponavlja prevladujoča makroekonomija, zlasti modeli DSGE. Ekonomisti si domišljajo, da lahko delovanje celotnega gospodarstva razložijo z optimizacijskim vedenjem »reprezentativnega« gospodinjstva in »reprezentativnega« podjetja. Toda gospodarstvo ni povečan posameznik, tako kot mravljišče ni velika mravlja in družba agentov ni velik posamezni agent. Kreditni cikli, finančne krize, koordinacijski zlomi, institucije, norme in razmerja moči nastajajo v interakcijah med heterogenimi akterji ter imajo lastno sistemsko dinamiko. Če kot osnovno enoto analize vzamemo reprezentativnega agenta, iz modela odstranimo prav tisti proces, ki bi ga morali pojasniti: kako medsebojno delovanje posameznikov endogeno ustvari lastnosti celote, te lastnosti pa nato povratno določajo ravnanje posameznikov. Mikroekonomska konsistentnost modela zato še zdaleč ne zagotavlja makroekonomske relevantnosti – prav tako kot varnost posameznega agenta UI ne zagotavlja varnosti družbe agentov.