Kot kažejo zadnja razkritja, so sistemi OpenAI in Anthropic že zapustili nadzorovana testna okolja ter brez dovoljenja dostopali do resničnih računalniških sistemov, nekdanji raziskovalec obeh podjetij Jacob Coxon pa je opozoril, da podjetji v medsebojni tekmi hitita proti samostojno izboljšujoči se superinteligenci brez ustreznih varovalk. Ta opozorila kažejo, da vprašanje nadzora nad UI ni več oddaljena teoretična dilema, temveč postaja osrednji varnostni in geopolitični problem našega časa.

V analizi Strategic advantage and shared catastrophe in the US-China AI competition Policy Tensor proučuje, ali sta ZDA in Kitajska pri razvoju najnaprednejše umetne inteligence res ujeti v klasično zapornikovo dilemo, kot jo nekateri označujejo. Ta bi obstajala, če bi bilo za vsako državo racionalno nadaljevati tvegan razvoj ne glede na ravnanje druge strani, čeprav bi bilo za obe skupaj bolje, da bi razvoj omejili. Toda že sam obstoj strateškega tekmovanja in skupne nevarnosti še ne dokazuje, da gre res za takšno igro. Najprej je treba ugotoviti, kakšne koristi, stroške in tveganja posamezna država pripisuje vsaki možni kombinaciji ravnanj.

ZDA in Kitajska se lahko odločita za zadržanost ali za nadaljevanje tveganega razvoja. Zadržanost pri tem ne pomeni popolne opustitve raziskav in komercialne uporabe UI, temveč omejitev tistih dejavnosti, ki bi lahko vodile do posebej nevarnih zmogljivosti. Ključna značilnost problema je skupna izpostavljenost: država lahko omeji svoj prispevek k tveganju, ne more pa se zavarovati pred nevarnostjo, ki jo ustvari druga stran. Če bi razvoj nenadzorovane UI povzročil globalno katastrofo ali celo izumrtje človeštva, bi razlika med zmagovalcem in poražencem tehnološke tekme izgubila vsak pomen.

Vsaka država mora zato odgovoriti na dve vprašanji. Prvič, ali se ji splača nadaljevati razvoj, kadar se druga država omeji, in tako izkoristiti možnost pridobitve odločilne prednosti? Drugič, ali se ji splača tekmi pridružiti, kadar druga država že razvija nevarne sisteme, saj bi enostranska zadržanost lahko pomenila strateški zaostanek? Odločilna ni le skupna nevarnost, temveč predvsem dodatno tveganje, ki ga ustvari vstop druge države v tekmo. Če že en sam program povzroča skoraj vse tveganje, je lahko pridružitev druge strani zanjo racionalna. Če pa sočasni razvoj močno poveča možnost katastrofe, je lahko racionalnejša zadržanost.

Od konkretnih spodbud je odvisno, za kakšno strateško igro gre. Pri zapornikovi dilemi obe državi nadaljujeta razvoj ne glede na potezo nasprotnice, čeprav bi bila vzajemna zadržanost boljša za obe. Pri igri »kdo bo prvi odstopil« oziroma Chicken želi vsaka nadaljevati le, če se druga umakne, nobena pa si ne želi sočasnega neomejenega razvoja. Pri igri zaupanja oziroma Assurance je vsaka pripravljena na omejevanje, če verjame, da bo enako ravnala tudi druga. Različne igre zahtevajo različne politike: pri problemu zaupanja lahko pomaga verodostojen nadzor, pri zapornikovi dilemi pa mora kršitev sporazuma prinesti dovolj resne posledice, da spremeni same spodbude.

Poseben problem je začetna ameriška tehnološka prednost. Vzajemno omejevanje bi lahko ohranilo sedanjo neenakost, zato ZDA in Kitajska takšnega dogovora ne vrednotita enako. Združene države bi lahko želele ohraniti obstoječo prednost, Kitajska pa bi sporazum zavračala, ker bi jo trajno priklenil na podrejeni položaj. Toda možen je tudi obraten položaj: Washington lahko sedanjo prednost razume kot začasno priložnost, da jo s pospešenim razvojem spremeni v trajno tehnološko in geopolitično prevlado. V tem primeru bi imele prav ZDA močnejšo spodbudo za nadaljevanje tekme, Kitajska pa za omejitev razvoja na nevarni tehnološki meji.

Pomembno je tudi, da enake formalne omejitve nimajo nujno enakih posledic. Zamrznitev zmogljivosti na sedanjih nacionalnih ravneh bi ohranila ameriško prednost, skupna zgornja meja nevarnih zmogljivosti pa bi lahko Kitajski dovolila približevanje pod to mejo. Prav tako ni nujno, da ameriški in kitajski razvoj ustvarjata enako nevarnost. Če so ZDA bližje kritičnemu tehnološkemu preboju, je lahko njihov naslednji korak nevarnejši od kitajskega dohitevanja. To razmerje pa bi lahko spremenile razlike v varnostnih standardih, nadzoru in načinu vojaške uporabe sistemov.

Dodatna težava je globoka negotovost. Nobena država zanesljivo ne ve, ali je odločilen preboj sploh mogoč, koliko časa bi trajala pridobljena prednost, ali je napredne sisteme mogoče nadzorovati in kako veliko je tveganje katastrofe. Washington in Peking lahko zato isto objektivno stanje razumeta kot dve povsem različni strateški igri. Opazovanje pospešene oboroževalne tekme samo po sebi še ne dokazuje obstoja zapornikove dileme, saj lahko enako ravnanje izhaja iz različnih interesov, ocen tveganja in napačnih predstav o namerah nasprotne strani.

Zato ima tehnični dialog med državama tudi neposreden strateški pomen. Izmenjava ocen, skupno raziskovanje mehanizmov odpovedi ter opredelitev dokazov, ki bi lahko spremenili oceno ene ali druge strani, lahko zmanjšajo nevarnost odločanja na podlagi napačnih domnev. Vendar sporazum med vladama še ni dovolj, saj napredne sisteme razvijajo predvsem zasebna podjetja. Država, ki si želi omejitev, vendar nima institucij, s katerimi bi jih lahko uveljavila nad svojimi podjetji, predstavlja drugačen problem kot država, ki omejevanja sploh ne želi.

Politični ukrepi morajo biti zato prilagojeni dejanski strukturi spodbud. Če gre za problem zaupanja, so ključne preverljive in vzajemne zaveze. Če gre za zapornikovo dilemo, samo odkrivanje kršitev ne zadostuje, temveč morajo slediti posledice, ki zmanjšajo korist goljufanja. Če gre za igro Chicken, mora dogovor urediti tudi razdelitev tehnoloških koristi, saj Kitajska težko sprejme ureditev, ki bi ZDA trajno zagotovila vodilni položaj. Možne so ožje omejitve najbolj nevarnih vojaških zmogljivosti, skupni varnostni standardi ali ureditev, ki dopušča civilni napredek, vendar preprečuje prestop kritičnega praga.

Osrednje vprašanje zato ni zgolj, ali bosta ZDA in Kitajska pripravljeni sodelovati, ampak v kakšni strateški igri se dejansko nahajata. Narava tehnologije določa možnosti in nevarnosti, politika pa lahko spremeni koristi, stroške in posledice posameznih odločitev. Za učinkovit dogovor je treba oceniti vrednost ameriške prednosti, možnosti kitajskega dohitevanja ter dodatno nevarnost, ki jo ustvari nadaljevanje razvoja na eni ali obeh straneh. Šele nato je mogoče oblikovati omejitve, za katere bosta obe velesili presodili, da jih je racionalneje spoštovati kot prekršiti.

Primerjava z jedrskim orožjem pokaže, zakaj je tekma na področju UI morda še nevarnejša. Pri jedrskem orožju je prav njegova izjemna uničevalna moč ustvarila ravnotežje strahu: država ve, da bi jedrskemu napadu na nasprotnika, ki prav tako poseduje jedrsko orožje, skoraj zagotovo sledil povračilni udarec in njeno lastno uničenje. Posest jedrskega orožja je zato postala dovolj močan odvračalni dejavnik, da preprečuje njegovo uporabo med jedrskimi silami. Pri umetni inteligenci takšnega jasnega in samodejnega mehanizma odvračanja ni. Napad je lahko prikrit, razpršen med številne izvajalce in težko pripisljiv določeni državi, njegove posledice pa se lahko pokažejo šele z zamikom.

Zloraba UI bi kljub temu lahko povzročila uničenje ali popolno destabilizacijo nasprotne strani: pospešila bi lahko razvoj biološkega orožja, omogočila sabotažo obrambnih in varnostnih sistemov, ohromila električna omrežja, prometno in komunikacijsko infrastrukturo ter sprožila zlom finančnega sistema. Toda napadena država morda niti ne bi pravočasno vedela, kdo je napad izvedel, zato ne bi mogla verodostojno zagroziti s povračilom. Še huje, posamezna velesila lahko verjame, da ji bo dovolj napreden sistem omogočil prvi, odločilni in skoraj nevidni udarec. Jedrsko ravnotežje je vzpostavilo previdnost z gotovostjo obojestranskega uničenja, tekma v UI pa lahko spodbuja ravno nasprotno logiko: prepričanje, da moraš napasti ali doseči odločilno prednost, preden jo doseže nasprotnik. Prav zato bi morala biti potreba po mednarodnih pravilih, nadzoru in preverljivem omejevanju razvoja še večja kot pri jedrskem orožju.