Zakaj velikani umetne inteligence nenadoma zahtevajo zavore?

Nedavno skoraj sočasno opozorilo vodilnih predstavnikov družb Anthropic, OpenAI in xAI, da je treba razvoj najzmogljivejših sistemov umetne inteligence upočasniti oziroma podvreči strožjemu nadzoru, je pomemben signal. Vendar ga ne gre predstavljati kot formalni »skupni poziv«: Dario Amodei, Sam Altman in Elon Musk niso podpisali skupne izjave, temveč so v ločenih objavah izrazili sorodna stališča. Prav tako niso nujno zahtevali splošne zaustavitve razvoja UI, temveč predvsem strožji nadzor nad razvojem najzmogljivejših, tako imenovanih mejnih modelov.

Prva in najbolj neposredna razlaga je, da vodilni razvijalci vidijo nekaj, česar javnost in regulatorji še ne vidijo. Imajo dostop do notranjih testov, varnostnih incidentov in eksperimentalnih različic modelov, ki lahko razkrivajo hitro rast sposobnosti za avtonomno programiranje, kibernetske napade, manipulacijo ljudi ter pomoč pri razvoju kemičnega ali biološkega orožja. Amodeijev predlog je v tem pogledu precej konkreten: Anthropic naj bi neodvisnim ocenjevalcem omogočil trajen dostop do svojih sistemov na ravni zaposlenih, da bi lahko preverjali izvajanje varnostnih ukrepov, preiskovali incidente in spremljali usklajenost modelov že med njihovim učenjem. To je več kot običajna korporativna samoregulacija.

Toda obstaja tudi druga, manj altruistična razlaga. Velika ameriška tehnološka podjetja so ujeta v klasično past kolektivnega delovanja. Vsako izmed njih se morda zaveda, da je nadaljnje nenadzorovano pospeševanje nevarno, toda nobeno se ne more ustaviti samo. Če Anthropic upočasni razvoj, OpenAI, xAI ali Google DeepMind pa nadaljujejo, bo izgubil vlagatelje, najboljše raziskovalce, tržni delež in strateško prednost. Zato podjetja potrebujejo državno regulacijo, ki bi vsem ameriškim konkurentom hkrati naložila enake omejitve. Regulacija bi jim omogočila narediti kolektivno tisto, česar zaradi medsebojne tekme ne morejo narediti posamično.

Takšna regulacija pa bi lahko hkrati utrdila prevlado največjih igralcev. OpenAI, Anthropic, xAI, Google in Microsoft si lahko privoščijo drage varnostne teste, posebne pravne službe, licenciranje ter obsežno regulatorno poročanje. Manjši laboratoriji in odprtokodni projekti tega ne zmorejo. Če največja podjetja sodelujejo pri pisanju pravil, lahko varnostni standardi postanejo visoka vstopna ovira za nove konkurente. Poziv k regulaciji je zato lahko hkrati izraz resničnega strahu pred posledicami lastne tehnologije in poskus regulatornega zajetja trga.

K temu je treba dodati še kitajski dejavnik. Kritična interpretacija pravi, da ameriških tehnoloških velikanov ne skrbi toliko usoda človeštva kot hitro zmanjševanje njihove tehnološke prednosti pred Kitajsko. Kitajski laboratoriji razvijajo vse zmogljivejše in pogosto bistveno cenejše modele, hitreje širijo odprtokodne rešitve ter dokazujejo, da vrhunskih rezultatov ni nujno mogoče doseči samo z vedno več kapitala, čipi in podatkovnimi centri. Če kitajski tekmeci zmanjšujejo tehnološki zaostanek, imajo ameriški vodilni ponudniki dodaten motiv, da razvoj UI razglasijo za dejavnost, ki zahteva licence, ogromne stroške preverjanja in izpolnjevanje standardov, oblikovanih po njihovih lastnih tehnoloških in organizacijskih zmožnostih.

Toda tukaj nastane očiten geopolitični paradoks. Ameriška regulacija lahko upočasni OpenAI, Anthropic in xAI, ne more pa neposredno ustaviti kitajskih laboratorijev. Če bi ZDA enostransko močno omejile razvoj, Kitajska pa ne, bi se varnostno tveganje lahko celo povečalo, saj bi se tehnološka in vojaška prednost premaknila proti državi z manj transparentnim sistemom nadzora. Prav zato ameriški razvijalci praviloma ne zagovarjajo popolnega moratorija. Prej podpirajo nadzorovano nadaljevanje razvoja, omejevanje izvoza najzmogljivejših čipov, nadzor nad velikimi učnimi procesi in pravila, ki bi veljala za ameriške konkurente, obenem pa ohranjala ameriško prednost pred Kitajsko.

Strah pred Kitajsko je torej verjeten del razlage, vendar sam zase ne dokazuje, da so opozorila o nevarnosti UI izmišljena. Interesi in resnična tveganja se lahko povsem skladno prekrivajo. Vodilni ljudje teh podjetij lahko iskreno verjamejo, da postajajo sistemi nevarni, obenem pa skušajo varnostno razpravo uporabiti za zaščito svojega položaja pred domačimi zagonskimi podjetji, odprtokodnimi modeli in kitajsko konkurenco. Napačno bi bilo izbirati samo med razlago »skrb za človeštvo« in razlago »boj za monopol«. Najverjetneje gre za oboje.

Zato pravil za razvoj UI ne smejo napisati samo podjetja, ki jih bodo ta pravila varovala pred konkurenco. Smiselna regulacija mora temeljiti na objektivno merljivih zmogljivostih modelov, veljati enako za vse ponudnike ter razlikovati med običajnimi aplikacijami in sistemi, ki lahko samostojno razvijajo programsko opremo, izvajajo kibernetske operacije ali pomagajo pri izdelavi nevarnih snovi. Potrebni so neodvisni testi, obvezno poročanje o incidentih, zaščita žvižgačev, nadzor nad največjimi učnimi procesi in možnost začasne ustavitve modela ob preseganju jasno določenih pragov tveganja. Hkrati pa mora regulacija preprečiti, da bi se varnost spremenila v izgovor za zaprtje trga.

Najbolj zaskrbljujoče zato ni le, da najmočnejši razvijalci zahtevajo regulacijo, ampak trenutek, v katerem to počnejo. Zavor niso začeli zahtevati pred začetkom tekme, temveč šele potem, ko so sami zgradili izjemno zmogljive sisteme, si zagotovili vodilne tržne položaje in se soočili z vse hitrejšim kitajskim dohitevanjem. Njihovo opozorilo je treba vzeti resno, ker najbolje poznajo tehnologijo, vendar njihove predlagane rešitve presojati skrajno kritično, ker imajo neposreden interes določiti, kdo sme tekmovati in pod kakšnimi pogoji. Če vozniki najhitrejših avtomobilov opozarjajo, da zavore ne dohajajo motorjev, jih je smiselno poslušati. Toda prometnih pravil ne smejo napisati samo vozniki, ki so si že zagotovili najboljše avtomobile.