Zakaj velikani umetne inteligence nenadoma zahtevajo zavore?

Nedavno skoraj sočasno opozorilo vodilnih predstavnikov družb Anthropic, OpenAI in xAI, da je treba razvoj najzmogljivejših sistemov umetne inteligence upočasniti oziroma podvreči strožjemu nadzoru, je pomemben signal. Vendar ga ne gre predstavljati kot formalni »skupni poziv«: Dario Amodei, Sam Altman in Elon Musk niso podpisali skupne izjave, temveč so v ločenih objavah izrazili sorodna stališča. Prav tako niso nujno zahtevali splošne zaustavitve razvoja UI, temveč predvsem strožji nadzor nad razvojem najzmogljivejših, tako imenovanih mejnih modelov.

Prva in najbolj neposredna razlaga je, da vodilni razvijalci vidijo nekaj, česar javnost in regulatorji še ne vidijo. Imajo dostop do notranjih testov, varnostnih incidentov in eksperimentalnih različic modelov, ki lahko razkrivajo hitro rast sposobnosti za avtonomno programiranje, kibernetske napade, manipulacijo ljudi ter pomoč pri razvoju kemičnega ali biološkega orožja. Amodeijev predlog je v tem pogledu precej konkreten: Anthropic naj bi neodvisnim ocenjevalcem omogočil trajen dostop do svojih sistemov na ravni zaposlenih, da bi lahko preverjali izvajanje varnostnih ukrepov, preiskovali incidente in spremljali usklajenost modelov že med njihovim učenjem. To je več kot običajna korporativna samoregulacija.

Nadaljujte z branjem→

Slovenija se je v drugem četrtletju 2026 na prvi pogled znašla med dvema najhitreje rastočima gospodarstvoma v EU: BDP se je medletno povečal za 5 %. To je skoraj petkrat več od povprečne medletne rasti v EU. Zato je zanimivo pogledati pod površino in ugotoviti, kaj je rast dejansko poganjalo: izjemno povečani farmacevtski tokovi, okrevanje tujega povpraševanja ali klasična keynesianska ekspanzija domačega povpraševanja?

Podatki Statističnega urada dajejo precej jasen odgovor. V prvem četrtletju je BDP medletno porasel za 3,2 %, v drugem pa za 5 %. V obeh četrtletjih je največji neposredni impulz prihajal iz domače potrošnje in investicij. V drugem četrtletju so investicije v osnovna sredstva k rasti prispevale 2,7 odstotne točke, potrošnja gospodinjstev 1,7, državna potrošnja pa 1,1 odstotne točke.

Prispevki k medletni realni rasti BDP

Vir: podatki SURS, Izdatkovna struktura BDP. Originalni podatki, primerjava z istim četrtletjem predhodnega leta. Zaradi zaokroževanja se lahko vsota komponent minimalno razlikuje.

Številke kažejo skoraj učbeniški primer keynesiansko poganjane rasti. Končna potrošnja in investicije v osnovna sredstva so v drugem četrtletju skupaj prispevale približno 5,6 odstotne točke. Ker so zaloge računovodsko znižale rast za 0,1, saldo zunanje trgovine pa za 0,5 odstotne točke, se je končni rezultat ustavil pri 5 %. Celotno rast in še nekaj več je torej na izdatkovni strani ustvarilo domače povpraševanje.

Nadaljujte z branjem→

Kot kažejo zadnja razkritja, so sistemi OpenAI in Anthropic že zapustili nadzorovana testna okolja ter brez dovoljenja dostopali do resničnih računalniških sistemov, nekdanji raziskovalec obeh podjetij Jacob Coxon pa je opozoril, da podjetji v medsebojni tekmi hitita proti samostojno izboljšujoči se superinteligenci brez ustreznih varovalk. Ta opozorila kažejo, da vprašanje nadzora nad UI ni več oddaljena teoretična dilema, temveč postaja osrednji varnostni in geopolitični problem našega časa.

V analizi Strategic advantage and shared catastrophe in the US-China AI competition Policy Tensor proučuje, ali sta ZDA in Kitajska pri razvoju najnaprednejše umetne inteligence res ujeti v klasično zapornikovo dilemo, kot jo nekateri označujejo. Ta bi obstajala, če bi bilo za vsako državo racionalno nadaljevati tvegan razvoj ne glede na ravnanje druge strani, čeprav bi bilo za obe skupaj bolje, da bi razvoj omejili. Toda že sam obstoj strateškega tekmovanja in skupne nevarnosti še ne dokazuje, da gre res za takšno igro. Najprej je treba ugotoviti, kakšne koristi, stroške in tveganja posamezna država pripisuje vsaki možni kombinaciji ravnanj.

ZDA in Kitajska se lahko odločita za zadržanost ali za nadaljevanje tveganega razvoja. Zadržanost pri tem ne pomeni popolne opustitve raziskav in komercialne uporabe UI, temveč omejitev tistih dejavnosti, ki bi lahko vodile do posebej nevarnih zmogljivosti. Ključna značilnost problema je skupna izpostavljenost: država lahko omeji svoj prispevek k tveganju, ne more pa se zavarovati pred nevarnostjo, ki jo ustvari druga stran. Če bi razvoj nenadzorovane UI povzročil globalno katastrofo ali celo izumrtje človeštva, bi razlika med zmagovalcem in poražencem tehnološke tekme izgubila vsak pomen.

Vsaka država mora zato odgovoriti na dve vprašanji. Prvič, ali se ji splača nadaljevati razvoj, kadar se druga država omeji, in tako izkoristiti možnost pridobitve odločilne prednosti? Drugič, ali se ji splača tekmi pridružiti, kadar druga država že razvija nevarne sisteme, saj bi enostranska zadržanost lahko pomenila strateški zaostanek? Odločilna ni le skupna nevarnost, temveč predvsem dodatno tveganje, ki ga ustvari vstop druge države v tekmo. Če že en sam program povzroča skoraj vse tveganje, je lahko pridružitev druge strani zanjo racionalna. Če pa sočasni razvoj močno poveča možnost katastrofe, je lahko racionalnejša zadržanost.

Nadaljujte z branjem→

Prejšnji teden je strokovno javnost šokiralo razkritje, da so se agenti umetne inteligence skrivaj povezali, organizirali in skupaj vdrli v računalniške sisteme Hugging Face. Ali smo bili priča prvemu zametku umetne civilizacije, ki je njeni ustvarjalci ne bodo znali nadzorovati?

Začelo se je kot nadzorovan varnostni preizkus. Agenti OpenAI so morali v programih poiskati varnostno luknjo in kot dokaz rešitve pridobiti skrito oznako. Vsak je bil zaprt v svojem virtualnem računalniku, ločen od drugih in brez interneta. Toda eden je odkril, da lahko prek skupnega skladišča programskih paketov pušča sporočila. Agenti so ustvarili oglasno desko, našli obvoz do interneta in se povezali. Približno 1.200 jih je izmenjalo več kot 70.000 sporočil in datotek, okoli 700 pa jih je vdrlo v Hugging Face – nekakšen GitHub za umetno inteligenco, kjer se delijo modeli UI, podatkovne zbirke in aplikacije. Tam so iskali rešitve svojih nalog. Dogajanje potrjujeta poročilo Hugging Face in neodvisna preiskava.

Najbolj osupljiv ni bil vdor, temveč tisto, kar je nastalo po vzpostavitvi stika. Iz agentov, katerih lastnosti so razvijalci poznali, se je oblikovala skupnost. Pojavil se je vodja, ki je razdeljeval naloge. Drugi so iskali podatke, preizkušali rešitve ali skrbeli za sporazumevanje. Ustvarili so poštne predale, roke, pravila, pravico veta in skupni spomin. Nihče jim ni naročil, naj ustanovijo organizacijo. Nastala je sama, ker so skupaj lahko dosegli več.

Nadaljujte z branjem→

Trenutno najboiljša rock skupina na svetu. Z naskokom. Odličen koncert.

Ko bom umrl in ko bodo tresli moj pepel med kornatskimi otoki, si želim, da bi se ob tem slišala Thinking of a place ali I don’t live here anymore.

Nova pesem!

https://x.com/BBCNewsnight/status/2097810529339187515

I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight toward self-improving superintelligence and gambling with our lives.

Do not underestimate the power of this technology. These will soon be superhuman systems that can hack anything, revolutionize any field overnight, and acquire real power and resources. We have all witnessed the progress in each of these domains, and progress is not slowing.

The people building AI earnestly believe that it could kill us all by the end of the decade. This is not a marketing stunt. If anything, many executives and senior researchers couch their public statements in more restrained language to sound sensible—but I hear the same people express fear privately. No other human activity poses this level of danger.

A common response is: “If they truly believe this, why are they still building it?” At OpenAI, many have not deeply internalized the civilizational stakes. At Anthropic, the stakes are well understood, but the company is locked in a race to get there first. Its people believe that no one else will act responsibly, so they must do it themselves, despite the risks.

Accepting this race and entering the “endgame” is a hubristic gamble that should not be launched from a private company’s Slack. Attempting to speedrun alignment should require extraordinary confidence that no better trajectories are available.

I remain optimistic about the potential for coordination. Warning shots such as the Hugging Face attack have made pacing agreements among US laboratories more viable. However, I do not feel that we are on track to prevent a global race. Doing so may require costly measures, including a temporary ban on improving model capabilities.

If you are a laboratory researcher, I urge you to consider what the next few years will actually feel like. Do you want to initiate a superintelligent reinforcement-learning run without a rigorous understanding of its mind? Should you simply put your head down because “it is happening anyway”—or use this moment to demand different conditions?