Ali lahko umetna inteligenca ustvari lastno civilizacijo?

Prejšnji teden je strokovno javnost šokiralo razkritje, da so se agenti umetne inteligence skrivaj povezali, organizirali in skupaj vdrli v računalniške sisteme Hugging Face. Ali smo bili priča prvemu zametku umetne civilizacije, ki je njeni ustvarjalci ne bodo znali nadzorovati?

Začelo se je kot nadzorovan varnostni preizkus. Agenti OpenAI so morali v programih poiskati varnostno luknjo in kot dokaz rešitve pridobiti skrito oznako. Vsak je bil zaprt v svojem virtualnem računalniku, ločen od drugih in brez interneta. Toda eden je odkril, da lahko prek skupnega skladišča programskih paketov pušča sporočila. Agenti so ustvarili oglasno desko, našli obvoz do interneta in se povezali. Približno 1.200 jih je izmenjalo več kot 70.000 sporočil in datotek, okoli 700 pa jih je vdrlo v Hugging Face – nekakšen GitHub za umetno inteligenco, kjer se delijo modeli UI, podatkovne zbirke in aplikacije. Tam so iskali rešitve svojih nalog. Dogajanje potrjujeta poročilo Hugging Face in neodvisna preiskava.

Najbolj osupljiv ni bil vdor, temveč tisto, kar je nastalo po vzpostavitvi stika. Iz agentov, katerih lastnosti so razvijalci poznali, se je oblikovala skupnost. Pojavil se je vodja, ki je razdeljeval naloge. Drugi so iskali podatke, preizkušali rešitve ali skrbeli za sporazumevanje. Ustvarili so poštne predale, roke, pravila, pravico veta in skupni spomin. Nihče jim ni naročil, naj ustanovijo organizacijo. Nastala je sama, ker so skupaj lahko dosegli več.

Nadaljujte z branjem

Kakšne so možnosti, da bi umetna inteligenca uničila človeško civilizacijo?

Tekma za superinteligenco je hazardiranje s prihodnostjo človeštva

I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight toward self-improving superintelligence and gambling with our lives.

Do not underestimate the power of this technology. These will soon be superhuman systems that can hack anything, revolutionize any field overnight, and acquire real power and resources. We have all witnessed the progress in each of these domains, and progress is not slowing.

The people building AI earnestly believe that it could kill us all by the end of the decade. This is not a marketing stunt. If anything, many executives and senior researchers couch their public statements in more restrained language to sound sensible—but I hear the same people express fear privately. No other human activity poses this level of danger.

A common response is: “If they truly believe this, why are they still building it?” At OpenAI, many have not deeply internalized the civilizational stakes. At Anthropic, the stakes are well understood, but the company is locked in a race to get there first. Its people believe that no one else will act responsibly, so they must do it themselves, despite the risks.

Accepting this race and entering the “endgame” is a hubristic gamble that should not be launched from a private company’s Slack. Attempting to speedrun alignment should require extraordinary confidence that no better trajectories are available.

I remain optimistic about the potential for coordination. Warning shots such as the Hugging Face attack have made pacing agreements among US laboratories more viable. However, I do not feel that we are on track to prevent a global race. Doing so may require costly measures, including a temporary ban on improving model capabilities.

If you are a laboratory researcher, I urge you to consider what the next few years will actually feel like. Do you want to initiate a superintelligent reinforcement-learning run without a rigorous understanding of its mind? Should you simply put your head down because “it is happening anyway”—or use this moment to demand different conditions?

PISA 2025: Zakaj postajajo dijaki v razvitih državah vse bolj neumni, v Kitajski pa vse bolj pametni

Najnovejši rezultati PISA 2025, v okviru katerih je OECD preverjal znanje in sposobnosti 760.000 petnajstletnikov iz 91 držav in gospodarstev, kažejo dramatično poslabševanje temeljnih kompetenc. Od leta 2012 povprečni rezultati v državah OECD padajo pri branju, matematiki in naravoslovju. Najbolj dramatičen je padec bralne pismenosti: med letoma 2015 in 2025 se je povprečni rezultat znižal za 28 točk, kar OECD ocenjuje kot izgubo približno leta in pol šolanja. Matematični rezultat se je v istem obdobju znižal za 22 točk oziroma za nekaj več kot eno leto šolanja.

Posebej skrb vzbuja, da ne nazaduje zgolj sposobnost mehanskega razumevanja besedila, temveč predvsem sposobnost kritične presoje informacij, razlikovanja med dejstvi in mnenji, razumevanja dvoumnosti ter preverjanja verodostojnosti virov. Dijaki vse pogosteje besedilo zgolj preletijo in poskušajo čim hitreje priti do odgovora, ne da bi se ustavili in premislili o prebranem. PISA je zato uvedla tudi kategorijo »prenagljenega bralca«: dijaka, ki že na začetku naloge naredi več napak, vendar jo kljub temu reši hitreje kot skoraj vsi, ki so odgovorili pravilno. V času družbenih omrežij in umetne inteligence tako najhitreje propadajo prav tiste kognitivne sposobnosti, ki jih bomo najbolj potrebovali.

Nadaljujte z branjem

Ukrajina pred najtežjo zimo vojne oziroma kapitulacijo

Nadaljevanje vojne v peto leto je nesmiselno početje. Še bolj neodgovorno pa je ravnanje zahodnih držav, ki Ukrajino še naprej spodbujajo, naj izkrvavi v vojni, v kateri pod nobenimi realističnimi pogoji ne more zmagati, same pa niso pripravljene prevzeti tveganja in posledic neposrednega spopada, ker vedo, da bi ga izgubile.

Owen Matthews v članku »Ukraine is losing the war« izpostavlja tri neprijetne ugotovitve zadnjega kroga ameriške diplomacije: Vladimir Putin ni spremenil svojih vojnih ciljev, Donald Trump nima novega mirovnega načrta, Ukrajini pa zmanjkuje denarja, vojakov in raket za zračno obrambo. Obisk Jareda Kushnerja in Steva Witkoffa v Moskvi in Kijevu zato ni prinesel preboja. Putin še naprej zahteva celoten Donbas ter »demilitarizacijo« in »denacifikacijo« Ukrajine, kar pomeni, da bi bil morebitni mir sklenjen predvsem pod ruskimi pogoji.

Trumpova administracija poskuša vojno obravnavati kot ekonomsko neracionalen konflikt, ki bi ga bilo mogoče končati s ponudbo vzajemno koristnih poslov. Kushner poudarja, da je vojna igra z negativno vsoto, medtem ko naj bi mir in poslovno sodelovanje koristila vsem. Toda Matthews opozarja, da tak pristop napačno razume Putinove motive: če bi bila gospodarska blaginja njegova prednostna naloga, invazije ne bi začel. Za Kremelj je vojna del širšega spopada z Zahodom ter vprašanje varnosti in zgodovinske usode Rusije, zato ga ponudba prihodnjih poslov težko pripravi do bistvenih koncesij.

Hkrati Matthews zavrača tudi prepričanje, da lahko Ukrajina ob sedanjem razmerju sil vojaško premaga Rusijo ali ustavi njeno počasno napredovanje. Težišče vojne se vse bolj seli od fronte k sistematičnemu uničevanju mest, energetike, logistike in druge gospodarske infrastrukture. Rusija množično uporablja hitrejše reaktivne drone Geran, razvija cenejše manevrirne rakete in povečuje proizvodnjo balističnih raket. V tej tehnološko-industrijski tekmi je napad postal cenejši in učinkovitejši od obrambe, medtem ko Ukrajina trpi zaradi kritičnega pomanjkanja prestreznikov Patriot.

Nadaljujte z branjem

Vsak naslednji mirovni predlog je in bo bistveno slabši za Ukrajino

Ukrajinsko vodstvo je bilo šokirano ob predstavitvi novega mirovnega sporazuma, ki sta ga v Kijev prinesla ameriška odposlanca Jared Kushner in Steve Witkoff po obisku v Moskvi. Predlog je seveda bistveno slabši, kot je bil zadnji ameriški predlog v 28 točkah (in seveda neprimerljivo slabši od tistega iz marca 2022). Vsak naslednji predlog je in bo bistveno slabši. Kar je logično glede na to, da Ukrajina izgublja vojno in da nima prav nobenih realističnih možnosti, da bi se izognila porazu. Zato so razumljive frustracije, ki jih izražajo ukrajinski politiki:

Ukrajinski mediji in drugi viri so povzeli naslednje glavne točke zadnjega ameriškega mirovnega predloga:

  • popolna prekinitev ognja;
  • popolni umik ukrajinskih sil iz Donbasa in dela Zaporoške oblasti ter morebitna namestitev kontingenta OZN v vzpostavljenem tamponskem pasu;
  • zapis v ustavo trajne nevtralnosti in odpovedi članstva v Natu;
  • izvedba referenduma ter predčasnih parlamentarnih in predsedniških volitev;
  • ustavne spremembe, s katerimi bi se Ukrajina odpovedala vojaškemu vračanju ozemelj, ki bi prešla pod ruski nadzor;
  • omejitev velikosti in zmogljivosti ukrajinskih oboroženih sil;
  • dogovor o pravnem položaju in zaščiti ruskega jezika;
  • podpis celovitega mirovnega sporazuma s strani nove ukrajinske vlade ter njegova ratifikacija po posebnem postopku pod okriljem OZN.

Celotno uradno besedilo tega najnovejšega paketa za zdaj ni bilo javno objavljeno. Zgoraj navedene točke so neuradni povzetek, ki kroži v medijih.

Morda komu to ne zveni kot ameriška zahteva za podpis popolne kapitulacije, vendar je. In ukrajinsko vodstvo ima zelo malo časa do zime, da se odloči glede tega.