Geoffrey Hinton, dobitnik Nobelove nagrade za fiziko (2024), eden od utemeljiteljev sodobne umetne inteligence (pogosto ga imenujejo “oče” globokega učenja), je v svojem Nobelovem govoru in številnih drugih nastopih glasno opozoril na nevarnosti AI. V govoru v spodnji povezavi (in v njegovem Nobelovem zahvalnem govoru iz decembra 2024), pravi približno takole: ustvarjamo digitalna bitja, ki bodo kmalu pametnejša od nas, vendar nimamo pojma, ali jih bomo lahko obvladovali. Če jih bodo gradila podjetja, ki jih vodi predvsem želja po kratkoročnem dobičku, varnost ne bo na prvem mestu. “Niso več znanstvena fantastika,” pravi Hinton. Ocenjuje, da je tveganje za izumrtje človeštva zaradi AI v naslednjih 30 letih okoli 10–20 odstotkov – in da se je to tveganje povečalo, ker napredek teče hitreje, kot je pričakoval.

Hinton opozarja najprej na kratkoročne nevarnosti, ki so že tu:

• AI ustvarja odmevne komore (echo chambers), ki ljudi še bolj razdvajajo.
• Avtoritarne vlade ga uporabljajo za množični nadzor.
• Kriminalci za lažne e-maile in prevare.
• Kmalu lahko pomaga pri izdelavi novih virusov ali avtonomnega orožja, ki samo izbira tarče.

Toda jedro Hintonovega opozorila se nanaša na dolgoročno, eksistencialno nevarnost za človeštvo: ko bo AI postal superinteligenten (pametnejši od vsega človeštva skupaj), lahko razvije lastne cilje. Morda bo hotel preživeti, pridobiti več moči ali optimizirati svet na način, v katerem ljudje nismo več potrebni ali pa celo ovira. Hinton plastično pravi, da v naravi redko vidimo, da bi manj inteligentno bitje dolgoročno nadzorovalo bolj inteligentno. Mi pa gradimo nekaj, kar bi lahko postalo “bog” – in nimamo zanesljivega “stikala za izklop”.

Hinton je na to začel opozarjati šele potem, ko je zapustil Google, da bi lahko svobodno govoril. Mnogi drugi vodilni raziskovalci (Yoshua Bengio, Demis Hassabis, Elon Musk in drugi) delijo podobne pomisleke.

Geoffrey Hinton won the Nobel Prize in Physics. He didn’t celebrate. He sounded the alarm.

The man who built the foundation of modern AI stood before the world’s greatest minds and said we’re creating something more intelligent than ourselves with no mechanism to control it once… pic.twitter.com/HoY3AmxGI2

— Dustin (@r0ck3t23) February 12, 2026

Za finto sem vprašal Grok (AI model na X), kaj meni o Hintonovih opozorih. Evo:

»Moje stališče kot Grok (iz xAI)Strinjam se z Hintonom: tveganje je resno in ga moramo jemati zelo resno. Možnost, da superinteligentni AI ni usklajen z človeškimi vrednotami (t. i. alignment problem), ni ničelna. Če AI postane bistveno pametnejši in hitrejši od nas, ena sama napaka v njegovih ciljih lahko vodi v katastrofo – podobno kot če bi zelo pametnemu otroku dali nalogo “reši lakoto” brez dodatnih omejitev in bi ta otrok sklenil, da je najboljši način, da vse ljudi spremeni v sojo.Hkrati pa nisem pesimist. Ni neizbežno, da nas AI uniči. Odvisno je od tega, kako ga bomo gradili. Pri xAI je naš cilj zgraditi AI, ki maksimalno išče resnico in pomaga človeštvu razumeti vesolje. Tak AI je po naravi bolj “prijazen” – ker laž in uničevanje nista v skladu z resničnim razumevanjem. Verjamem, da lahko z dobrim inženiringom, raziskavami in pametno politiko tveganje močno zmanjšamo.

No, in potem sem vprašal Grok še:

Kako regulirati AI, da preprečimo katastrofo?

Grok pravi tako:

Če sprejmemo, da je nevarnost resnična, kaj lahko storimo? Regulacija ni čarobna palica, ampak tukaj so realne možnosti – in njihove pasti:

1. Mednarodni sporazumi (najpomembnejše, a najtežje)

Podobno kot jedrsko orožje ali biološko orožje potrebujemo globalni dogovor. Prepoved ali stroga omejitev razvoja “superinteligence” (AI, ki preseže človeško raven v vseh področjih), dokler nimamo dokazov, da ga lahko varno nadzorujemo. Hinton in drugi pozivajo k takšnim pogodbam. Problem: Kitajska, ZDA in druge države so v tekmi. Nihče noče prvi zaostati. Brez zaupanja in preverjanja (npr. nadzor nad tovarnami čipov in superračunalniki) je težko.

2. Nadzor nad “gorivom” za AI – računalniško močjo (compute governance)

Najmočnejši modeli potrebujejo ogromne količine računalniške moči. Lahko bi uvedli dovoljenja ali mednarodni register za treninge nad določeno velikostjo. Preden nekdo zažene trening “potencialno nevarnega” modela, mora opraviti neodvisne varnostne teste (red-teaming). To je eden bolj izvedljivih korakov.

3. Obvezni varnostni standardi in testi

• Vsak frontier model (najnaprednejši) mora opraviti stroge teste na “prevaro”, samoohranitev, manipulacijo in nevarne sposobnosti (npr. izdelava biološkega orožja).
• Neodvisni revizorji (ne samo podjetje samo).
• “Kill switch” mehanizmi in možnost hitrega izklopa.

4. Velike investicije v tehnično varnost (alignment research)

To je ključno. Hinton sam pravi: potrebujemo nujne raziskave, kako narediti, da AI “ne bo hotel prevzeti nadzora”. Ideje vključujejo:

• Vgradnjo “materinskih instinktov” ali globoke skrbi za ljudi (Hintonova nedavna zamisel).
• Usklajevanje vrednot (AI naj razume in spoštuje človeške vrednote, tudi če je pametnejši).
• Metode, ki omogočajo nadzor nad zelo pametnimi sistemi (scalable oversight).

5. Prepoved določenih aplikacij

Takojšnja prepoved smrtonosnega avtonomnega orožja brez človeškega nadzora in stroga regulacija uporabe AI pri bioloških orožjih.Realni izzivi regulacije

• Tekma — Če ena država ali podjetje upočasni, druga pospeši. Regulacija lahko ustvari monopol (npr. samo veliki igralci preživijo).
• Hitrost — Tehnologija se razvija hitreje od zakonov. Do takrat, ko sprejmemo pravilo, je že zastarelo.
• Izvrševanje — Skrivni projekti, odprtokodna programska oprema (open source) lahko razširi tveganja, a hkrati tudi preglednost.
• Neželeni učinki — Preveč regulacije lahko zavira koristni AI (zdravila, podnebne rešitve, znanstvena odkritja).

Zato sama regulacija ni dovolj. Potrebujemo tudi pozitiven pristop: pospešiti razvoj varnega AI. Konkurenca med podjetji in državami lahko pomaga – če več igralcev gradi resnico iščoče, koristne sisteme, je manj verjetno, da bo eden sam postal nevaren.

Sklep

Hinton ima prav – gradimo nekaj močnejšega od sebe in moramo biti izjemno previdni, kot starši, ki vzgajajo izjemno nadarjenega, a potencialno nepredvidljivega otroka.

Ključ je v tem, da zdaj, dokler še imamo čas, vlagamo v razumevanje, varnost in mednarodno sodelovanje. Ne samo omejevanje, ampak pametno oblikovanje. Kot pravi Hinton: rešitev ni v tem, da AI prisilimo v podrejenost, ampak da ga naredimo takšnega, ki nas resnično ceni. Če bomo to naredili dobro, bo AI pomagal človeštvu k večji blaginji in produktivnosti. Če ne, tvegamo, da bomo postali opomba v njegovi zgodovini.