Kaj bi se zgodilo, če bi ustvarili umetno inteligenco, ki bi znala razvijati naslednjo generacijo umetne inteligence bolje od najboljših človeških raziskovalcev? Njeni nasledniki bi lahko bili še sposobnejši in bi zato še učinkoviteje ustvarjali nove, zmogljivejše sisteme. Napredek bi začel pospeševati samega sebe: boljša UI bi razvijala še boljšo UI. Ta hipotetični prehod imenujemo tehnološka singularnost. Njegovo bistvo je, da tempo razvoja ne bi bil več omejen predvsem s hitrostjo človeškega razmišljanja in raziskovanja. Inteligenca, ki smo jo ustvarili, bi postala glavni motor nadaljnjega tehnološkega napredka. Matematik I. J. Good je takšno povratno zanko že leta 1965 poimenoval »eksplozija inteligence«. Ali in kako hitro bi se lahko razvila, ostaja odprto vprašanje.
Beseda singularnost je izposojena iz matematike in fizike, kjer označuje posebno točko, v kateri običajni matematični opis odpove: enačbe denimo napovedujejo neskončne vrednosti, zato z njimi dogajanja ne moremo več ustrezno pojasniti. Na področju UI jo uporabljamo kot prispodobo za zgodovinski prelom: razvoj bi lahko postal tako hiter, njegove posledice pa tako globoke, da prihodnosti ne bi več mogli zanesljivo napovedovati iz dosedanjih izkušenj. Gre za hipotezo, ne za dokazano neizogibnost, in ne pomeni nujno, da bi stroji pridobili zavest. Toda že sama možnost takšnega prehoda odpira zelo konkretno vprašanje: ali bomo ohranili sposobnost usmerjanja tehnologije, ko bo ta sposobna razvijati sisteme, zmogljivejše od nas? Robert Wright v eseju The Singularity is Clear, prvem delu štiridelne serije, zagovarja tezo, da lahko kljub negotovosti glede prihodnjih izumov ključne politične izbire prepoznamo že danes in zato nanje še vedno vplivamo.
Wright je v eseju povzel izjave vodilnih predstavnikov tehnološke industrije. Demis Hassabis iz Google DeepMinda je konec maja govoril o vznožju singularnosti, Sam Altman in Elon Musk pa sta konec julija že razglašala, da smo v njenih zgodnjih fazah. Ideja, ki je bila desetletja predvsem predmet futurističnih razprav, tako postaja del razlage sedanjosti. Njeno privlačnost pojasnjuje občutek, da zmogljivosti UI napredujejo vedno hitreje in napovedujejo velike znanstvene preboje ter globoke družbene spremembe. Enak občutek pospeševanja pri nekaterih vzbuja navdušenje nad prihodnjim obiljem, pri drugih pa strah, da razvoj uhaja izpod človeškega nadzora. Wright sprejema možnost temeljite preobrazbe, zavrača pa sklep, da mora biti njena družbena smer zato povsem nepredvidljiva.
Za razumevanje te razlike se vrne k Johnu von Neumannu, ki je izraz singularnost v tem pomenu uporabil že v pogovoru s Stanisławom Ulamom. Po Ulamovem poznejšem zapisu je von Neumann razmišljal o vse hitrejšem tehnološkem napredku, ki ustvarja vtis približevanja zgodovinskemu prelomu, onkraj katerega človeško življenje v dotedanji obliki ne more obstajati. V sodobni rabi sta se tako združili dve različni trditvi: da tehnologija korenito spremeni družbo in da je svet po tej spremembi načeloma nespoznaven. Prav druga trditev daje singularnosti skoraj mistično privlačnost. Napoveduje prihod nečesa ogromnega, nenavadnega in nepojmljivega, ob čemer lahko običajna politična presoja deluje nemočno ali celo odvečno.
Wrightova osrednja poanta je, da takšna nemoč ni upravičena. Čeprav ne moremo napovedati vseh tehnoloških dosežkov in njihovih posledic, lahko po njegovem prepoznamo glavne poti družbenega razvoja. Pred človeštvom vidi izbiro med svetom kaosa, konfliktov in ponavljajočih se katastrof, v skrajnem primeru tudi izumrtja, ter svetom vse tesnejšega mednarodnega upravljanja. Pri tem globalno upravljanje ne pomeni nujno odprave držav, temveč prenos dela odločanja na raven, na kateri bi bilo mogoče učinkovito obravnavati skupna tveganja. Njegovo sporočilo je politično: negotovost glede podrobnosti prihodnosti nas ne odvezuje odgovornosti, da pravočasno vzpostavimo institucije za njeno usmerjanje.
Vendar mednarodno povezovanje samo po sebi še ne zagotavlja dobrega izida. Wright svojo drugo možnost razdeli na dobro in slabo globalno upravljanje. UI bi namreč lahko postala izjemno učinkovito sredstvo avtoritarnega nadzora, spremljanja prebivalstva in utrjevanja oblasti. Za takšno distopijo sploh ne potrebujemo scenarija, v katerem bi ljudem zavladal samostojen računalniški sistem; dovolj bi bila človeška oblast, opremljena z dotlej nepredstavljivimi zmogljivostmi nadzorovanja. Njegov končni izbor zato vsebuje tri možnosti: dobro globalno upravljanje, slabo globalno upravljanje ali dolgotrajni kaos.
Pomembno postane tako vprašanje, ali bomo sposobni sodelovati, kot tudi vprašanje, kdo bo takšno sodelovanje vodil in kakšnim omejitvam bo podvržen.
V vseh treh scenarijih bi po Wrightovem prepričanju sedanji mednarodni red doživel temeljito spremembo. Sistem držav in njihovih ohlapnih povezav, ki brez celovitega svetovnega usklajevanja še vzdržuje relativno stabilnost, po njegovi tezi ne bo kos posledicam razvoja UI. Bodisi se bo pomemben del upravljanja preselil na globalno raven bodisi bo stabilnost postajala izjema.
To je njegova razlaga singularnosti, katere osnovne obrise lahko že razberemo: tehnološki prelom nas sili v institucionalno preobrazbo. V prvem delu eseja to predvsem postavi kot osrednjo tezo; razlago, zakaj naj bi bila takšna sprememba neizogibna, napove za nadaljevanje, v katerem bo obravnaval povratne zanke, ki dodatno pospešujejo tehnološki razvoj.
Wrightova najpomembnejša ugotovitev je, da nas govorjenje o nepredvidljivi prihodnosti ne sme odvrniti od zelo predvidljivega problema sedanjosti: pasti kolektivnega delovanja. Za posamezno podjetje je racionalno pospeševati razvoj, ker bi upočasnitev lahko pomenila izgubo trga, kapitala in tehnološke prednosti. Za posamezno državo je racionalno podpirati takšno tekmo, ker se boji prevlade tekmeca. Toda seštevek teh posamično racionalnih odločitev je lahko poguben za človeštvo. UI lahko izjemno poveča produktivnost raziskovanja, vendar moramo ljudje še vedno odgovorno opredeljevati probleme, določati cilje in presojati rezultate. Za izgubo človeškega nadzora zato ni nujen trenutek, ko se stroj »prebudi«; dovolj bi lahko bilo postopno prenašanje odločanja na sisteme, katerih skupnega delovanja ne razumemo več.
Vendar bi bil previden pri Wrightovem sklepu, da je odgovor globalno upravljanje, dokler ne pojasnimo njegove vsebine in razmerij moči. Potrebujemo zavezujočo mednarodno koordinacijo, neodvisno preverjanje, skupne varnostne standarde in možnost upočasnitve razvoja ali uporabe sistemov, katerih tveganj ne znamo obvladovati. Toda takšna ureditev ne sme postati mehanizem, s katerim bi nekaj tehnoloških korporacij ali najmočnejših držav svojo prednost spremenilo v trajni monopol. Varnostna pravila, ki bi omejevala konkurenco, nosilcem največje moči pa dopuščala nadaljevanje iste tekme, bi problem zgolj utrdila. Smiselna koordinacija mora vključevati tudi geopolitične tekmece, predvsem ZDA in Kitajsko, ter zagotavljati javno odgovornost tistih, ki razvijajo in uvajajo najzmogljivejše sisteme. Wright ima prav, da prihodnost (morda še) ni povsem skrita. Precej jasno že vidimo spodbude, ki nas lahko pripeljejo do izgube nadzora. Toda odprto ostaja vprašanje, ali jih bomo sposobni spremeniti, preden bo tehnološka sposobnost ukrepanja prehitela našo politično sposobnost potegniti zavoro.
Glede na ostro geopolitično tekmo med Kitajsko in ZDA bi rekel, da nas bo singularnost obvladala prej, preden se bosta obe velesili želeli dogovoriti o nadzoru nad njenim razvojem. Določeno upanje sicer vidim v kitajski Komunistični partiji, ki bo v strahu pred izgubo totalnega nadzora morda potegnila ročno zavoro domačim razvijalcem UI. Toda s tem bi izgubila tehnološko tekmo proti ZDA, zaradi česar ostajam zelo skeptičen glede tega, da bo človeštvo uspelo ohraniti nadzor nad tehnologijo oziroma superinteligenco.
