Proti obali nenadzorovano pluje velikanski tanker. Ljudje na plaži panično bežijo. Tanker zarije v pesek in nasede pred njihovimi očmi. Odpove satelitska navigacija. Utihnejo mobilni in stacionarni telefoni. Internet ne deluje. Samovozeče tesle se zaletavajo druga v drugo in zapirajo ceste. Nastopi popoln komunikacijski mrk. Razrastejo se tesnoba, strah in nezaupanje. Nihče ne ve, kaj se dogaja, kje so njegovi bližnji in kam naj se zateče. To je prizor iz filma Leave the World Behind, o katerem sem na blogu pisal decembra 2023. Film nas opomni na lastno nemoč. Sposobnost obvladovanja svojega sveta smo prepustili tehnologiji. Ko ta odpove, izgubimo orientacijo, stik z drugimi in občutek varnosti.
Nas je ta futuristična filmska prihodnost zadela v preteklih dneh? Najprej so odpovedale Microsoftove komunikacijske storitve. Nato so zaradi težav v omrežju ameriške kontrole letenja za več kot štiri ure ustavili vzlete po državi. Odpovedal je tudi Workday, ponudnik kadrovskih aplikacij, ki jih uporabljata Target in Walmart. Targetovi kupci so ločeno prijavljali še težave pri spletnem nakupovanju. Istega dne je na Mississippiju v New Orleansu tanker Atlantic Asphalt trčil v privezano potniško ladjo American Heritage in jo prevrnil, pri čemer vzrok nesreče še ni pojasnjen. Različni sistemi, različne storitve, milijoni v Ameriki in milijarde odvisnih uporabnikov po svetu. Vprašanje je enako kot v filmu: kaj se dogaja z infrastrukturo, brez katere naše vsakdanje življenje ne deluje več?
Meritve ThousandEyes potrjujejo težave v Microsoftovem omrežju, razlaga o napaki, ki je nastala ob nadgradnji, pa ostaja Microsoftova. Reuters pri kontroli letenja izpostavlja dotrajano infrastrukturo, oblasti pa preobremenjena stikala in usmerjevalnike. Pri Workdayu je univerzitetna služba IT objavila ponudnikovo pojasnilo, da se je rezervno okolje nepričakovano povezalo s produkcijskimi bazami in povzročilo neskladnost podatkov. Dokaza o skupnem napadu ali skupnem vzroku teh odpovedi ni.
Časovno prekrivanje različnih izpadov zahteva več kot zagotovilo, da storitve spet delujejo. Digitalizacija ni včerajšnji poskus: bančništvo, trgovina in promet že desetletja temeljijo na računalniških sistemih. Tudi veliki izpadi niso novost, vendar se povečuje vtis njihovega zgoščevanja. Uptime Institute letos ugotavlja celo upad izpadov na posamezno lokacijo, vendar pa hkrati opozarja na večjo vlogo zunanjih omrežij in odvisnosti med sistemi. To močno povečuje tveganje odpornosti na težave v povezanih sistemih.
Pomemben novi dejavnik je umetna inteligenca, ki posega z dveh strani. Podjetja jo uporabljajo za pisanje programske kode, pripravo nadgradenj in povezovanje funkcionalnosti, s čimer lahko obseg sprememb prehiti sposobnost ljudi, da jih preverijo. Sprememba lahko prestane posamičen preizkus in odpove šele ob stiku s staro opremo ali drugo aplikacijo. Googlova skupina DORA opozarja, da hitrejše nastajanje kode brez ustreznih postopkov ne zagotavlja stabilnejšega delovanja. Če skrajšujemo razvojni čas, časa za preverjanje pa ne prilagodimo večjemu obsegu sprememb, lahko skupaj z večjo produktivnostjo kupimo tudi večje operativno tveganje.
Drugi pritisk prihaja iz same uporabe UI. Učenje modelov, njihovo izvajanje ter izmenjava podatkov med strežniki in agenti povečujejo zahteve po zmogljivosti omrežij in spreminjajo vzorce prometa. Posebej izrazito je to znotraj podatkovnih centrov, med njihovimi računskimi enotami. To ne pomeni preobremenitve vsega interneta niti dokaza, da je UI povzročila petkov izpad kontrole letenja. Vendar je vprašanje, ali starejša infrastruktura in način njenega upravljanja sledita zahtevam, ki jih nanjo nalagamo?
Je torej mogoče, da del novih tveganj nastaja prav iz kombinacije hitrejšega uvajanja premalo preverjenih sprememb in zahtevnejših obremenitev? Takšna hipoteza je smiselna, vendar jo je treba šele preveriti. Napaka, ki pri običajnem prometu ostane skrita, lahko ob povečani obremenitvi sproži odpoved, preusmerjanje prometa na preostale strežnike pa težavo razširi. Pri težavah Microsofta je podjetje izrecno navedlo, da je obremenitev narasla zaradi nedosegljivih strežnikov.
Vseh vzrokov sedanjih izpadov torej še ne poznamo in iz njih ni mogoče izpeljati univerzalne sodbe o UI ali digitalizaciji. Njihov obseg in časovno prekrivanje pa vsekakor terjata poglobljen razmislek o varnosti infrastrukturnih in uporabniških sistemov. Kaj če nekega dne hkrati odpovedo digitalne komunikacije, satelitska navigacija ter sistemi za nadzor zračnega, cestnega in železniškega prometa? Kaj če povezavo izgubijo tudi avtonomni avtomobili? To ni napoved filmske katastrofe, temveč vprašanje, na katero bi morali upravljavci odgovoriti, preden takšne okoliščine preveri resničnost.
Nauk je najprej infrastrukturni: potrebujemo dovolj zmogljiva omrežja za nove obremenitve, z rezervnimi potmi in ločitvijo kritičnih funkcij, da ena napaka ne ohromi celotne storitve. Modernizacija mora poleg novih aplikacij vključevati preizkuse odpovedi in možnost varne vrnitve na prejšnjo različico. Zanesljivost mora postati merilo investicijske uspešnosti, ne zgolj strošek, ki ga poskušamo zmanjšati.
Drugi nauk zadeva odgovornost: razvoj in vgradnja agentov UI zahtevata neodvisen človeški nadzor, ločen od ekip, katerih uspeh merimo s hitrostjo uvajanja. Potrebujemo ljudi, ki razumejo sistem, lahko zavrnejo spremembo in ustavijo avtomatizirani poseg. Podpis odgovorne osebe ni dovolj, če ta nima časa, znanja ali dostopa do podatkov, da bi odločitev dejansko preverila.
Tretji nauk je ohranjanje alternativ. Kot opozarjajo v WIRED, morajo imeti ključne storitve neodvisno rezervno možnost. Druga aplikacija ni prava alternativa, če uporablja isto prijavo, isti oblak in isto omrežje kot prva. Potrebujemo ločene komunikacijske poti, dosegljive kopije nujnih podatkov in postopke, ki jih zaposleni tudi redno vadijo. V kritični infrastrukturi pa možnost varnega lokalnega delovanja oziroma nadzorovane ustavitve. Prihranek zaradi ukinitve rezervnih zmogljivosti je lahko zelo drag, ko odpove glavni sistem. Civilizacija, ki zna vse povezati, mora znati delovati tudi takrat, ko povezave izginejo.
No, kar mene najbolj straši danes, je vprašanje, kako ugasniti sisteme, ki bazirajo na UI, ko ti podivjajo. Najbolj banalna rešitev bi bila, da jih “izštekamo”. Toda odklop od interneta ni izklop računalnika, prekinitev zunanjega napajanja pa ni nujno konec delovanja sistema, ki ima baterije, generatorje ali razpoložljive strežnike drugje.
Toda če je razvoj UI prešel točko singularnosti (točko, po kateri ga ne moremo nadzorovati več), potem je Ui tudi že lahko razvila mehanizme za prehod na rezervne energetske kapacitete in rezervne kapacitete za delovanje za primer, če bi ljudje fizično prekinili njen dostop do napajanja. Toda, kot kaže poletni incident pri OpenAI (o katerem sem pisal na blogu), za to niti ne potrebujemo singularnosti. Incident je pokazal, da lahko agenti obidejo tehnične omejitve in sodelujejo po nedovoljenih poteh.
Če bi UI ali nekdo, ki usmerja njene agente, prevzel sistem vodenja vlakov, zato ne bi smeli predpostaviti, da bomo nevarnost odpravili že s prekinitvijo njegove omrežne povezave. Ta lahko prepreči nadaljnje zunanje posege. Ne ustavi pa nujno lokalnega delovanja in ne razveljavi že izvršenih ukazov. Tudi izklop računalnika sam po sebi še ne pomeni, da smo varno ustavili vlak. Za to potrebujemo neodvisne varnostne mehanizme, ki nevaren ukaz zavrnejo ali sprožijo varno ustavitev in v katere agenti UI ne morejo posegati.
Ključno vprašanje je torej, ali lahko človek sistemu zanesljivo odvzame nadzor in hkrati ohrani funkcije, od katerih je odvisna varnost ljudi. Ključno vprašanje sedanjosti je, ali lahko ohranimo nadzor nad tehnologijami, ki nam omogočajo dobrobiti tehnološkega napredka.
