Nova študija Davida Autorja in soavtorjev se ukvarja z enim najpomembnejših, vendar doslej slabo raziskanih učinkov umetne inteligence: ali uporaba UI poleg neposrednega izboljšanja delovne uspešnosti tudi spodbuja pridobivanje znanja ali pa ga postopoma spodkopava. Problem je posebej pomemben pri poklicih, v katerih se strokovnost tradicionalno pridobiva z učenjem skozi delo. Mlajši pravniki, zdravniki, inženirji in svetovalci se ne učijo samo iz učbenikov, temveč predvsem tako, da sami opravljajo zahtevne naloge, delajo napake in dobivajo povratne informacije izkušenejših kolegov. Če ta proces prevzame UI, lahko podjetje kratkoročno dobi boljše izdelke, hkrati pa ostane brez prihodnje generacije strokovnjakov.

Avtorji – David Autor, Tanya Rodchenko, Josh Martin, Zanna Iscenko, Scott Strand, David Pearl in Melissa Ferere – so izvedli vnaprej registriran trimesečni randomizirani eksperiment s 133 patentnimi pravniki iz enajstih ameriških odvetniških družb; celoten protokol jih je zaključilo 91. Približno dve tretjini udeležencev sta dobili dostop do posebnega pomočnika UI za sestavljanje patentnih prijav, preostali pa so tvorili kontrolno skupino. Randomizacija je upoštevala posamezno družbo in delovne izkušnje, izdelke sodelujočih pa so anonimno ocenjevali neodvisni izkušeni patentni pravniki. Ocenjevali so pravno izvršljivost, tehnično natančnost, strateško širino patentnih zahtevkov, popolnost in jasnost besedila.

Eksperiment je ločil med neposredno delovno uspešnostjo in dejansko pridobljenim znanjem. Po desetih dneh in ponovno po približno treh mesecih so morali sodelujoči pripraviti dele patentne prijave; eksperimentalna skupina je pri tem lahko uporabljala UI. Ob koncu eksperimenta pa so morali vsi brez pomoči UI pregledati in popraviti namenoma pomanjkljivo patentno prijavo. Ta naloga, imenovana redlining, ni preverjala sposobnosti ustvarjanja besedila, temveč strokovno presojo: ali pravnik prepozna pravne in tehnične pomanjkljivosti, razume njihove posledice ter zna ustrezno preoblikovati patentne zahtevke.

Pri pisanju patentnih prijav je UI nedvoumno izboljšala rezultate. Po desetih dneh je bila kakovost izdelkov eksperimentalne skupine višja za 0,34 standardnega odklona, po treh mesecih pa za 0,38 standardnega odklona. Izboljšanje je bilo opazno pri vseh petih ocenjevanih dimenzijah, predvsem pa se je zmanjšalo število slabih izdelkov. UI torej ni nujno ustvarjala vrhunskih patentnih prijav, je pa uporabnikom pomagala, da so se izognili večjim napakam in dosegli solidno raven kakovosti. Največ so pridobili mlajši pravniki, ki so s pomočjo UI dosegali enako ali celo višjo kakovost kot izkušeni pravniki brez nje.

UI je mlajšim pravnikom prinesla tudi največje časovne prihranke. Pri prvi nalogi so jo opravili približno 18 minut hitreje, medtem ko je bil pri izkušenejših pravnikih prihranek zgolj okoli pet minut in statistično neznačilen. Mlajši sodelujoči so povedali, da jim je UI pomagala premagati »problem praznega lista« in hitro izdelati prvi osnutek, ki so ga nato pregledali. Njihovo zadovoljstvo z lastnim delom se je močno povečalo in tudi objektivne ocene so potrjevale, da so bili njihovi izdelki ob uporabi UI boljši. Toda prav ta kombinacija hitrejšega dela, boljšega rezultata in večje samozavesti se je izkazala kot potencialno zavajajoča.

Ko so morali pravniki po treh mesecih nalogo opraviti brez UI, je eksperimentalna skupina kot celota kontrolno presegla za 0,32 standardnega odklona. Toda celotno izboljšanje je izviralo iz skupine izkušenih pravnikov: ti so kontrolno skupino presegli za 0,45 standardnega odklona. UI jim ni služila kot nadomestek za razmišljanje, temveč kot »revizor logike«, s katerim so preverjali lastne argumente, iskali alternativne rešitve in prepoznavali strukturne pomanjkljivosti. Ker so že imeli razvito strokovno znanje, so lahko presojali kakovost računalniških predlogov in se iz njih dodatno učili.

Pri mlajših pravnikih povprečnega izboljšanja samostojne strokovne presoje ni bilo. Njihovi rezultati so se namesto tega razcepili: zmanjšal se je delež povprečnih rezultatov, povečala pa sta se tako delež dobrih kot delež zelo slabih rezultatov. Nekaterim je UI očitno pospešila učenje, pri drugih pa je nadomestila miselni napor, potreben za pridobivanje strokovnosti. Mlajši pravniki so pogosteje zaporedno popravljali slogovne in administrativne napake, niso pa prepoznali ali odpravili temeljnih pravnih pomanjkljivosti. V nekaterih primerih so celo zapisovali navodila, ki bi bila primerna za pomočnika UI, namesto da bi sami izvedli zahtevani popravek.

Osrednja ugotovitev študije je zato paradoksalna: največje neposredne koristi UI so imeli pravniki, ki so iz njene uporabe pridobili najmanj trajnega znanja. Izkušeni pravniki niso bistveno skrajšali časa dela, so pa izboljšali tako izdelek ob uporabi UI kot poznejšo samostojno presojo. Mlajši so postali hitrejši in ob pomoči UI navidezno enako sposobni kot starejši kolegi, vendar se ta uspešnost brez tehnološke opore ni ohranila. Avtorji zato sklepajo, da temeljno strokovno znanje ni nekaj, kar lahko UI preprosto nadomesti; nasprotno, prav to znanje je pogoj, da se človek iz uporabe UI sploh lahko trajno uči.

Študija ima bistveno širše implikacije od patentnega prava, predvsem za izobraževanje. Če študenti uporabljajo UI za izdelavo seminarskih nalog, reševanje problemov ali pisanje programov, bodo njihovi neposredni izdelki praviloma boljši, vendar to še ne pomeni, da bodo tudi sami postali bolj usposobljeni. Raziskava razkriva temeljno napako sedanjega navdušenja nad vključevanjem UI v poučevanje: kakovost izdelka se zamenjuje s kakovostjo učenja. Študent lahko s pomočjo UI pripravi odlično nalogo, ne da bi razvil znanje, presojo in miselne postopke, zaradi katerih bi jo bil sposoben pozneje samostojno oceniti ali popraviti. UI tako zmanjšuje vidne razlike v rezultatih, vendar lahko pod površjem povečuje razlike v dejanskem znanju.

To ne pomeni, da je treba UI iz izobraževanja izključiti, temveč da mora priti šele za oblikovanjem temeljnega znanja in ne namesto njega. Študent mora najprej sam osvojiti osnovne koncepte, postopke in strokovno presojo, nato pa lahko UI uporablja za preverjanje argumentov, iskanje alternativ in izboljševanje rešitev – tako, kot so jo v eksperimentu uporabljali izkušeni pravniki. Poučevanje bo zato moralo bistveno jasneje ločevati med fazo pridobivanja znanja in fazo tehnološko podprte uporabe znanja ter veliko več ocenjevanja izvajati brez UI. V nasprotnem primeru bomo ustvarili generacijo mladih, katerih izdelki bodo videti strokovni, sami pa ne bodo pridobili sposobnosti, da bi prepoznali, kdaj je samozavesten odgovor algoritma strokovno napačen.