O poštenosti v znanosti

Pričevanja o nepoštenih praksah v znanosti se kuhajo že dlje časa. Denimo leta 2005 je ameriški raziskovalec John P. Ioannidis objavil zelo kontroverzno in odmevno raziskavo »Why most published research findings are false«, v kateri je ocenjeval, kako relevantne so ugotovitve o pozitivnih učinkih laboratorijskih testov v medicini, objavljene v akademskih medicinskih revijah. Ugotovil je, da je večina izmed njih preprosto napačnih. Kasneje je raziskava podjetja Bayer Laboratories potrdila Ioannidisove trditve in pokazala, da pozitivnih učinkov v treh četrtinah znanstvenih študij z njihovega področja ni mogoče uspešno replicirati v laboratoriju. Podobno je analiza biotech podjetja Amgen pokazala, da je mogoče replicirati rezultate le 6 izmed 53 ključnih študij s področja raziskav raka.

Kaj se dogaja v znanosti?

Kot ugotavlja zadnji Economist, so ključni trije problemi. Prvi problem je izjemno velika konkurenca med znanstveniki za delovna mesta. V zadnjih letih vsako leto v ZDA pride na trg šest novih doktorjev znanosti za vsako prosto docentsko mesto. Število znanstvenikov v zadnjih petih desetletjih je rapidno naraslo iz nekaj stotisoč na 6 do 7 milijonov v svetovnem merilu, medtem ko se število vrhunskih znanstvenih revij, objava v katerih je pogoj za dobro zaposlitev, ni bistveno povečalo. Pri tem pa vrhunske revije po običaju zavračajo nad 90% vseh prejetih znanstvenih člankov. Zato se je povečala implicitna spodbuda po “spektakularnih” odkritjih, ki lahko prinesejo objavo v vrhunski reviji.

Drugič, znanstvena skupnost in znanstvene revije imajo rade “pozitivne zgodbe”, torej potrditve hipotez. “Negativne zgodbe”, zavrnitve hipotez ali teorij so manj zaželene in delež znanstvenih člankov z negativnimi rezultati se je od leta 1990 do danes zmanjšal s 30% na vsega 14%.

Tretjič, kvaliteta recenzentskih postopkov se je poslabšala. Po eni strani zaradi malomarnosti ocenjevalcev, po drugi pa zaradi pristranosti ocenjevalcev (naklonjenosti znotraj posameznih krogov). Pred kratkim so denimo v medicinskih revijah ugotovili, da ocenjevalci niso opazili tipičnih “podtaknjenih” napak v člankih.

Pomemben pa je še en dejavnik, in sicer tekmovanje za raziskovalna (zasebna ali javna) sredstva, v kar je že avtomatsko vgrajena spodbuda za “pozitivne rezultate” oziroma “spektakularna odkritja”, da bi upravičili prejeta raziskovalna sredstva.

Kako ven iz tega kroga negativnih spodbud?

Jasno, prvi izmed načinov za povečanje poštenosti pri poročanju rezultatov je poostritev standardov v recenzentskih procesih. Vzporedno s tem je smiselna zahteva po replikaciji rezultatov raziskave. Nekatere revije (na mojem področju) so uvedle zahtevo po zagotovitvi podatkov in statistične kode, da lahko vsakdo na istih podatkih replicira rezultate. Ena izmed takšnih, vendar širših pobud je INET projekt, ki sistematično zbira baze podatkov in člankov, ki jih je mogoče replicirati.

Problem glede možnosti replikacije je v tem, da je na nekaterih področjih to dokaj enostavno (denimo v kvantitativni ekonomiji), na drugih, ki temeljijo na eksperimentih, pa dokaj težko (medicina, farmacija, fizika, pa tudi behavioristična ekonomija itd.). Pri teh bi bilo treba sistematično uvesti zahtevo po vodenju dnevnikov ter odpreti postopke testiranja (denimo pri kliničnih testih) tudi ostalim raziskovalcem. Seveda pa se bo tukaj težko izogniti prevaram, kadar so prevare že od začetka del “raziskovalnega modela”, torej načrtnega fabriciranja rezultatov (glej denimo znani primer raziskovalnega tima okrog korejskega raziskovalca Hwang Woo-suka na področju biogenetike).

Naslednja možnost pa je, da se proces preverjanja kvalitete rezultatov iz ex ante verifikacije pred objavo prenese v ex post verifikacijo. Denimo to, kar se je zgodilo Reinhartovi in Rogoffu letos za njun članek, ki je bil objavljen leta 2010, za katerega so kolegi razkrili, da temelji na številnih napakah v metodologiji. Podoben je primer danskega znanstvenika Bjørna Lomborga, avtorja knjige “The Skeptical Environmentalist”, ki je poskušal pokazati, da so ekologi sistematično ponarejali znanstvene ugotovitve, da bi jih prilagodili njihovim političnim motivom. Lomborg se je zaradi tega tudi sam znašel v preiskavi danskega raziskovalnega sveta:

The Committee initially found Lomborg guilty of much the same error that he had alleged of the ecologists. However, the Committee refused to comment on whether his behavior was normal or deviant for the field in question. This enabled Lomborg to appeal the verdict, successfully, claiming that the Committee had victimized him for political reasons…

In retrospect, the Committee probably should have refused the case, given that Lomborg’s book was subject to intense public scrutiny, often by experts writing (favorably) in The Economist and (unfavorably) in Scientific American. His was a genuine case in which intellectual work was given a fair trial in the proverbial “court of public opinion” and required no further oversight.

Kakorkoli, ne glede na spodbude za nepošteno delovanje, je prednost znanosti v tem, da temelji na motu “verjemi, vendar preveri“. Torej v nenehnem preverjanju stvarnosti (in resnice) ter svojih prejšnjih ugotovitev. Proces kristaliziranja resnice je dolg, zelo dolg, toda deluje. Seveda pa nas samo to ne more zadovoljiti.

%d bloggers like this: