Večine rezultatov (ekonomskih) raziskav ni mogoče ponoviti

Zadeva je sicer znana že iz področja psihologije in medicine, pa tudi klimatskih sprememb itd. Namreč, da večine rezultatov znanstvenih raziskav, objavljenih v najboljših akademskih revijah, ni mogoče reproducirati. Ali drugače rečeno, če ponovite poskus ali empirično ocenite neke podatke z natanko isto metodo, kot so jo uporabili avtorji objavljene raziskave, ne boste dobili enakih rezultatov. V nemškem Bayerju so denimo poskusili ponoviti rezultate poskusov objavljenih 67 raziskav, pa jim je uspelo reproducirati zgolj 14 izmed njih. V Amgenu so poskusili reproducirati rezultate 53 študij iz področja raziskav raka, ki so jih naredili v priznanih laboratorijih in ki so bili objavljeni v top akademskih revijah. Toda izkupiček je bil še manjši – uspeli so ponoviti rezultate le v 6 primerih izmed 53. V ekperimentalni psihologiji je bilo to razmerje 1 proti 3.

No, zdaj so to isto zadevo (ponovno) odkrili tudi na področju ekonomije. Andrew Chang in Phillip Li iz ameriškega Fed sta ta teden objavila raziskavo, v kateri sta poskušala replicirati rezultate 67 ekonomskih raziskav, objavljenih v 13 top akademskih revijah in pri tem uporabila tako originalne podatke kot ekonometrično kodo avtorjev člankov. v 22 primerih (1/3) jima je uspelo replicirati rezultate brez pomoči avtorjev, še v 7 primerih jima je to uspelo zgolj s pomočjo instrukcij avtorjev. Skupaj jima je torej uspelo replicirati rezultate v manj kot polovici primerov, pa čeprav so bili na voljo originalni podatki in ekonometrična koda. Na podlagi tega skleneta, da ekonomske raziskave večinoma niso replikabilne.

Neponovljivost znanstvenih rezultatov je seveda hud problem. Po eni strani poraja dvom v  splošno veljavnost in nepristranskost znanstvenih rezultatov. Na drugi strani pa, v primeru ekonomije, poraja dvom v učinkovitost ukrepov ekonomske politike (od financ, sociale do trga dela), če le-ti temeljijo na raziskavi, ki je lahko že jutri ovržena zaradi, hm, neponovljivosti, če se milo izrazim.

Toda to, da velikega dela ugotovitev empiričnih raziskav ni mogoče uspešno ponoviti, ni največji problem. Temu problemu se je v precejšnji meri mogoče izogniti z izboljšanjem standardov v znanstvenih revijah. Denimo z zahtevo, da morajo biti ob objavi priloženi tudi podatki in koda. To politiko je leta 2004 uvedel Ben Bernanke, ko je bil urednik prestižne American Economic Review. Temu so nato sledile tudi Econometrica, Journal of Political Economy in druge revije. Kar sicer ni povsem rešilo problema, saj avtorji dajo na voljo običajno že transformirane podatke, ki pa so lahko že ustrezno izkrivljeni. Potrebno bi bilo dati na voljo originalne podatke in kodo za njihovo obdelavo. Prav tako bi bilo potrebno, da bi uredniški odbor na podlagi priloženih podatkov in kode še pred objavo preveril ali je rezultate mogoče replicirati ali ne.

Verjamem, da se bodo na podlagi tovrstnih razkritij ter razkritij načrtnih prevar v znanosti počasi oblikovale ustrezne metode preprečevanja tovrstnih praks in posledično tudi nova etika raziskovalcev. Toda jaz še večji problem vidim nekje drugje. Namreč v uredniški politiki večine znanstvenih revij, ki imajo tendenco, da želijo objavljati zgolj znanstvene članke s “pozitivnimi rezultati”. Torej članke, ki uspejo neko stvar (hipotezo, pričakovan rezultat) potrditi. Uredniki revij pa imajo močno tendenco, da ne objavljajo člankov, ki določene hipoteze zavračajo. Članki z negativnimi rezultati so praktično neobjavljivi. Še huje je tam, kjer raziskave financira industrija, ki je seveda zainteresirana zgolj za pozitivne rezultate. Ta pojav se imenuje “positive bias” oziroma “pozitivna pristranskost“.

Zaradi te pristranskosti revij se je med nami znanstveniki oblikoval temu ustrezen način raziskovanja in samocenzure. Iščemo zgolj pozitivne rezultate. Če nikakor ne dobimo pozitivnih rezultatov, vržemo nedokončan projekt (članek) v smeti, saj takšnega članka skorajda ni mogoče objaviti. Še večji problem je, kjer so znanstveniki odvisni od zasebnih virov financiranja njihovih raziskav – pritok raziskovalnega denarja je namreč odvisen od tega, kako zadovoljni so zasebni lastniki s “pozitivnostjo” rezultatov. Glejte denimo kritiko tega pristopa na področju biomedicine, objavljeno v reviji Nature. Pri slednjem je ključen problem prenizko javno financiranje znanosti, s čimer slednja postane žrtev izključno profitnih interesov industrije.

Toda za javnost, industrijo ali ekonomsko politiko bi bile raziskave z ugotovljenimi negativnimi rezultati bistveno bolj pomembne kot peščica člankov, ki potrjuje pričakovane hipotetične rezultate. Za družbo bi bilo bistveno bolj pomembno vedeti, katera zdravila ne delujejo, kot pa to, v katerih primerih nekatera zdravila delujejo v določenem segmentu. Če smem kot primer vzeti našo študijo učinkov sporazuma TTIP na slovensko gospodarstvo, je za družbo denimo bistveno bolj pomembno vedeti, da nek trgovinski sporazum ne bo imel pozitivnih učinkov na domače gospodarstvo, kot pa da takšna študija ne bi nikoli ugledala luči sveta, ker so rezultati drugačni od pričakovanih.

Akademske revije bodo torej morale sprejeti nove standarde glede objavljanja člankov. Standarde, ki bodo zmanjšali možnost objav “ponarejenih” (neponovljivih) rezultatov in standarde, ki bodo spodbujali objavo tudi člankov z negativnimi rezultati. Na drugi strani pa bodo v razvitih državah morali razmisliti o večjem deležu javenga financiranja znanstvenih raziskav. V nasprotnem primeru se bo znanost samodiskreditirala.

%d bloggers like this: