Pomen replikacije v znanosti: primer kaznovalne politike

Eden izmed večjih problemov je, da veliko poslovnih odločitev in ukrepov vladnih politik temelji na posamičnih študijah. Kadar vodstvo podjetja ali minister želi dobiti ex-post potrditev za strateško odločitev, ki jo je sam pri sebi sicer že sprejel, naroči študijo, ki nato verificira pravilnost njegove odločitve (če ne, jo skrije v predal in naroči drugo). Kvaliteta in verodostojnost tovrstnih študij sta običajno vprašljivi, ne pa vedno. Toda vsaj pri znanosti oziroma znanstvenih raziskavah običajno zaupamo objavljenim rezultatom. Saj naj bi šli skozi strogo sito kolegialne kritike in nato še recenzentov. Pa jim ne bi smeli. Zaupati namreč.

V zadnjih letih sem tukaj napisal že nekaj postov na to temo in na velike težave, ki jih imajo v medicini, farmaciji, klimatologiji, psihologiji itd. z replikacijo dobljenih rezultatov. Nasploh je problem tam, kjer imajo opravka z eksperimentalnimi raziskavami, ki jih je izjemno težko ponoviti in preveriti rezultate. Toda podobni problemi so tudi tam, kjer so na voljo tudi originalni podatki in ekonometrična koda. Tudi tukaj se pojavlja enak problem, da ogromno raziskav, objavljenih v vrhunskih znanstvenih revijah, ni mogoče replicirati.

Zadnji tak primer so (objavljene) raziskave o vplivu kaznovalne politike na stopnjo kriminalitete. V osnovi gre za ideološko vprašanje: konzervativci zagovarjajo strožjo kaznovalno politiko (več in daljše zaporne kazni), kar naj bi znižalo kriminaliteto, liberalci in levičarji pa milejše kazni. Pri tem se oboji sklicujejo na izsledke znanstvenih raziskav. Pri čemer pa je že ekonometrik Edward Leamer v Let’s take the con out of econometrics dvajset let nazaj pokazal, da ideološka predeterminacija raziskovalcev vpliva na dobljene rezultate, ker pač vpliva na izbiro predpostavk ter na ekonometrični pristop.

No, zdaj se je David Roodman odločil pregledati nekaj ducatov objavljenih znanstvenih raziskav o vplivu kaznovalne politike (nujno preberite njegovo primerjalno analizo, ker je čudovito napisana). Odkril je, da so rezultati neznačilni in zelo mešani in da na podlagi študij ni mogoče sklepati ne v to, da strožje kazni zmanjšujejo kriminaliteto, ne v to, da jo še povečujejo. Če kaj, potem velja kvečjemu to, da strožje kazni sicer začasno zmanjšajo stopnjo kriminalitete (dokler so kaznovani za zapahi), toda ta se spet poveča, ko pridejo zaporniki iz zapora.

I estimate, that at typical policy margins in the United States today, decarceration has zero net impact on crime. That estimate is uncertain, but at least as much evidence suggests that decarceration reduces crime as increases it. The crux of the matter is that tougher sentences hardly deter crime, and that while imprisoning people temporarily stops them from committing crime outside prison walls, it also tends to increase their criminality after release. As a result, “tough-on-crime” initiatives can reduce crime in the short run but cause offsetting harm in the long run.

Potem pa se je odločil replicirati osem študij, za katere je dobil tako orginalne podatke kot ekonometrično kodo in odkril, da je tukaj cela “štala”. V sedmij izmed osmih objavljenih študij je odkril resne metodološke napake, medtem ko so bile v štirih študijah te napake tako velike, da je bilo treba interpretacijo rezultatov povsem obrniti. Iz česar seveda sledi logičen sklep, da odločevalci ne smejo kar tako zaupati niti rezultatom raziskav, ki so objavljeni v uglednih znanstvenih revijah.

Empirical social science research—or at least non-experimental social science research—should not be taken at face value. Among three dozen studies I reviewed, I obtained or reconstructed the data and code for eight. Replication and reanalysis revealed significant methodological concerns in seven and led to major reinterpretations of four. These studies endured much tougher scrutiny from me than they did from peer reviewers in order to make it into academic journals. Yet given the stakes in lives and dollars, the added scrutiny was worth it. So from the point of view of decision makers who rely on academic research, today’s peer review processes fall well short of the optimal.

Vir: David Roodman, Reasonable Doubt? A New Look at Whether Prison Growth Cuts Crime

%d bloggers like this: