Ena izmed raziskav objav v petih akademskih revijah (N=791) kaže, da več kot polovica raziskav narobe interpretira “statistično značilnost” ocenjenih koeficientov. Če razložim preprosto: dve raziskavi lahko ocenita enako vrednost nekega regresijskega koeficienta, pri čemer prva raziskava oceni preciznost koeficienta pri stopnji zaupanja 96% (P=0.04), druga pa denimo pri stopnji zaupanja 91% (P=0.09). Raziskovalci običajno sklenejo, da v drugi raziskavi koeficient “ni statistično značilno različen od 0” (ker ni značilen pri privzeti stopnji zaupanja vsaj 95%) in da so rezultati druge raziskave v nasprotju s prvo. Kar je napačna interpretacija, saj sta vrednosti koeficientov v obeh raziskavah identična, le interval zaupanja je različen.
To je velik problem, predvsem v farmaciji, medicini in podobnih vedah, kjer so tovrstne študije lahko odločilne glede priporočil za uvedbo določenih zdravil, posegov ipd. Problem je še večji. Ker večina ocenjevalcev in urednikov znanstvenih revij odloča o tem, ali naj bo nek znanstveni članek objavljen ali ne, na podlagi “statistične značilnosti” rezultatov, zaidemo v problem sistematične pristranskosti objavljenih študij: študije s “pozitivnimi” (statistično značilnimi) rezultati bodo bolj pogosto objavljene kot študije z “negativnimi” rezultati (statistično neznačilnimi). To pa vodi do problema samofiltriranja ozrioma samocenzure: ker vemo, da naš članek, ki nikakor ne uspe dobiti “statistično značilnih” rezultatov, nima velikih možnosti za objavo, ga bodisi zavržemo ali zasukamo v drugo smer, ki nam da “značilne” rezultate.
Toda včasih je prav to, da rezultati sistematično niso “značilni”, ključna informacija na nekem področju. Denimo, študije učinkov dviga minimalne plače na zaposlenost, sistematično kažejo, da ni “značilnih” učinkov (ali pa, da so majhni in gredo v obe smeri). Bomo zaradi tega zavrgli te študije, ki prinašajo izjemno pomembno spoznanje?
No, po ameriški zvezi ekonomistov (2016) se je zdaj z akcijo proti upoštevanju “statistične značilnosti” kot odločilnega testa veljavnosti rezultatov odzvala tudi revija Nature. Spodaj se lahko priključite peticiji.
Nadaljujte z branjem→
You must be logged in to post a comment.