Zadnjič sem pisal o grozovitih težavah v akademski psihologiji (The Trouble with Psycho), kjer večine testov ni mogoče replicirati. No, pravkar je bila objavljena študija velikega konzorcija raziskovalcev v Journal of the American Statistical Association, kjer so poskušali replicirati 100 najbolj odmevnih testov v psihološih ekperimentih. Ugotovili so, da čeprav so te študije v 97% primerov pokazale statistično značilne rezultate, so pri ponovitvi to statistično značilnost lahko ugotovili le v 36% primerov. In še več, ugotovili so, da v več kot 90% primerov gre za teste zanemarljivh učinkov.
Ključno je sporočilo te študije: treba je dvigniti prag za razglasitev novih odkritij in študije bi morale vsebovati tudi statistični povzetek glede deleža testiranih hipotez, ki so napačne. Drugače rečeno, študije bi morale jasno razkriti, koliko testiranih hipotez ni dalo željenih rezultatov (neznačilni koeficienti ali koeficienti z “napačnim” predznakom). Eden izmed ključnih problemov v znanosti je namreč pristranost objav v akademskih revijah: vidimo (so objavljeni) zgolj rezultate študij s pozitivnimi rezultati, ne vidimo pa študij, ki so zavrnile določene hipoteze. Sploh v farmaciji, medicini, psihologiji, pa tudi v ekonomiji, pa so najmanj enako pomembne tudi študije, ki so zavrnile hipoteze s pričakovanimi rezultati.
You must be logged in to post a comment.