Primer Reinhart-Rogoff: Napaka v excelovi tabeli in tako velike posledice

Verjetno se vam bo zdelo smešno, ali neresno, da je glavnina političnih argumentov za politiko varčevanja temeljila na dveh akademskih raziskavah (Reinhart in Rogoff, 2010; Alesina in Ardagna, 2010), pri čemer pa se je prva izkazala v določenem delu kot površno narejena (druga pa dubiozno). In sicer v tistem ključnem delu, ki se nanaša na to, ali najbolj zadolžene države res rastejo počasneje (ali celo imajo negativno rast). Vse skupaj pa je temeljilo na preprosti “napaki” v excelovi tabeli (glej sliko) v raziskavi Reinhartove in Rogoffa (popularno RR). Do razkritja te napake v izračunih RR je prišlo bolj kot ne naključno. Začelo se je namreč kot domača naloga doktorskega študenta in se nato po vključitvi dveh profesorjev razvilo v akademsko kritiko v obliki akademske raziskave.

reinhart_rogoff_coding_error_0

Vir: Tim Fernholz

Poglejte stolpič L in označeno polje (z modro barvo). Kot so pokazali Herndon, Ash in Pollin (HAP, 2013), RR pri izračunu povprečne stopnje gospodarske rasti (za obdobje, ko je bil dolg države večji od 90% BDP) zaradi napake v kodiranju nista tega polja razširila še navzdol na preostalih pet držav. Ali preprosto rečeno, v izračun nista vključila Danske, Kanade, Belgije, Avstrije in Avstralije. Resnici na ljubo ne gre samo za to napapko v raziskavi RR, pač pa sta denimo v izračunih tehtanih povprečij nekoliko po svoje “utežila” različne države oziroma obdobja. Denimo podatkom za 19 let rasti V. Britanije v času visokega dolga sta dala enako utež kot 1 letu recesije ob visokem dolgu Nove Zelandije. Prav tako sta brez jasnega razloga izločila nekaj držav z visoko rastjo ob visokem dolgu.

RR sta včeraj v WSJ objavila odgovor na to akademsko kritiko. Nekaj glavnih poudarkov navajam spodaj, cel odgovor pa lahko preberete tukaj:

But first let us consider the specific points raised by Herndon Ash and Pollin (HAP) in their comment that we were sent yesterday.

The authors point out that there are three problems with our 1945-2009 averages and the paper itself: (i) a coding error that causes the first five countries in the alphabet to be omitted in forming averages for the 1946-2009 period in one figure, (ii) “selective exclusion” of 1946-1950 for New Zealand, and (iii) “unconventional weighting of summary statistics”—the implication being that these omissions are intentionally used to bias the results.  They argue that the interaction of three problems magnifies their effects and leads to completely different conclusions, especially when they choose a different weighting scheme.

On the first point, we reiterate that Herndon, Ash and Pollin accurately point out the coding error that omits several countries from the averages in figure 2.  Full stop.   HAP are on point.   The authors show our accidental omission has a fairly marginal effect on the 0-90% buckets in figure 2.  However, it leads to a notable change in the average growth rate for the over 90% debt group. The median growth rate we report is the right order of magnitude.

Our interpretation of the errant data point in figure 2 was fortunately tempered somewhat by the parallel weight given to the median GDP growth rate for the various levels of debt in our discussion, an issue HAP selectively ignore.

HAP go on to note some other missing debt data points, which they describe as “selective omissions”. This charge, which permeates through their paper, is one we object to in the strongest terms.  The “gaps” are explained by the fact there were still gaps in our public data debt set at the time of this paper, a data set no one else had ever been able to construct before and which we now have filled in much more completely. Many readers of our work have followed this evolution on our data website.  For example, at the time the 2010 AER paper was written, there were gaps in the French data for the 1970s that we only filled in later.  Other data, including data for New Zealand for the years around WWII, had just been incorporated and we had not vetted the comparability and quality data with data for the more recent period. In effect, HAP only knew we had these data as we sent them the file we had used at that time.

We have no issues with to Herndon, Ash and Pollin for bringing attention to any data question regarding our work.  In this regard, we note that we have long since fully integrated the New Zealand data back to the early 1800s, once we were able to process it.  Every major high debt episode for advanced countries since 1800 and the underlying data is included in our 2012 Journal of Economic Perspectives paper co-authored with Vincent Reinhart.

Ta diskusija je nedvomno koristna iz dveh vidikov. Prvič, med akademskimi raziskovalci bo spodbudila malce večjo pazljivost glede uporabe podatkov in njihove obdelave. Predvsem pa bo spodbudila trend k javnemu razkritju (transparentnosti) podatkov in statistične ali ekonometrične kode. (Mimogrede, v American Economic Review že nekaj časa zahtevajo, da avtorji dajo na voljo podatke ali omogočijo dostop do podatkov ter do ekonometrične kode, da lahko kdorkoli preveri izračune oziroma ekonometrične ocene).

In drugič, ključno je spoznanje, da ekonomska politika ne sme temeljiti na eni analizi, ampak mora upoštevati ugotovitve različnih analiz ter na podlagi prevladujočih ugotovitev sprejeti sklepe glede ukrepov ekonomske politike. Ključno je, da so ekonomske analize transparentne – torej javno objavljene in njihova metodologija razkrita.

Verjetno mi ne boste verjeli, da je v Sloveniji v zadnjih dveh desetletjih večina ukrepov vladne ekonomske politike temeljila na analizah enega samega inštituta (EIPF d.o.o.) oziroma večinoma enega samega raziskovalca tega inštituta (mag. Veljko Bole). Pri tem pa njegove specifične analize večinoma niso bile javno objavljene oziroma dostopne za neodvisno preverjanje. Podobno velja denimo za ukrepe Banke Slovenije (ocenjevanje makro rizikov, stres testi), za ocenjevanje rizikov NLB itd., ki so podobno temeljile na analizah enega inštituta in enega raziskovalca.

In ne boste verjeli, da je v mnogih analizah navedenega inštituta precej zelo podobnih napak, kot sta jih zagrešila RR. Na nekaj izmed njih sem opozoril že pred leti v tem članku Koliko verjeti nekaterim »uglednim« ekonomistom?

2 responses

  1. Od dvajsetih držav v tabeli, jih za kar 12 ni nobenega podatka v stolpcu L! Tudi, če bi se zajelo vse države, to ne more biti kredibilni reprezentativni rezultat.

    Poleg napake v izračunih pa druga kritika njunega dela, ki sta jo objavila Wray in Nersisyan (2010), leti na to, da ni mogoče enačiti vseh različnih sistemov in monetarnih režimov v vseh osemsto letih. Prav tako, trdita avtorja, zaključki Rogoffa in Reinhartove niso aplikabilni za države s suvereno valuto. Njun argument (kot tudi argument MMT na splošno) je, da takšna država dolg v lastni valuti vedno lahko plača, saj nima finančnih omejitev (ima pa realne omejitve). Torej je potrebno ločiti države s suvereno valuto od tistih, ki takšnih valut nimajo (npr. Slovenija), česar pa Rogoff in Reinhartova nista storila. Več o tem si lahko preberete tule:
    http://www.economonitor.com/lrwray/2013/04/17/no-rogoff-and-reinhart-this-time-is-different-sloppy-research-and-no-understanding-of-sovereign-currency/
    Študijo pa najdete tule: http://www.levyinstitute.org/pubs/wp_603.pdf

    Jože, se strinjam, strokovna razprava bi morala biti širša, podatki pa javno dostopni in metodologija transparentna. Kot pravim že v zgornjem komentarju: zelo zelo zaskrbljujoče je, da je makroekonomska politika Slovenije temeljila na tako malo študijah (če to drži). Pri tem me zanima, če so avtorji študij in tisti, ki jih upoštevajo, pripravljeni tudi osebno odgovarjati za napačne odločitve? Mislim, da odgovor vsi poznamo.

%d bloggers like this: