V zadnjih dveh dneh sem dobil nekaj opozoril oziroma vprašanj (med njimi tudi od Petre Sovdat in Marka Crnkoviča), ali to glede Krugmana res drži. Namreč, da je zlorabil podatke, da bi dokazal svojo poanto. Marko me je prosil, naj kaj napišem o tem.

Zgodba je naslednja: V petek je Cullen Roche (nisem še slišal zanj, ampak očitno gre za nekega finančnika) v Business Insiderju objavil zapis z bombastičnim naslovom: “BUSTED: Paul Krugman removed 20 years of data from a chart to show a correlation that wasn’t really there“. Huh.

In res, Roche je pokazal originalni graf, v katerem je en dan pred tem Krugman primerjal inverz obrestne mere Fed (Federal Funds Rate) in število novih nepremičnin v obdobju 1965 – 2000, da bi pokazal, da mu “izgleda kot povezava” med njima (“Looks like a relationship to me“). V ozadju te slike je dolga in ognjevita debata med makroekonomisti o tem ali ima monetarna politika vpliv na realno gospodarstvo oziroma kakšen je transmisijski mehanizem monetarne politike. Krugman pravi, da na nakup opreme s kratko življenjsko dobo oscilacija Fedove obrestne mere najbrž nima učinka, ima pa ga na dolgoročne investicije, denimo v nepremičnine. Krugman:

Now, what you learned back then was that the transmission mechanism worked largely through housing. Why? Because long-lived investments are very sensitive to interest rates, short-lived investments not so much. If a company is thinking about equipping its employees with smartphones that will be antiques in three years, the interest rate isn’t going to have much bearing on its decision; and a lot of business investment is like that, if not quite that extreme. But houses last a long time and don’t become obsolete (the same is true to some extent for business structures, but in a more limited form). So Fed policy, by moving interest rates, normally exerts its effect mainly through housing.

But Montier seems to have forgotten about housing, which is actually a fairly common problem among certain kinds of econocritics.

And do interest rates move housing? Here’s the inverse of the Fed funds rate versus housing starts during the period when major moves in monetary policy were mainly driven by concerns about inflation (as opposed to bursting bubbles):

Looks like a relationship to me. And I would say that for many economists of a certain age, the events of the early 1980s were especially important in convincing us that monetary policy can matter a lot. Paul Volcker decided to tighten; interest rates soared, housing collapsed, and the economy plunged into a deep recession. He decided that the economy had suffered enough, rates plunged, housing surged, and it was morning in America.

Beyond that, the general proposition that money matters also rests on a lot of careful empirical work — in fact, on two styles of careful work. There’s the Romer-Romer narrative approach, which examines Fed minutes to identify “episodes in which there were large monetary disturbances not caused by output fluctuations”, and the Sims approach, which uses time-series methods. Both find that monetary policy does indeed matter.

No, Roche ni bil srečen s tem in pravi, da je Krugman predstavil podatke, ki “zavajajo”. In da je to naredil “namerno”. Iz slike naj bi “odstranil podatke za 20 let”, iz zgodnjih 1960-ih in po letu 2000. Oziroma iz 55 let dolgega obdobja naj bi odstranil 20 let, da bi lažje podkrepil svoje argumente. Če bi predstavil celo obdobje, bi korelacija izginila. Roche:

I had previously stated that the Krugman response was lacking meat. But it’s actually worse than that. It’s actually highly misleading and appears intentionally so.

In the post Dr. Krugman tries to show how much interest rates matter by comparing the Fed Funds Rate with Housing Starts. He shows a chart and declares that there appears to be a strong correlation. Except, as this emailer notes, he appears to have shifted the chart to make it appear as though there’s a correlation where there isn’t one.

…

And here’s the version that would have originally shown up when the data is pulled from FRED:

See what was done there? The period in the early 1960’s was removed and so was the period from 2000 on. In other words, out of a 55 year time period Dr. Krugman decided to remove 20 years worth of data because it fit his argument better. For those keeping track that’s removing almost 40% of an entire data set just because the data didn’t fit the narrative. And when you add those years back in you get a result that shows a very weak correlation…

Tja, če primerjate oba zapisa, se zdi, da bombastični naslov služi predvsem nabiranju pozornosti. Torej, Krugman ni iz podatkov ničesar odstranjeval, pač pa je iz FRED podatkovne baze potegnil ven sliko, ki zajema zgolj obdobje 1965-2000. To izbiro pa argumentiral tako: “during the period when major moves in monetary policy were mainly driven by concerns about inflation (as opposed to bursting bubbles)“. Torej s tem, da gre za obdobje, ko naj bi se monetarna politika ukvarjala predvsem z zadrževanjem inflacije in ne s posledicami počenih balonov. Tudi “močne korelacije” ni omenjal. Povedal je le: “Looks like a relationship to me“.

Ne da bi se hotel postavljati na katerokoli stran, toda akademska in intelektualna poštenost v tem konkretnem primeru bi zahtevala, da nekdo, ki uporabi te podatke v podkrepitev neke teze, seveda uporabi vse podatke, ki so na voljo. (No, v resnici se v empirični analizi izločijo opazovanja, ki so “outlierji” in ki tako močno odstopajo, da v lahko resnici povsem pokvarijo povezavo, ki je sicer v podatkih. Zato običajno takšne outlierje izločimo z različnimi metodami. Ena izmed njih je, da izločimo vsa opazovanja, ki so 3 standardne napake stran od povprečja (0.3% opazovanj) ali opazovanja v prvem in stotem centilu (2% opazovanj)). Nato pa seveda pojasni morebitna odstopanja od zatrjevane povezave med podatki v posameznih obdobjih ali primerih (v empiričnih analizah se običajno doda “dummy spremenljivka” za takšna obdobja ali primere). Možno je tudi, da nekdo uporabi podatke samo za obdobje, ko naj bi se nek pojav ali povezava dejansko odvijala. Krugman se je očitno odločil za slednji način.

Je Krugman z izbiro krajšega obdobja zavajal? Tja, če bi zamolčal, zakaj je izbral krajše obdobje in trdil, da obstaja splošna in močna korelacija (med inverzom Fedove obrestne mere in številom novih nepremičnin), bi bilo to nedvomno zavajanje. Vendar ni zamolčal. 

Je ta Krugmanov argument za krajše obdobje zadovoljiv? Tja… Bolj transparentno bi bilo, če bi prikazal v sliki celotno obdobje in nato pojasnil razloge za odstopanja v obdobjih, ko ni videti povezave med spremenljivkama. (Update: v novem zapisu kot odzivu na kritiko Krugman to slednje naredi)

Je Krugman s tem želel zavajati? Ne vem, naj sam pove. Meni se zdi, da je zgolj na hitro potegnil ven ene podatke, da bi ilustriral vpliv monetarne politike na realne agregate. Če bi hotel tukaj karkoli trditi z večjo gotovostjo, bi moral narediti formalne empirične teste z malce več resne time-series ekonometrije. Česar pa ne obvlada.

Tudi Roche ne, ki je naredil v excelu eno cross-section sliko med obema spremenljivkama in vrisal preprosto regresijsko premico (najbrž na letnih podatkih), vendar brez vseh formalnih empiričnih testov. Vsekakor pa njegov pristop ni primeren za analizo time-series podatkov. No, empirična literatura je polna resnih analiz tega fenomena in Krugman je v zapisu opozoril na dve takšni resni raziskavi (Romer-Romer, Sims), ki kažeta na vpliv monetarne politike na realne agregate. Roche ne opozarja na nobeno, ampak zgolj na Krugmanov spodrsljaj.

Je Krugmanov “greh” primerljiv z Mencingerjevim izpred 10+ let, ko je regresiral gospodarsko rast na odložen pritok tujih investicij v osem vzhodnoevropskih držav in trdil, da obstaja značilna negativna korelacija (oziroma da tuje investicije zmanjšujejo gospodarsko rast)? Tja, seveda ne. Mencinger je takrat zagrešil precej hude vsebinske in metodološke napake, da bi dokazal željeno negativno korelacijo, brez da bi opozoril na morebitne pomanjkljivosti. Takrat smo ga s kolegi precej kritizirali (denimo: da je izbral omejen vzorec držav, da ni upošteval panelne strukture podatkov, da ne moreš pričakovati, da bo priliv tuje investicije imel pozitiven vpliv na gospodarsko rast že v naslednjem letu (kaj če gre za nakup obstoječega podjetja?), da ni upošteval ruske finančne krize, ki je prizadela nekatere izmed teh držav v opazovanem obdobju itd.). No, v primerjavi s tem se  zdi Krugmanov “greh” tukaj bolj v površnosti oziroma ad hoc pristopu k ilustraciji nekega fenomena.

Bi Krugman komu drugemu (znani osebnosti) spregledal tak “spodrsljaj”? Najbrž ne. Toda če si glasen v kritiki drugih, moraš biti pripravljen, da bodo tudi ostali bolj pozorni nate. In seveda ne delati takšnih srednješolskih napak. Greška u koracima.

Update:

Krugmanov odziv: Regimes and Regressions (Wonkish)