Stor granskning: Nationalekonomisk forskning oftast reproducerbar - men robustheten brister
Ett konkret tal om studiens design som kan verifieras genom att läsa publikationen. Detta är en påstand om vad studien omfattade.
En spécifik statistisk slutsats från studien som kan kontrolleras genom att granska studiens metod och resultat.
Två konkreta siffror som visar en tidsserier trend. Kan verifieras genom att kontrollera källmaterialet från motsvarande år.
En specifik, mätbar slutsats från robusthetstester presenterade i studien som kan kontrolleras i resultatavsnittet.
Två konkreta siffror från studiens felanalys som kan verifieras genom att inspektera de kodningsfel som dokumenterades.
Specifika resultat från ett experimentellt jämförande som direkt kan verifieras genom att kontrollera studiens resultatsektion om olika reproduceringstekniker.
Jämför resultaten mot en vag referens till 'allmän debatt' – detta kräver subjektiv tolkning av vad debatten faktiskt hävdar och är därför omdebatterat.
En värderande slutsats formulerad för öppet; begreppet 'fungerar' är inte precist definierat och påståendet kan inte falsifieras genom data.
En värdering innehållande 'goda nyheten' och 'fungerar bra' – uttrycken är subjektiva och påståendet fungerar som en retorisk slutsats snarare än ett verifierbart faktum.
Påstår en kausalrelation mellan dataredaktörernas arbete och förbättring, men detta är en tolkning som kan ifrågasättas – andra faktorer kan ha bidragit till förändringen.
350 forskare som frivilligt granskar varandras arbete visar hur professionell gemenskap upprätthåller kvalitet bättre än regler eller vinstmotiv.
En enskild studie säger lite om hela fältets hälsa — mänsklig expertis och beprövade granskningsmöten fungerar redan utan att rusa mot AI-lösningar.
Tusentals forskare och praktiker testar idéer i verkligheten bättre än ett centralt institut kan bedöma vad som är robust.
Datadelningen gick från 59 till 90 procent på ett decennium — vetenskapen korrigerar sig själv snabbare än pessimisterna räknar med.
Artikeln likställer implicit hög reproducerbarhet/robusthet med att forskningen 'går att lita på'. Men dessa mått fångar inte andra tillförlitlighetsproblem, som snedvriden frågeställning, bristande extern validitet, eller selektiv rapportering av vilka studier som överhuvudtaget skickas in till tidskrifter. Om måtten inte är tillräckliga faller artikelns övergripande slutsats att bilden är 'mer positiv än vad som ofta hävdas'.
”Kan man lita på publicerad nationalekonomisk forskning?”
Följ premissen →Artikeln drar en kausal slutsats ('transparens fungerar') från en korrelation mellan tidskriftspolicy och ökad datadelning/reproducerbarhet. Andra förklaringar - t.ex. generell digitalisering, ökad medvetenhet om replikationskrisen i andra fält, förändrade normer i forskarsamhället oberoende av policy - diskuteras inte. Om policyn inte är den huvudsakliga orsaken försvagas artikelns policyslutsats avsevärt.
”Studien visar också att transparens fungerar: obligatorisk datadelning och kodgranskning har gjort forskningen mer tillförlitlig.”
Följ premissen →Artikeln erkänner själv att urvalet är selektivt och resultaten en övre gräns, men fortsätter ändå dra generella slutsatser om att 'bilden är mer positiv än vad som ofta hävdas i den allmänna debatten'. Detta är en spänning: siffrorna säger egentligen minst om fältet i stort, men används ändå för att nedtona oron för en replikationskris i nationalekonomi generellt.
”Studien bygger på ett selektivt urval: de tidskrifter som redan har de starkaste kraven på öppna data. Resultaten är alltså sannolikt en övre gräns för reproducerbarheten i ämnet i stort.”
Följ premissen →Siffran 72% presenteras utan explicit värdering av om det är högt eller lågt i absoluta termer, men artikelns övergripande tonalitet ('Den goda nyheten...', 'mer positiv än vad som ofta hävdas') antyder att författaren tolkar detta som tillfredsställande. En läsare som anser att nästan var tredje signifikant resultat inte håller vid rimliga alternativa analysval skulle kunna dra en betydligt mer pessimistisk slutsats av exakt samma siffra.
”72 procent av de statistiskt signifikanta resultaten förblir signifikanta i samma riktning.”
Följ premissen →Artikeln avslutar med 'Åtminstone än så länge', vilket antar att AI:s kapacitet linjärt kommer förbättras till mänsklig nivå. Detta är en förutsägelse om teknisk utveckling som inte motiveras empiriskt i texten, och den kan vara felaktig om granskningsuppgiften kräver kontextuellt omdöme som inte skalbart löses med mer data/kraft.
”Slutsatsen är att AI kan vara ett användbart stöd i reproducerbarhetsarbetet, men att mänsklig expertis och omdömesförmåga fortfarande är helt avgörande. Åtminstone än så länge.”
Följ premissen →Artikeln tar för givet att lösningen på trovärdighetsproblem är mer granskning av redan publicerat material (reproduktionsstudier), utan att diskutera alternativa reformer av hela publiceringssystemet, t.ex. pre-registrering i större skala, ändrade incitament mot statistisk signifikans, eller marknadsmekanismer för forskningskvalitet.
Följ premissen →