Det som inte sägs
Varje nyhet väljer bort något. Här är dagens bortval – frågorna artiklarna inte ställde, samlade på ett ställe.
-
Finansiering och potentiella intressekonflikter hos I4R och de inblandade forskarna/tidskrifterna.
Vem som finansierar och driver granskningsinitiativ kan påverka vilka studier som väljs ut, hur resultat tolkas och presenteras, vilket är relevant för att bedöma objektiviteten i själva reproduktionsprojektet.
-
Vad som konkret händer med de 15 procent icke-reproducerbara och 28 procent icke-robusta resultaten - rättelser, tillbakadraganden, policyimplikationer.
Utan att veta konsekvenserna för de problematiska studierna är det svårt att bedöma hur allvarligt problemet faktiskt är för forskningens faktiska inflytande på policy och debatt.
-
Publikationsbias - urvalet omfattar bara publicerade, statistiskt signifikanta resultat, inte de studier som aldrig publicerades på grund av icke-signifikanta fynd.
Om forskare systematiskt inte publicerar nollresultat snedvrids hela evidensbasen på ett sätt som reproduktionsstudier av publicerat material inte kan fånga upp.
-
Resurskostnaden och opportunitetskostnaden av omfattande replikationsprojekt (350+ medförfattare, replication games).
Stora granskningsinsatser kräver forskningsresurser som annars skulle kunna användas för ny forskning; artikeln värderar inte om denna resursallokering är den mest effektiva vägen till ökad tillförlitlighet.
-
Jämförelse med andra discipliner bortom den initiala referensen till psykologins replikationskris, t.ex. medicin, biologi eller naturvetenskap.
Utan jämförelsepunkter är det svårt att veta om nationalekonomins siffror (85%/72%) är bra, dåliga eller genomsnittliga relativt andra forskningsfält.
-
Varför vissa delområden eller metoder inom nationalekonomi kan vara mer eller mindre robusta - detaljer nämns bara som framtida forskning.
Utan att veta vilka metodtyper som driver bristande robusthet (t.ex. svagare identifikationsstrategier) är det svårt för läsare att veta vilken typ av forskning man bör vara mer skeptisk till.