Peer review

De senaste dagarna har jag flera gånger retat mig på hur vetenskapsjournalister och andra som borde veta bättre beskriver peer review, dvs den granskning av vetenskapliga manuskript som andra forskare gör innan publicering. Det började med The Guardians podcast "Science weekly" som förra veckan spelades in inför publik på Natural History Museum i London. En av paneldeltagarna kritiserade diskussionen kring överljusneutrinerna och tyckte att då resultaten inte genomgått peer review så var det i princip fel att ens diskutera dem. Detta oaktat att det är normalt modus operandi inom grenar av fysiken att förpublicera manuskript på arXiv för att få feed-back på dem innan den officiella peer reviewen. Paneldeltagaren upprepade flera gången att "peer review är guldstandarden för forskning".

Via Åsa Larssons twitterflöde (@archasa) snubblade jag över en annan artikel i ... The Guardian som berör peer review. Artikelförfattaren verkar på något sätt mena att peer review skulle garantera att det som presenteras i en vetenskaplig artikel är sant. Och visst, vi forskare har gjort mycket för att under blåsa den bilden. Det är lätt att få uppfattningen, som ovan, att det går en skarp gräns mellan det som är granskat och därmed sant och det som inte är granskat och som man därför bör ignorera.

Peer review har ett syfte. Det är viktigt att manuskript granskas av andra forskare och forskning som inte genomgått granskning bör man vara vaksam mot.

MEN, allt som står i granskade artiklar är inte sant. Det är en av chockerna man får som ung student/doktorand när man inser hur mycket av den publicerade, peer reviewade forskningen som är ... inte osann... men opålitlig. Oftast är det inte ett medvetet försök av forskarna att fuska utan misstag, misstolkningar, spekulationer utöver det experimenten visar... och så vidare.

En hel del av det här borde fångas upp av en god peer review, men slinker igenom för att granskningen ibland sker slarvigt och slentrianmässigt. Men även den bästa granskaren kommer att missa många fel. Det beror på att det inte är granskningens syfte att kontrollera resultaten. Peer review innebär normalt sett att en anonym forskare får ett manuskript tillsänt sig. Hon/han läser manuskriptet, försöker bedöma om resultaten är intressanta nog för att publiceras (i den aktuella tidskriften), försöker bedöma om resultaten går att utläsa ur de experiment* forskarna  presenterar. Man kritiserar oklarheter, kan ställa frågor om metoder, kräva mer mätningar och i bästa fall också ge förslag på hur manuskriptet kan förbättras. Man granskar alltså resultaten utifrån de presenterade mätningarna. Vad man normalt sett inte gör är att granska mätningarna i sig. Om en forskare presenterar felaktiga eller t.o.m. påhittade mätningar kommer det troligtvis att gå igenom granskningen. Det finns många exempel på sådant (t.ex. Jan-Hendrik Schön).

Peer review är alltså inte guldstandarden! Det är upprepning av resultaten av andra forskare som är den verkliga guldstandarden. Där ligger vetenskapens självkorrigerande mekanism. Peer review är ett viktigt instrument i den processen, men det vore bra om vi slutade låtsas som om den är en garanti för god forskning.


*eller analogt för teoripapper.