14 oktober, 2011

Peer review

De senaste dagarna har jag flera gånger retat mig på hur vetenskapsjournalister och andra som borde veta bättre beskriver peer review, dvs den granskning av vetenskapliga manuskript som andra forskare gör innan publicering. Det började med The Guardians podcast "Science weekly" som förra veckan spelades in inför publik på Natural History Museum i London. En av paneldeltagarna kritiserade diskussionen kring överljusneutrinerna och tyckte att då resultaten inte genomgått peer review så var det i princip fel att ens diskutera dem. Detta oaktat att det är normalt modus operandi inom grenar av fysiken att förpublicera manuskript på arXiv för att få feed-back på dem innan den officiella peer reviewen. Paneldeltagaren upprepade flera gången att "peer review är guldstandarden för forskning".

Via Åsa Larssons twitterflöde (@archasa) snubblade jag över en annan artikel i ... The Guardian som berör peer review. Artikelförfattaren verkar på något sätt mena att peer review skulle garantera att det som presenteras i en vetenskaplig artikel är sant. Och visst, vi forskare har gjort mycket för att under blåsa den bilden. Det är lätt att få uppfattningen, som ovan, att det går en skarp gräns mellan det som är granskat och därmed sant och det som inte är granskat och som man därför bör ignorera.

Peer review har ett syfte. Det är viktigt att manuskript granskas av andra forskare och forskning som inte genomgått granskning bör man vara vaksam mot.

MEN, allt som står i granskade artiklar är inte sant. Det är en av chockerna man får som ung student/doktorand när man inser hur mycket av den publicerade, peer reviewade forskningen som är ... inte osann... men opålitlig. Oftast är det inte ett medvetet försök av forskarna att fuska utan misstag, misstolkningar, spekulationer utöver det experimenten visar... och så vidare.

En hel del av det här borde fångas upp av en god peer review, men slinker igenom för att granskningen ibland sker slarvigt och slentrianmässigt. Men även den bästa granskaren kommer att missa många fel. Det beror på att det inte är granskningens syfte att kontrollera resultaten. Peer review innebär normalt sett att en anonym forskare får ett manuskript tillsänt sig. Hon/han läser manuskriptet, försöker bedöma om resultaten är intressanta nog för att publiceras (i den aktuella tidskriften), försöker bedöma om resultaten går att utläsa ur de experiment* forskarna  presenterar. Man kritiserar oklarheter, kan ställa frågor om metoder, kräva mer mätningar och i bästa fall också ge förslag på hur manuskriptet kan förbättras. Man granskar alltså resultaten utifrån de presenterade mätningarna. Vad man normalt sett inte gör är att granska mätningarna i sig. Om en forskare presenterar felaktiga eller t.o.m. påhittade mätningar kommer det troligtvis att gå igenom granskningen. Det finns många exempel på sådant (t.ex. Jan-Hendrik Schön).

Peer review är alltså inte guldstandarden! Det är upprepning av resultaten av andra forskare som är den verkliga guldstandarden. Där ligger vetenskapens självkorrigerande mekanism. Peer review är ett viktigt instrument i den processen, men det vore bra om vi slutade låtsas som om den är en garanti för god forskning.


*eller analogt för teoripapper.

5 kommentarer:

[cmh] sa...

Medhåll!

ArchAsa sa...

Bra genomgång. Som sagt, efter ett antal år bakom ridåerna inser man snabbt att peer review inte garanterar nånting, och kan i värsta fall användas som maktmissbruk och hindra viss publicering. Peer review kan i allra bästa fall vara en viss kvalitetssäkring, så att vissa missar rättas till. Men det är det efterföljande som är den riktiga peer-review processen, när publicerade resultat stöts och blöts inför öppen ridå av alla forskare.

Erik Gertkvist sa...

Peer review är ett bra sätt för vetenskapstidningarna att hålla en hyfsad standard till låg kostnad, men det är inte bättre än vad redaktionen gör det. Väljer man ut en olämplig granskare, eller inte beaktar kommentarerna från granskaren, är det inte bättre än "Ring P1".

Helt bortsett från risken att tidningar blir rena kotterier där endast Vetenskaplig Idé typ 1 är acceptabel, oavsett hur många argument som finns för Idé 2.

Det finns några ytterst genanta misslyckanden som peer reviewats. Å andra sidan finns det nog en laddning intressanta artiklar som stupat på granskarens vetenskapsteoretiska fördomar.

mjn sa...

Erik: Jag håller inte riktigt med att peer review mest är ett sätt att hålla nere kostnaderna. Jag är kritisk till bilden av peer review som en garanti för god forskning, men att få ett manuskript granskat av andra forskare, ofta mycket kunniga inom området, är värdefullt. Tveksamma metoder, vanliga artefakter osv kan på det sättet rättas till. Det kräver dock att granskaren har kunskap om ämnet, vilket en redaktion inte kan ha om alla ämnen. Därtill har forskare oftast en mycket god bild av vad som redan publiceras inom ett område och vad som är nytt. Det hör till jobbet. En redaktion kan inte hålla sig uppdaterade om utvecklingen inom alla områden de publicerar forskning om.

Tanken om att "icke-konventionella" idéer skulle undertryckas pga peer review är något man ofta hör från fringe-forskare eller pseudoforskare som ID-anhängare, klimatskeptiker o.dyl. Det är en bild som inte alls stämmer överens med verkligheten. Visst finns det ett motstånd mot omstörtande resultat, men om de är väl underbyggda med solid forskning och grundlig argumentation så accepteras de till slut. Titta bara på årets Nobelpris om de "omöjliga" kvasikristallerna. Det är en bra sak med peer review att den tvingar fram mer övertygande argument för extraordinära resultat.

Peer review är inte ett perfekt system, men det är långt ifrån så illa som många vill påskina. Och långt ifrån så bra som andra menar.

Anonym sa...

Martin Jönsson Niedziolka skrev:

>pseudoforskare som ID-anhängare, klimatskeptiker o.dyl.