Zolang de beste tijdschriften maar plek hebben voor een fractie van de aangeboden artikelen, moeten wetenschappers leren leven met afwijzingen. De negatieve reviews zijn een hard gelag voor de onderzoeker.
‘Het is een schande dat er wetenschappers zijn die zo onwetend zijn’, kreeg VU-psycholoog Katinka van der Kooij ooit als commentaar van een peer-reviewer. Het is haar altijd bijgebleven, hoewel ze veel meer positieve ervaringen met peer-review heeft dan negatieve.
Diep ademhalen, een paar flinke klappen tegen een bokszak en weer door
Negatieve reviews doen pijn. Zeker als ze zo ongenuanceerd zijn. En toch ontkom je er niet aan als wetenschapper. Cultuurwetenschapper Maranke Wieringa, Universiteit Utrecht, twitterde een jaar geleden over de vijf stadia van peer-review: ‘denial, anger, bargaining, depression, acceptance.’ Een rouwproces, kortom. En dat proces maakt iedere wetenschapper door, want de betere wetenschappelijke tijdschriften wijzen het overgrote deel van de artikelen af.
> Het zogeheten single blind peer-review komt het meest voor. Daarbij weet de auteur niet wie de reviewers zijn, maar die kennen wel de naam van de auteur. De voorbeelden in dit artikel gaan over deze vorm.
> De laatste jaren is double blind peer-review in opmars, waarbij beide partijen elkaars namen niet weten. Zo kunnen het prestige en de achtergrond van de auteur geen rol spelen bij de beoordeling.
>De nieuwste ontwikkeling is dat het reviewproces helemaal openbaar is. Dan weten de reviewers en de auteur van elkaar wie ze zijn. Open-reviews horen bij open science.
Dan is het diep ademhalen, een paar flinke klappen tegen een bokszak, een zak paprikawokkels leegeten en weer door. Want je raakt een artikel altijd wel ergens kwijt, zeggen de wetenschappers die ik spreek. Maar soms niet in het journal waarvan je had gedroomd.
Afgewezen worden hoort er dus bij, het gaat erom hoe. ‘Soms krijg je de indruk dat peer-reviewers last hebben van pathologische correctiedrang. Er mag wat meer steun komen: van ‘hoe leggen we op alle slakken zout’ naar ‘hoe krijgen we dit aardige paper omgeturnd tot een echt mooie analyse?’ twitterde VU-cultuurfilosoof Jelle van Baardewijk in reactie op onze oproep om ervaringen met peer-review te delen.
De toon maakt alle verschil, zegt ook Van der Kooij: “Als je een aardige mail van een reviewer krijgt, ben je veel meer gemotiveerd je stuk echt te verbeteren.”
Persoonlijke motieven
Jos Akkermans, VU-onderzoeker HRM en organisatiegedrag en redacteur van Journal of Vocational Behavior, vindt dat de redactie een afwijzing altijd goed moet motiveren. “Als wetenschapper heb ik een hekel aan afwijzingsmails waarin alleen maar staat see reviews, maar dat komt geregeld voor.”
Het meest onbevredigend zijn de afwijzingen waarbij je het gevoel hebt dat er persoonlijke motieven meespelen, zeggen de geïnterviewde wetenschappers. “Bijvoorbeeld als iemand heel erg boos wordt omdat je een bepaald artikel niet hebt geciteerd. Dat zal dan wel van de reviewer zijn, denk je dan”, zegt VU-hoogleraar criminologie Willem de Haan. Soms had De Haan het gevoel dat de reviewer nog een appeltje met hem te schillen had: “Zeker weten doe je dat nooit, want het proces blijft anoniem. Maar de wereld van Nederlandstalige wetenschappers die zich met dit onderwerp bezighouden, is klein.”
‘Ik sta er nogal fatalistisch in’
Heel nare reviews kreeg De Haan toen hij een boekvoorstel indiende over holocauststudies. “Mijn voorstel zou beledigend zijn en slachtoffers pijn doen. De boodschap was: jij hoort op dit terrein niet thuis.”
De Haan stelt dat bij peer-review allerlei menselijke mechanismes een rol spelen: “Kleinzieligheid, territoriumdrang, uitsluiting en domme pech. Ik sta er nogal fatalistisch in: soms zit het mee, soms zit het tegen. En daar kun je niet zoveel aan doen.”
Kritiek inhoudelijk motiveren
Zijn collega-rechtswetenschapper Klaas Rozemond vindt dat wetenschappers het recht hebben om te weten waar ze aan toe zijn. Rozemond is VU-vertrouwenspersoon wetenschappelijke integriteit. Hij vindt dat veel Nederlandse tijdschriften de procedures voor afwijzing van een artikel beter moeten vastleggen. Bij wie kun je in beroep? Moet een redactie haar besluit inhoudelijk motiveren? “De grote internationale wetenschapstijdschriften hebben hier procedures voor, Nederlandse tijdschriften vaak niet”, zegt hij.
Rozemond liep er zelf vorig jaar tegenaan toen hij wilde publiceren in het Nederlands Tijdschrift voor Geschiedenis. Rozemond verdedigde de stelling dat de holocaust juridisch gezien een genocide was. De reviewers vonden het stuk niet genoeg ingebed in de historiografische discussie. “Maar ik wilde helemaal geen historisch artikel schrijven, maar een juridisch verhaal dat voor historici interessant zou zijn”, zegt Rozemond. De redactie vond Rozemonds voorstel aanvankelijk interessant. De peer-reviewers wezen het af. En toen besloot de redactie om het niet te plaatsen en verwees daarbij alleen naar de reviews. Rozemond was het daar niet mee eens en wilde graag een onafhankelijk oordeel van de redactie, maar die bleef zich beroepen op de reviewers.
Wetenschappelijke integriteit
Hetzelfde artikel werd overigens wel gepubliceerd in Delikt & Delinkwent, maar Rozemond wilde het het liefst ook in een historisch tijdschrift publiceren omdat hij dacht dat zijn gedachtegang met name voor historici vernieuwend en interessant kon zijn.
Na de genoemde afwijzing ging Rozemond eerst naar de commissie wetenschappelijke integriteit van Universiteit Leiden, waar de hoofdredacteur werkt die de klacht ongegrond verklaarde, en daarna naar het Landelijk Orgaan Wetenschappelijke Integriteit (Lowi). Ook het Lowi gaf Rozemond uiteindelijk geen gelijk. Maar stelde wel dat de redactie van een wetenschappelijk tijdschrift de Nederlandse Gedragscode Wetenschappelijke Integriteit moet volgen en moet checken of de reviews zorgvuldig en eerlijk tot stand zijn gekomen.
Dat vindt Rozemond winst, maar de uitspraak verder teleurstellend.
Obscuur jargon
Cultuurfilosoof Van Baardewijk heeft principiële bezwaren tegen het systeem waarvan peer-review deel uitmaakt. “Wetenschap wordt grotendeels betaald met gemeenschapsgeld en de uitkomsten zouden dus vooral ten goede moeten komen aan onze samenleving. Maar een gemiddeld wetenschappelijk artikel wordt door 10 tot 40 mensen gelezen. Erg weinig dus. Die artikelen zijn vaak niet om door te komen trouwens: slecht geschreven, vol obscuur jargon. Alles draait om Engelstalige niche-tijdschriften. Peer-review is onderdeel van dit verkokerde systeem en houdt het in stand.”
“Wetenschappers moeten internationaal publiceren”, gaat Van Baardewijk verder, “daardoor storten ze zich en masse op internationale, vaak Amerikaanse thema’s die de belangrijke tijdschriften interessant vinden, zoals leiderschap.” Typisch Nederlandse thema’s komen steeds minder aan bod. Het gevolg is dat er veel te weinig relevante kennis terugvloeit naar de samenleving.
“Laat al die wetenschappers die vinden dat ze te weinig geld krijgen maar aan een breed publiek uitleggen waarom het nuttig is wat ze doen.”
Genereus naar collega’s
De Haan blijft voorstander van het peer-reviewsysteem, maar ziet wel mogelijkheden om het te verbeteren: “Een open houding is belangrijk als reviewer, ook naar onderwerpen waar je niks in ziet. Wees genereus naar je collega’s. Soms lees ik oude reviews van mezelf terug en denk ik waarom heb ik daar nou zo’n punt van gemaakt?”
Hij denkt dat het zou helpen als jonge wetenschappers begeleid leren om reviews te schrijven en ze daarvoor ook te belonen. Tijdschriften zouden elk jaar een lijst met reviewers kunnen publiceren, zodat wetenschappers die op hun cv kunnen zetten.
‘Soms is niet duidelijk waarom ze je vragen als reviewer’
Terug naar het huidige systeem waarin de meeste wetenschappers het liefst willen publiceren in de grote Engelstalige tijdschriften. Diezelfde wetenschappers zijn ook de reviewers. Soms krijgen ze wel twintig verzoeken per week binnen om artikelen te beoordelen. Allemaal vrijwilligerswerk. En de valkuil is dat hoe beter je het doet, des te vaker ze je weer vragen.
“Als het totaal niet duidelijk is waarom ze je vragen, is dat heel irritant”, zegt Akkermans, die de meeste verzoeken afhoudt wegens tijdgebrek. Als redacteur denkt hij daarom goed na over wie hij als reviewer vraagt: is dit echt zijn of haar specialisme? Akkermans gebruikt zijn netwerk, referentielijsten en soms Google Scholar om de juiste reviewer te vinden.
Bij zijn tijdschrift plaatsen ze verreweg de meeste artikelen niet. Zestig procent haalt het zelfs niet eens tot de reviewer. Die redactie vindt artikelen ongeschikt als ze methodologisch rammelen of qua onderwerp niet passen. “Het niveau verschilt enorm, zeker uit landen waar de wetenschap in opkomst is.”
Als Akkermans artikelen afwijst, denkt hij altijd goed na over de formulering van zijn afwijzing. Soms tipt hij tijdschriften waar het artikel beter zou passen of hoe de auteur het zou kunnen herschrijven. “Ik steek veel tijd in dat redactiewerk. Gemiddeld zo’n dertig uur per week.”
En soms gebeuren er ook mooie dingen door het reviewproces. Akkermans: “Het is fantastisch als je na maanden ziet dat door revisie het stuk echt is verbeterd. Daar doe ik het voor. Dan is al die tijd die je erin hebt gestoken niet voor niks geweest.”
Gênant
Want uiteindelijk wil men door peer-review de wetenschap verder brengen. Psycholoog Van der Kooij: “Mijn onderzoek zit vaak een beetje tussen verschillende vakgebieden, dat betekent dat je soms van een deelgebied niet alle literatuur kent. Als een reviewer mij dan wijst op iets wat ik heb gemist, ben ik alleen maar blij.”
Ook De Haan zegt dat zijn artikelen vaak beter zijn geworden door het commentaar: “Ik herinner me dat we werden gewezen op een inconsistentie tussen twee delen van ons artikel en een keer dat we belangrijk onderzoek totaal over het hoofd hadden gezien. Of die keer dat we werden gewezen op een artikel dat onze conclusies weerlegde. Dat was lastig voor ons, maar goed voor de wetenschap.”