De zilverruggen in de wetenschap moeten ook hun onderzoek repliceren

Author: Frans van Heest
Source: ScienceGuide
Datum: January 17th, 2018
Picture: Lex Bouter


De zilverruggen in de wetenschap moeten ook hun onderzoek repliceren

Om tot herhaalonderzoek te komen is open science van cruciaal belang. Zeker bij oudere hoogleraren valt hier nog een wereld te winnen, zo werd duidelijk bij een KNAW-bijeenkomst
over replicatiestudies.

Naar aanleiding van het KNAW-advies over replicatiestudies in de wetenschap dat deze week verscheen belegde de KNAW afgelopen maandag een verdiepende bijeenkomst. Onder andere Stan Gielen, voorzitter van NWO en Han van Krieken, rector van de Radboud Universiteit waren aanwezig en reageerden namens NWO en de VSNU op dit advies. Verder kwamen Lex Bouter en Andre Knotternerus aan het woord. De bijeenkomst maakte duidelijk dat er onder hoogleraren nog een wereld te winnen valt als het gaat om het delen van data, open science en het herhalen van onderzoek.Johan Mackenbach, hoogleraar publieke geneeskunde aan de Erasmus Universiteit en voorzitter van de commissie, benadrukte het belang van herhaalonderzoek. “Het is in de wetenschap erg belangrijk dat onderzoeksresultaten reproduceerbaar zijn. Een waarneming is pas waar als die bij de tweede of derde keer ook waar blijkt te zijn. Onderzoek moet op een meer rigoureuze en strikte manier worden uitgevoerd. In het cumulatieve proces van inzicht en feiten is reproduceerbaarheid een heel belangrijk fundament. Dat soort onderzoek is niet erg populair. Het is niet sexy en het is vaak niet eenvoudig om er financiering voor te krijgen.”Volgens de voorzitter van de commissie draagt het huidige wetenschapsklimaat ook niet echt bij aan het belang van replicatiestudies. “De huidige jachtige cultuur, waarbij onderzoekers worden gedreven om voortdurend met spectaculaire resultaten te komen die leiden tot high impact publicaties is een risico en dat kan leiden tot niet-reproduceerbaar onderzoek. De instellingen, de onderzoeksfinanciers, de tijdschriften, maar ook de onderzoekers zelf zouden zich vooral moeten richten op goed en kwalitatief onderzoek en op het produceren van reproduceerbare onderzoeksresultaten. Daar zouden onderzoekers ook voor moeten worden beloond.”

Piet Borst: “Ik mis het woord: straf”

Als eerste reageerde Piet Borst, emeritus-hoogleraar biomedische wetenschappen en oud-voorzitter van het Nederlandse Kankerinstituut op de presentatie van Mackenbach. “Ik miste in jullie aanbeveling het woord straf.” Volgens Borst is er een duidelijke oorzaak van ‘sloppy science’: “Het is natuurlijk toch zo dat het slecht opleiden en begeleiden van mensen het grootste probleem is in ons veld, de biomedische wetenschap. Waar aangemoedigd wordt om dingen overhaast te publiceren. Het is de wetenschappelijke top die onvoldoende verantwoordelijkheid neemt voor een rigoureus ander researchklimaat.”

Naast het herkennen van dit probleem stelt Borst ook vragen over een volgende stap. “Hoe kun je een soort strafprincipe inbouwen voor mensen die geregeld onzin publiceren. Die hun promovendi niet fatsoenlijk begeleiden en hun postdocs op een mission impossible sturen? Waardoor deze onderzoekers gedwongen worden om over proeven te publiceren die niet kunnen.” Borst ziet een relatie tussen slechte begeleiding en slechte publicaties. “Hoe kunnen we toch iets meer consequenties verbinden aan het feit dat sommige instituten systematisch onvoldoende begeleiding geven aan hun jonge medewerkers?”

Met pek en veren de laan uit

Mackenbach was kort in zijn antwoord. “We hebben ons advies voor al in positieve zin gepubliceerd. Overigens hebben wij geen informatie gekregen waaruit zou blijken dat sommige instellingen dit systematisch meer doen dan anderen.” De voorzitter van NWO, Stan Gielen wilde hier ook kort op ingaan. “Als er mensen zijn die hun werk niet goed doen, zoals Piet Borst zegt: met pek en veren de laan uit en nooit meer een subsidie van NWO wat mij betreft.”

Een andere reflectie op het rapport kwam van André Knottnerus, hoogleraar geneeskunde aan de Universiteit Maastricht en oud-voorzitter van de WRR. Hij wees op het belang van negatieve onderzoeksresultaten. “Wij, en uitgevers, moeten ook openstaan om studies met negatieve uitkomsten te publiceren. Er is onder wetenschappers een publicatiebias waarbij we altijd de neiging hebben om positieve studies wel te repliceren en negatieve studies niet te repliceren.”

Repliceren is ook leuk en leerzaam

Han van Krieken, rector van de Radboud Universiteit die namens de Nederlandse universiteiten reageerde op het advies ziet dit advies als kwaliteitsimpuls. “Het is in de kern een kwaliteitsissue. Ik denk dat het wetenschappelijke bedrijf steeds beter aan het worden is en meer mogelijkheden krijgt.  Dat stelt ook steeds hogere eisen, maar in de kern hebben we het over de kwaliteit van het onderzoek.”

Uit eigen ervaringen als hoogleraar in de geneeskunde weet Van Krieken ook dat replicatieonderzoek juist van groot belang is voor de wetenschap. “Als je echt wilt weten hoe het zit en je begint aan een nieuwe studie dan wil je even testen of dat waar je op voortborduurt wel klopt. Het leuke is ook dat als je iets herhaalt en er komt niet uit wat je verwachtte, je vaak iets interessants te pakken hebt. Het doen van herhaalonderzoek is iets wat de wetenschap echt enorm verder helpt. Dit onderzoek is wel vaak onderzoek dat betaald wordt uit de eerste geldstroom. Dat wil ik er ook wel even bij zeggen namens de universiteiten.”

NWO: primaire taak voor universiteiten

Stan Gielen vindt het primair geen verantwoordelijkheid van NWO om aandacht te besteden aan scholing van medewerkers in deskundig replicatieonderzoek. “Het rapport laat zien dat we onze onderzoekers beter moeten opvoeden op dit gebied. Ik vind dat eigenlijk primair geen taak voor NWO, maar meer voor universiteiten, omdat daar onze onderzoekers zitten.”

De voorzitter van NWO benadrukte dat zijn organisatie al veel doet om replicatiestudies mogelijk te maken. “Replicatieonderzoek is natuurlijk heel erg belangrijk. Er gebeuren al veel replicatiestudies. Bij NWO loopt er momenteel ook al een pilot van vier rondes met replicatiestudies voor een bedrag van €3 miljoen. Wij lopen daar internationaal in voorop. Wij zullen dit na drie rondes evalueren voor we een besluit nemen hoe nu verder.”

Lees hier meer over de replicatiestudies van NWO.

Gielen verzekerde dan ook dat als je een aanvraag indient die betrekking heeft op replicatiestudies dit zeker een goede kans maakt op een subsidie van NWO. “In veel gevallen is een replicatiestudie van fundamenteel belang. Als je bij NWO een aanvraag indient met een wetenschappelijke vraagstelling die replicatie vereist denk ik ook dat je daar geld voor zult krijgen. Replicatieonderzoek en innovatieve resultaten staan zeker niet op gespannen voet met elkaar.”

Volgens de onderzoeksfinancier moet er daarom ook een beloningsstructuur komen waarbij replicatie meer wordt gewaardeerd. “Wij moeten wetenschappers belonen, niet alleen voor publicaties en citaties, maar ook voor citaties naar onderzoeksbestanden. We zijn in Europa met de NWO’s uit andere landen hard aan het nadenken over hoe we dat kunnen doen.”

High impact blijft de route naar vaste aanstelling

Lex Bouter, die meeschreef aan het advies en hoogleraar methodologie en integriteit is aan de Vrije Universiteit greep bij zijn analyse van het rapport terug op de wetenschapsfilosoof Karl Popper. “Replicatieonderzoek is het hart van de wetenschap. Popper die gaat zelfs zover dat als het niet reproduceerbaar is het helemaal geen wetenschap is.”

Bouter ging verder in op de nijging van de wetenschap en het wetenschapssysteem om alleen maar positieve resultaten te belonen. “Je ziet in bijna alle wetenschapsgebieden dat negatieve resultaten bijna nooit gepubliceerd worden. Positieve resultaten leveren prachtige high impact publicaties op, veel citaties en ook veel aandacht in de media als je geluk hebt. En dat helpt om de volgende subsidie binnen te halen en om ooit misschien een vaste aanstelling te krijgen.”

Om deze bedenkelijke onderzoekspraktijk aan te pakken sluit Bouter zich aan bij de eerdergenoemde aanbevelingen van Stan Gielen. “We moeten ook het waarderingsmechanisme in de wetenschap aanpakken. Je moet mensen niet alleen belonen op citaties, maar ook omdat ze heel goed opschrijven wat ze gedaan hebben en omdat ze andere helpen bij het reproduceren van onderzoek. Misschien moet in ieder proefschrift ook een replicatiehoofdstuk worden opgenomen. Ik vind dat geen slecht idee.”

Maar Bouter zag ook een belangrijke taak weggelegd voor Stan Gielen en zijn NWO om replicatie meer te gaan waarderen. “Onderzoeksfinanciers hebben helemaal een grote rol om verandering teweeg te brengen. Die kunnen de wereld veranderen omdat iedereen hun geld wil. Die hoeven ook helemaal niet aardig gevonden te worden. Die kunnen gewoon zeggen: ‘transparantie, daar bedoelen we dit mee’. Dat moet een vast onderdeel van de overeenkomst voor onderzoeksfinanciering worden. Dat is gewoon af te dwingen. Dat hoef je niet leuk te vinden, maar je doet het wel omdat je die subsidie wilt hebben.”

De zilverrug deelt zijn data niet

Vanuit de zaal werd er gewezen op de weerstand die het delen van onderzoekdata kan oproepen, met name bij oudere hoogleraren. Kai Jonas, universitair hoofddocent aan de Universiteit Maastricht wees op deze groep die veel gezag en invloed heeft. “Wat mij hier opvalt is dat er eigenlijk een doelgroep mist. Dat is de doelgroep die ik ook wel de zilverruggorilla’s noem, de hoogleraren.”

“De jonge onderzoekers die hoef je niet te overtuigen van het belang van repliceren van onderzoek. Maar ik heb tientallen gesprekken gevoerd met 55 plussers die zeggen: ‘Weet je Kai ik heb nog tien jaar te gaan’. Die proberen het nog tot hun 68e te redden en zeggen: ‘ik hoop dat tot die tijd niemand van die jonge honden bij mij aanklopt en zegt: ‘hier gaat iets mis.’ ‘Hoe gaan we deze hoogleraren beter motiveren en opleiden om ook aan replicaonderzoek mee te doen?”

De rector van de Radboud Universiteit, Han van Krieken herkende zich in dit verhaal uit Maastricht. “Het is nog wel een graadje erger. Waar je de tegenstand binnen de universiteit heel erg voelt is inderdaad bij de introductie van open science. Dus we moeten het beschikbaar maken van onderzoeksdata echt verplicht maken, zodat het herhaald kan worden.”

Van Krieken stelde dat bij de gevestigde orde aan zijn universiteit nog een wereld te winnen valt. “Je merkt dat het bij de mensen die al jaren op een bepaalde manier gewerkt hebben open science veel weerstand opwekt, daar moeten wij als universiteit stevig tegen in gaan. Op dit moment is dat ook echt een lastig probleem, dat moeten we tackelen. Het helpt wel als we met z’n allen zeggen: ‘we gaan naar open science en naar open access of je het nu leuk vindt of niet je zult dat moeten gaan doen.”

Tenslotte wijst ook Stan Gielen op het bijscholen van oudere onderzoekers. “Als mensen iets niet goed doen dan moet je ze bijscholen, continu leren dat geldt ook in de samenleving, maar dat geldt ook voor de oudere generatie wetenschappers.”

Journalisten opvoeden

Tot slot kwam ook de buitenwereld aan de orde. Als blijkt dat replicatiestudies eerdere bevindingen onderuithalen, hoe ga je er dan als wetenschapper mee om? De voorzitter van de commissie wees daarbij op de rol van de journalistiek. “Het is een aantal keer gebeurd dat er onrust ontstond op grond van replicatieonderzoek. Replicatieonderzoek waar wij als wetenschappers enthousiast van worden, omdat het ons verder brengt. Bij het algemene publiek komen er dan vragen, zeker als daar journalisten tussen zitten die het niet helemaal begrijpen, dan gaat het vaak gillend mis.”

“Maar er is geen alternatief. We zitten in een glazen huis. Het is niet makkelijk maar we moeten proberen uit te leggen dat het helemaal niet gek is dat wanneer je iets herhaalt er niet altijd helemaal hetzelfde uitkomt. Om te beginnen moeten we misschien ook wel journalisten een beetje opvoeden en een beetje helpen. Er zijn ook wetenschapsjournalisten in Nederland die dat fantastisch opschrijven en dat wel begrijpen.”

De president van de KNAW, José van Dijck sloot zich hierbij aan. “We moeten replicatieonderzoek niet voortdurend in verband brengen met fraude. Want dat zag ik vanochtend weer als kop in de krant en dan zinkt mij de moed weer in de schoenen. Dat wordt dan het frame, maar dit onderwerp gaat om de kwaliteit van het onderzoek, dat is wat journalisten in hun achterhoofd moeten houden.”