Ik zie hem nog zo voor me, de charmante Fransman: met één been op de badrand en één been nonchalant in het water bungelend. Zijn vale roodblauwe ballenknijper en overgebronsde tors zag ik toen niet: daar had ik mijn roze bril voor. Met één knipoog begon de belofte van de zomer. Hierna zou niets meer hetzelfde zijn.
Iedereen heeft zo zijn charmante Fransman. Ook de wetenschap kent er meerdere, maar dan in de vorm van baanbrekende bevindingen. Bevindingen die, net als de Fransman, een golf van opwinding veroorzaken, veranderen hoe we naar de dingen om ons heen kijken, en onze (onderzoeks)agenda voor de jaren erna bepalen. Toch betekent dat niet dat die bevindingen per se waar zijn. Ook de wetenschap draagt soms een roze bril.
Verliefd op een bevinding
In 2003 werd de wetenschap verliefd op een baanbrekende bevinding die gepubliceerd werd in het tijdschrift Science. Dragers van een bepaald genotype zouden een tot twee maal groter risico lopen op het ontwikkelen van een depressie na het meemaken van stressvolle gebeurtenissen. De bevinding bevestigde wat al volkswijsheid was: bij de ene persoon loopt de emmer eerder over dan bij de ander. De belofte dat het verschil in kwetsbaarheid voor depressie te herleiden zou zijn tot een combinatie van het meemaken van stress en één enkel gen opende het decennium van het gen-omgevings-onderzoek. Vele vergelijkbare studies volgden en het oorspronkelijke artikel is inmiddels door meer dan 3800 wetenschappelijke artikelen geciteerd. En als een bevinding zo diep in de wetenschappelijke literatuur is geworteld, mag je wel aannemen dat het waar is. Toch? Bij een beetje graafwerk in de literatuur blijkt het bewijs voor deze bevinding echter op zijn minst ambigu. Zelfs meta-analyses, die de resultaten van meerdere studies bij elkaar voegen, spreken elkaar tegen.
Drie tekenen van een roze bril
In een recente publicatie in het wetenschappelijke tijdschrift Psychological Medicine laat ik samen met collega’s van de Rijksuniversiteit Groningen en de Universiteit van Bristol zien dat er in de literatuur over deze bevinding drie tekenen zijn van een roze bril. Via de meest recente meta-analyse vonden we 73 artikelen over het interactie-effect van het genotype en stress op depressie.
We vonden ten eerste dat artikelen met positieve uitkomsten meer citaties kregen dan de studies met negatieve (niet significante) uitkomsten voor het oorspronkelijke interactie-effect. Studies met negatieve uitkomsten werden gemiddeld door 56 artikelen geciteerd, terwijl positieve studies gemiddeld 104 citaties kregen. De wetenschap praat dus het liefst over artikelen die bewijs vinden voor de bevinding, een beetje zoals mijn puber-ik je vooral de oren van de kop zou hebben gepraat over alle goede eigenschappen van mijn Fransoos.
Zijn negatieve eigenschappen zou ik daarentegen liever in een positief daglicht hebben gezet. Een zelfde soort effect vonden we in de literatuur: meer dan de helft van de negatieve studies richtte zich in hun abstract gedeeltelijk of geheel op (aanverwante) resultaten die wél significant waren. Vaak waren dit varianten op de oorspronkelijke hypothese: het effect was er niet bij mannen maar wel bij vrouwen; alleen als er vroeg in de kindertijd sprake was van stress; en alleen als er daarnaast geen bufferende invloed was van sociale steun. Het is niet gek dat onderzoekers voortborduren op een bevinding die zo breed geaccepteerd lijkt. Het probleem is dat die varianten allemaal bijdragen aan de geloofwaardigheid van de oorspronkelijke bevinding, terwijl ze in feite geen echte replicaties zijn. Wanneer abstracts van studies met negatieve uitkomsten zich focussen op positieve bevindingen, ontstaat er een rooskleuriger beeld van het bewijs voor een bevinding dan daadwerkelijk het geval is.
Dat beeld wordt verder roze gekleurd door een derde bevinding: de negatieve studies met een positieve focus in hun abstract ontvingen meer citaties dan de negatieve studies die aangaven geen bewijs voor de oorspronkelijke hypothese te vinden. Doordat die studies minder worden aangehaald, raken negatieve bevindingen verder ondergesneeuwd in de literatuur.
De roze bril komt waarschijnlijk in veel onderzoeksvelden voor en zorgt ervoor dat sommige ideeën maar moeilijk gecorrigeerd worden, zelfs als er tegenbewijs is gevonden. Maar net zoals een roze bril niet helpt bij het zoeken naar de ware (ik moet er niet aan denken dat die Fransman nu in zijn ballenknijper op mijn bank zit te wachten), zo helpt een roze bril niet bij het vinden van de waarheid. Dus hoe warm je het ook krijgt van een nieuwe bevinding: roze bril af, kritische bril op.