Inleiding

De jaarlijkse stijging in wetenschappelijke publicaties en de toenemende uitbouw van initiatieven waarmee wetenschappelijke evidentie beschikbaar gesteld wordt, stellen hulpverleners voor de uitdaging om op de hoogte te blijven van recente evoluties in behandelonderzoek. Op de hoogte blijven is nochtans van belang voor een wetenschappelijk onderbouwde praktijkvoering, waar implementatie van recente inzichten uit behandelonderzoek kan bijdragen tot betere behandeluitkomsten. Daarbij wordt in sterke mate een beroep gedaan op de vaardigheid om wetenschappelijke bevindingen kritisch te evalueren. Dit houdt onder meer in een kritische beoordeling van de kwaliteit, validiteit en toepasbaarheid van de bronnen, wat van hulpverleners heel wat expertise vergt. Verschillende hulpmiddelen en indicatoren kunnen daarbij gebruikt worden om tot een relatief snelle inschatting van de kwaliteit van de evidentie te komen. Om dit proces te faciliteren bieden wij in dit artikel specifieke richtlijnen aan voor de kritische evaluatie van wetenschappelijke evidentie. Dergelijke evaluaties kunnen plaatsvinden op verschillende niveaus, waaronder: (a) type bron; (b) wetenschappelijk tijdschrift; (c) impact van de publicatie binnen de onderzoekslijn; en (d) corpus van het manuscript. Hieronder bieden we een aantal aandachtspunten aan voor de evaluatie van publicaties op elk van deze niveaus.

Evaluatie op basis van het type bron

Afhankelijk van de vraag zal gebruikgemaakt worden van gefilterde of ongefilterde bronnen (voor een overzicht van de relatie tussen type bron en type onderzoeksvraag, zie: APA Presidential Task Force, 2006). Los van de inhoudelijke kwaliteit kunnen deze bronnen hiërarchisch geordend worden op basis van kracht van evidentie, waarbij voor de vraag naar behandeleffectiviteit een belangrijke rol weggelegd is voor klinische trials die gebruikmaken van randomisering en adequate controlecondities (randomized controlled trials, RCT's). Tabel 1 biedt een samenvatting van een dergelijke ordening door de Australian National Health and Medical Research Council (2015), die in grote mate overeenkomt met de ordening van de Oxford Centre for Evidence-Based Medicine Working Group (2011) voor de vraag rond behandeleffectiviteit. Daarbij dient echter steeds rekening gehouden te worden met de kwaliteit van de individuele studies en de gerapporteerde resultaten, op basis waarvan de bronnen al dan niet sterke evidentie kunnen bieden voor een bepaalde interventie (Guyatt et al., 2008; Tolin, McKay, Forman, Klonsky, & Thombs, 2015). Men spreekt over 'zeer sterke evidentie' indien er: (a) in hoogkwalitatieve studies een klinisch betekenisvol effect van de interventie gerapporteerd wordt op de aan te pakken symptomatologie, alsook op (b) functionele uitkomstmaten; (c) deze effecten behouden blijven tot minstens drie maanden na beëindiging van de behandeling; en (d) dergelijke effecten tevens geobserveerd werden buiten een onderzoeksetting. Er is sprake van 'sterke evidentie' indien er aan minstens één van volgende criteria voldaan wordt: (a) matig tot hoogkwalitatieve evidentie dat de interventie leidt tot een klinisch betekenisvol effect op symptomatologie of (b) functionele uitkomstmaten. Indien daarentegen effecten gerapporteerd worden die niet klinisch betekenisvol zijn of afkomstig zijn van studies die niet aan hoge methodologische standaarden voldoen, spreekt men over 'zwakke evidentie'. Hieronder bieden we een overzicht van verschillende indicatoren voor de kwaliteit van een wetenschappelijke publicatie.

Tabel 1 Kracht van evidentie op basis van type bron

Evaluatie op basis van het wetenschappelijke tijdschrift

Een eerste ruwe inschatting van de kwaliteit van de publicatie kan gemaakt worden op niveau van het wetenschappelijke tijdschrift waarin het artikel gepubliceerd werd. Men kan bijvoorbeeld nagaan of het tijdschrift gebruikmaakt van peerreview, de beoordeling van manuscripten door onafhankelijke experts. Daarnaast kan het aanzien van het tijdschrift geëvalueerd worden door de impactfactor op te zoeken en zijn positionering in de lijst van tijdschriften relevant voor het onderzoeksveld. De impactfactor vormt een indicator voor de frequentie waarmee wetenschappelijke werken uit het geselecteerde tijdschrift geciteerd worden. Deze waarde is echter erg relatief. Tijdschriften uit grotere wetenschappelijke disciplines, zoals oncologisch medisch onderzoek, zullen vaker geciteerd worden en beschikken hierdoor mogelijk over een hogere impactfactor dan toptijdschriften uit het veld van de klinische psychologie of psychiatrie. Beoordeling van de kwaliteit van wetenschappelijke tijdschriften op basis van de impactfactor van een tijdschrift dient dus steeds plaats te vinden binnen het eigen onderzoeksveld, waarbij men gebruikmaakt van een rangschikking van impactfactoren. Deze informatie is — mits men er een abonnement op heeft — beschikbaar via de Journal Citation Reports op de online verzameling citatie-indices Web of Science (WoS). Echter, er is heel wat kritiek op het gebruik van de impactfactor als maat voor kwaliteit.

Evaluatie op basis van de impact van het artikel binnen het onderzoeksveld

Vervolgens kan de kwaliteit van een artikel ingeschat worden op basis van de impact van het artikel op de onderzoekslijn. Hierbij kan gekeken worden naar het aantal citaties dat een bepaald artikel heeft. Deze informatie is terug te vinden via verschillende kanalen, waaronder WoS, GoogleScholar en ResearchGate. Deze laatste twee zijn interessant voor clinici, omdat ze citatierapporten van artikelen vrij online beschikbaar stellen. Daarbij geldt dat — rekening houdend met de recentheid van een publicatie — een hoger aantal citaties door collega's in het werkveld gezien kan worden als indicator voor impact en erkenning van het artikel binnen het veld. Citaties kunnen echter tevens wijzen op kritiek op de studie. Een indicatie hiervan kan worden verkregen via ResearchGate, waarop men gratis full-text artikelen kan raadplegen of opvragen, inclusief de context waarin het artikel geciteerd werd.

Evaluatie op basis van het corpus van het manuscript

Het corpus van het manuscript laat de meest verfijnde evaluatie van een artikel toe. Daarbij kunnen specifieke aanbevelingen gemaakt worden voor de verschillende luiken van de publicatie, achtereenvolgens te onderscheiden: de inleiding, de methodesectie, de resultatensectie en de discussiesectie. Dit dient zich tevens te weerspiegelen in het abstract van het artikel. Bovendien is het belangrijk om na te gaan of de auteurs van de publicatie strijdige belangen rapporteren (conflict of interest). Tabel 2 biedt een overzicht van aandachtspunten bij de evaluatie van de kwaliteit van ongefilterde bronnen, zoals RCT's, aangezien deze een centrale positie innemen in behandelonderzoek.

Tabel 2 Evaluatie van wetenschappelijke artikelen

Inleiding van het artikel

De inleiding van het artikel dient heldere hypothesen te presenteren, die voldoende specifiek en logisch onderbouwd zijn. Deze zijn meestal terug te vinden aan het einde van de inleiding. Daarbovenop zijn hypothesen van interventiestudies idealiter vooraf geregistreerd. Pre-registratie van een studie houdt in dat de onderzoeker, vooraleer over te gaan tot dataverzameling, de hypothesen, de onderzoeksopzet, de uitkomstmaten en de analysestrategie vastlegt, en die deelt met de wetenschappelijke gemeenschap (bijvoorbeeld via ClinicalTrials.Gov of Open Science Framework). Wanneer er sprake is van pre-registratie, wordt dit standaard vermeld onder aan het abstract van een publicatie, aan het einde van de inleiding of aan het begin van de methodesectie, al dan niet in de vorm van een referentiecode.

Methodesectie

Voor de methodesectie van een artikel zijn er eveneens verschillende aandachtspunten die het evalueren van de kwaliteit van een interventiestudie — en de relevantie voor de onderzoeksvraag — kunnen faciliteren. Zo dient deze sectie een duidelijke beschrijving te bevatten van de steekproef, de interventie(s), de vergelijkingscondities, de uitkomstmaten en het verloop van de studie. Deze dienen dusdanig gedetailleerd te zijn dat een onafhankelijke onderzoeker het proces zou moeten kunnen repliceren op basis van de beschrijvingen in het artikel. De steekproefgrootte en de karakteristieken ervan dienen afgestemd te zijn op de onderzoeksvraag. Zo wordt in het geval van klinische vraagstellingen idealiter gebruikgemaakt van een passende klinische populatie. Daarnaast dient nagegaan te worden of de steekproefkarakteristieken overeenkomen met die van de individuele patiënt.

In het geval van behandelonderzoek is er bij voorkeur sprake van verschillende vergelijkingscondities die toelaten om te controleren voor 'placebo'-effecten, alsook voor effecten van tijd (bijvoorbeeld spontaan herstel). Daarnaast dient beschreven te zijn of participanten gerandomiseerd werden over deze vergelijkingscondities, en hoe deze randomisatie en eventuele blinding van participanten plaatsvond. Bij randomisatie worden participanten random toegewezen aan de verschillende interventiecondities om op deze wijze eventuele variatie tussen de vergelijkingscondities voorafgaand aan de experimentele interventie uit te filteren. Blinding beoogt te voorkomen dat men op de hoogte is van de experimentele conditie waaraan participanten zijn toegewezen. Blinding kan plaatsvinden op het niveau van de participanten, van de behandelaars en van de onderzoekers. Idealiter is er sprake van een dubbelblinde procedure, waarbij zowel de participanten als de overige betrokkenen bij het onderzoek niet op de hoogte zijn van de interventieconditie waarnaar een participant gerandomiseerd werd. Dit laat toe om de invloed van (onbewuste) vertekeningen op de resultaten langs zowel de zijde van de participanten als van de onderzoekers te minimaliseren. Afhankelijk van het type behandelonderzoek en de gebruikte vergelijkingscondities is een dubbelblinde procedure echter niet altijd mogelijk.

Wat betreft klinische interventies dient tevens vermeld te zijn hoe de behandelaars getraind werden en welke maatregelen genomen werden om te garanderen dat zij zich hielden aan het behandelprotocol. Andere relevante vragen zijn hoe tijdens de hele studie omgegaan werd met uitval (bijvoorbeeld door intention-to-treat-analyses of door na te gaan of er rekening werd gehouden met participanten die niet meer kwamen opdagen of die de interventie niet voltooiden). Tevens moet men nagaan wat de psychometrische kwaliteiten zijn van de uitkomstmaten. In geval de studie gebruikmaakt van pre-registratie, kan ook nagegaan worden of de condities en uitkomstmaten die gerapporteerd worden in de publicatie overeenstemmen met die in de pre-registratie.

Resultatensectie en discussiesectie

Basiskennis rond statistische proeven en principes is van belang bij zowel het beoordelen van de kwaliteit van de resultatensectie als de bijbehorende interpretaties in de discussiesectie. In dit kader bieden de opleidingen klinische psychologie, orthopedagogie en geneeskunde een aantal statistiekvakken aan die de hulpverlener kunnen bijstaan bij het herkennen van veelvoorkomende statistische vraagstellingen, het identificeren van de bijhorende statistische proeven en het interpreteren van de resultaten. Om de statistische besluitvorming tijdens het onderzoeksproces te kunnen volgen, is het belangrijk dat descriptieve waarden (zoals gemiddelden en standaarddeviaties) voor de verschillende condities weergegeven zijn. Daarnaast dienen ook de grootte van effecten (effect size) en de stabiliteit van de bevindingen gerapporteerd te worden (bijvoorbeeld betrouwbaarheidsintervallen). Een veelgebruikte maat voor effectgrootte is Cohen's d (Cohen, 1988), waarbij een score van 0,20-0,49 overeenstemt met een klein effect, 0,50-0,79 met een medium effect en er vanaf 0,80 gesproken wordt van een groot effect.

Andere belangrijke vragen in deze context zijn of er gecontroleerd werd voor meervoudig toetsen en of de studie voldoende power had om de effecten in kaart te brengen. Zo wordt de kans op het vinden van statistisch significante bevindingen groter naarmate er meer toetsen uitgevoerd worden. Hiervoor kan gecontroleerd worden door gebruik te maken van aangepaste en conservatievere normen voor statistische significantie. Wat betreft power, oftewel de kans om een bestaand effect te observeren als zijnde statistisch significant, dient men zich af te vragen of gebruikgemaakt werd van een voldoende grote steekproef om het verwachte effect te observeren. Idealiter wordt hiertoe een poweranalyse in de methodesectie of eventuele pre-registratie gerapporteerd. Daarnaast is het goed om te weten dat de kans op statistisch significante bevindingen tevens groter wordt naarmate er wordt gebruikgemaakt van zeer grote steekproeven. Deze zijn echter niet noodzakelijkerwijs klinisch betekenisvol. In geval van een klinische vraagstelling wordt idealiter tevens gekeken naar de klinische waarde van een bevinding. In de psychiatrische en klinisch-psychologische literatuur worden hiertoe verschillende maten naar voor geschoven, waaronder het number needed to treat. Deze waarde geeft het aantal patiënten weer die met een interventie behandeld dienen te worden vooraleer die behandeling een positief effect oplevert, zoals het uitblijven van een ongunstige uitkomst. In geval van pre-registratie kan opnieuw nagegaan worden of de gepresenteerde analyses in het manuscript overeenstemmen met de pre-registratie.

Bij kritische lezing van de discussiesectie ten slotte is het van belang om na te gaan of de interpretaties en conclusies getrokken kunnen worden op basis van het gebruikte onderzoeksdesign (zo zijn uitspraken rond causaliteit enkel mogelijk in geval van experimentele designs), en of ze overeenstemmen met de gerapporteerde resultaten. Hierbij dient opnieuw de vraag gesteld te worden naar de toepasbaarheid voor de individuele patiënt.

Bijkomende hulpbronnen bij kritische beoordeling van publicaties

Kritische evaluatie van wetenschappelijke artikelen is een vaardigheid die initieel heel wat oefening en investering vergt van de clinicus. Echter, na voldoende oefening maakt deze vaardigheid snelle en efficiënte evaluatie van wetenschappelijke bevindingen mogelijk. Een aantal hulpmiddelen kunnen het verder ontwikkelen van deze vaardigheid faciliteren (zie tabel 3).

Tabel 3 Hulpmiddelen

Conclusie

De vraag naar evidence-based practice confronteert hulpverleners met de behoefte aan specifieke kennis en vaardigheden gericht op het kritisch beoordelen van wetenschappelijke evidentie. Dit artikel beoogde concrete richtlijnen te bieden die toelaten een eerste inschatting te maken van de kracht, alsook de kwaliteit van de evidentie, en wel op niveau van het type bron, van het tijdschrift en van het specifieke artikel. Daarbij focusten we ons op de evaluatie van ongefilterde bronnen, zoals RCT's, aangezien deze in behandelonderzoek een centrale positie innemen. Daarnaast stelden we verschillende hulpmiddelen voor die hulpverleners kunnen gebruiken bij de evaluatie van andere bronnen.

© 2009-2024 Uitgeverij Boom Amsterdam

De artikelen uit de (online)tijdschriften van Uitgeverij Boom zijn auteursrechtelijk beschermd. U kunt er natuurlijk uit citeren (voorzien van een bronvermelding) maar voor reproductie in welke vorm dan ook moet toestemming aan de uitgever worden gevraagd:

Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch door fotokopieën, opnamen of enig andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever. Voor zover het maken van kopieën uit deze uitgave is toegestaan op grond van artikelen 16h t/m 16m Auteurswet 1912 jo. Besluit van 27 november 2002, Stb 575, dient men de daarvoor wettelijk verschuldigde vergoeding te voldoen aan de Stichting Reprorecht te Hoofddorp (postbus 3060, 2130 KB, www.reprorecht.nl) of contact op te nemen met de uitgever voor het treffen van een rechtstreekse regeling in de zin van art. 16l, vijfde lid, Auteurswet 1912. Voor het overnemen van gedeelte(n) uit deze uitgave in bloemlezingen, readers en andere compilatiewerken (artikel 16, Auteurswet 1912) kan men zich wenden tot de Stichting PRO (Stichting Publicatie- en Reproductierechten, postbus 3060, 2130 KB Hoofddorp, www.cedar.nl/pro).

No part of this book may be reproduced in any way whatsoever without the written permission of the publisher.