Inhoud
Werkt cognitieve bias modificatie nu wel of niet als aanvulling bij CGT?
Samenvatting
In het jubileumnummer van Gedragstherapie stelde van den Hout dat cognitieve bias modificatie (CBM) theoretisch mooi in elkaar zit maar in de praktijk niet goed werkt, wijzend op meta-analyses van Cristea en collega's op het gebied van angst en verslaving. Beide meta-analyses zijn echter bekritiseerd. Wat betreft angst blijkt CBM een klinisch relevant effect te hebben wanneer de cognitieve bias succesvol beïnvloed wordt, en niet wanneer dit niet gebeurt, waarbij klinische studies veelal in de eerste categorie vallen en online studies in de tweede. Bij verslaving zijn effecten bij studenten die niet gemotiveerd zijn om hun verslavingsgedrag te beïnvloeden klein en kortdurend, maar zijn er consistente positieve effecten bij gemotiveerde patiënten die CBM krijgen als toevoeging aan cognitieve gedragstherapie. De conclusie dat CBM geen toegevoegde waarde heeft bij CBT klopt dus niet.
Trefwoorden: cognitieve bias modificatie, cognitieve gedragstherapie, verslaving, angst
Inleiding
In het mooie jubileumnummer van Gedragstherapie staan veel lezenswaardige stukken, maar het risico bestaat dat de lezer in verwarring achterblijft over de vraag of cognitieve bias modificatie (CBM) nu wel of niet een zinvolle toevoeging is aan cognitieve gedragstherapie (CGT). De reden voor deze verwarring is dat mijn zeer gewaardeerde collega Marcel van den Hout in zijn mooie bijdrage Vijftig! (van den Hout, 2016) CBM aanhaalt als voorbeeld van waar de data de mooie theorie in de steek zouden laten: 'Geen nieuwe psychologische behandeling beschikte over een solider theoretisch en empirisch fundament, en vanaf 2000 is het onderzoek naar CBM voortvarend ter hand genomen. Meta-analysen van CBM stemmen tot weinig vreugde of optimisme' (van den Hout, 2016, p. 288). Het kan zijn dat deze opmerking vooral retorisch bedoeld is, en wel om het contrast aan te geven met EMDR, dat geen solide theoretische basis heeft maar wél kan wijzen op klinisch relevante resultaten. Maar het staat er toch maar. Van den Hout haalt verder een meta-analyse van Cristea en collega's (2015) aan: 'CBM may have small effects on mental health problems, but it is also very well possible that there are no significant clinically relevant effects. Research in this field is hampered by small and low-quality trials, and by risk of publication bias. Many positive outcomes are driven by extreme outliers.' Deze korte samenvatting van de stand van zaken contrasteert sterk met het oordeel van enkele andere, eveneens zeer gewaardeerde collega's. Peter de Jong bijvoorbeeld ziet juist veel positieve ontwikkelingen en concludeert dat het een safe bet is om te voorspellen dat CBM ten tijde van het volgende jubileumnummer van Gedragstherapie een integraal onderdeel zal zijn van de CGT (de Jong, 2016). Ook in het stuk van Schippers en van den Brink over verslaving wordt CBM een belangrijke toevoeging genoemd aan CGT (Schippers & van den Brink, 2016). Het is dus een belangrijke vraag welke mogelijkheden er zijn om CBM toe te passen in de praktijk van de CGT. Ik zal de stand van zaken kort bespreken voor de twee belangrijkste toepassingsgebieden van CBM: angst en verslaving (Wiers, 2013).
CBM bij angst
Van den Hout citeert uit een meta-analyse van Cristea, Kok en Cuijpers (2015). Hoewel er om systematische reviews en meta-analysen vaak een aura van onafhankelijke waarheid hangt, kunnen ze misleidend zijn, zoals een toonaangevende methodoloog recentelijk heeft beargumenteerd (Ioannidis, 2016). Bij het opstellen van een meta-analyse worden veel subjectieve beslissingen genomen. Zo is het goed mogelijk dat verschillende meta-analysen over hetzelfde onderwerp tot heel verschillende conclusies komen. Dit is ook hier het geval: ongeveer gelijktijdig met de meta-analyse van Cristea, Kok en Cuijpers over CBM bij angst werd er nog een meta-analyse over hetzelfde onderwerp gepubliceerd, waarin alleen studies in klinische populaties werden geïncludeerd (Linetzky, Pergamin-Hight, Pine, & Bar-Haim, 2015). In die laatste meta-analyse werd gevonden dat CBM een middelgroot effect heeft op angst, zoals door de clinici gescoord (zie ook Price et al., 2016). Belangrijk was verder de bevinding dat het effect gedragen werd door effecten in de kliniek, terwijl er met alleen onlinetraining niets gevonden werd. Daarentegen gooit de meta-analyse van Cristea en collega's alles op een hoop: diverse vormen van psychopathologie, diverse biases, klinische en niet-klinische studies, studies via internet en studies in een gecontroleerde omgeving. Colin MacLeod, de grondlegger van CBM, heeft aangegeven dat het belangrijkste probleem van de meta-analyse van Cristea en collega's is dat de auteurs geen onderscheid maken tussen studies waarin de bias succesvol is veranderd en studies waarin dit niet is gelukt (Macleod & Clarke, 2015). Dit is de crux van CBM en de reden waarom zowel van den Hout als de Jong CBM juist als schoolvoorbeeld van een theoriegestuurde interventie opvoeren: CBM heeft tot doel een cognitief proces waarvan verondersteld wordt dat het een rol speelt bij de psychopathologie, namelijk iemands bias in informatieverwerking, direct te manipuleren. Wanneer dit lukt, zou er dus een effect op psychopathologie-gerelateerde processen waarneembaar moeten zijn (bijvoorbeeld een effect op stressreacties) en kan de hypothese getoetst worden dat de bias een rol speelt bij de psychopathologie. Wanneer dit echter niet lukt, valt geen effect op psychopathologische symptomen te verwachten. En dat is precies wat er gevonden is. Wanneer men de studies uit de meta-analyse van Cristea en collega's verdeelt in studies waarin de bias wel succesvol is beïnvloed en studies waarin dat niet het geval was, dan is het beeld duidelijk: in de studies waarin de bias niet beïnvloed is door CBM is er geen enkel effect op psychopathologie-gerelateerde symptomen (g = -0,01), terwijl de studies waarin de bias wel succesvol beïnvloed is een middelgroot tot groot effect op deze symptomen laten zien (g = 0,60) (MacLeod & Grafton, 2016). Verder wijst zowel deze her-analyse als de meta-analyse van Linetzky en collega's (2015) erop dat de wijze van aanbieden belangrijk is: veel van de negatieve studies (waarin de bias niet veranderd werd en dus ook de psychopathologische symptomen niet) waren internet-trials, terwijl de meeste positieve studies in een laboratorium- of klinische context uitgevoerd werden. Kortom, de conclusie dat CBM niet of nauwelijks effect heeft op angstgerelateerde symptomen geldt alleen voor studies die er niet in geslaagd zijn om de bias te veranderen (geheel in lijn met de theorie), maar geldt niet voor studies die daar wel in geslaagd zijn: in die laatste is een middelgroot tot groot effect te zien op deze symptomen, dat ook klinisch relevant is (Linetzky et al., 2015; MacLeod & Grafton, 2016; Price et al., 2016).
CBM bij verslaving
Recentelijk hebben Cristea, Kok en Cuijpers (2016) een nieuwe meta-analyse gepubliceerd, waarin ze hun pijlen richten op verslaving. Hierin spelen vergelijkbare problemen een rol (zie voor details ook de beide commentaren bij het stuk online1). Opnieuw is het belangrijkste probleem dat appels met peren worden vergeleken. Twee totaal verschillende soorten studies worden op één hoop gegooid: enerzijds studies waarin bij studenten de causale status van een onderliggend proces onderzocht werd, en anderzijds klinische studies waarin een onderliggend proces beïnvloed werd met een therapeutische bedoeling. In het eerste type studie wordt bijvoorbeeld bij studenten een proces beïnvloed, zoals een aandachtsbias of een toenaderingsbias voor een middel, waarna een effect op gedrag wordt onderzocht, bijvoorbeeld of de groep die naar het middel is toegetraind méér drinkt dan de groep die van het middel is weggetraind. Dit blijkt het geval te zijn, zowel voor aandachtsbias (Field & Eastwood, 2005) als voor toenaderingsbias (Wiers, Rinck, Kordts, Houben, & Strack, 2010), maar het gaat daarbij uiteraard om kleine, tijdelijke effecten, bij mensen die hun drankgebruik helemaal niet willen veranderen. Het zal ook duidelijk zijn dat het bij dergelijk onderzoek alleen om het mechanisme gaat: niemand zal een klinische trial opzetten om mensen méér te laten drinken, terwijl dit wel interessant zou zijn om de causale rol van het proces te onderzoeken. Vandaar ook dat ethische commissies dit soort studies goedkeuren: het gaat niet om clinical trials, maar om kleine experimentele studies naar mechanismen in de psychopathologie.
Een andere meta-analyse die zich concentreerde op dergelijke niet-klinische studies vond kleine maar significante effecten, die kleiner werden over de tijd (Allom, Mullan, & Hagger, 2015). Daaruit kunnen we concluderen dat CBM voor middelengebruik bij mensen die hun gedrag niet willen veranderen vooral interessant is om onderliggende mechanismen verder te onderzoeken. Ze gaan wellicht gepaard met kleine duwtjes in de goede richting, een soort nudging, maar niemand verwacht dat ze op zichzelf gedragsverandering bewerkstelligen bij mensen die dat niet willen (hetzelfde geldt overigens voor CGT). Kortom, de appelsap is wat dun en waterig, maar niet oninteressant.
Een heel ander verhaal is CBM als toevoeging aan een CGT-behandeling. Bij alcohol worden wat dit betreft consequent klinisch relevante positieve resultaten gevonden, bijvoorbeeld in een kleine studie met aandachtstraining als toevoeging aan CGT (Schoenmakers et al., 2010) en in een aantal grote studies met actietendenstraining naast CGT voor alcoholverslaving (Eberl et al., 2013; Wiers, Eberl, Rinck, Becker, & Lindenmeyer, 2011). Inmiddels is al bij honderden mensen gevonden dat de toevoeging van CBM aan CGT voor alcoholverslaving de langetermijnuitkomsten met ongeveer 10% verbetert. Ook krijgen we inmiddels een beter idee over de onderliggende mechanismen: de training werkt vooral bij mensen die een sterke automatische toenaderingsneiging hebben voor alcohol (moderatie) en het klinische effect (ongeveer 10% minder terugval een jaar later) wordt gemedieerd door de verandering in die automatische toenaderingsneiging (Eberl et al., 2013). Op neuraal niveau beïnvloedt de training de snelle reactie op alcohol van hersengebieden die belangrijk zijn bij emotie en motivatie, zoals de amygdala en de nucleus accumbens (C. E. Wiers et al., 2015). De klinische winst van ongeveer 10% een jaar na behandeling is niet groot in termen van effect size (NNT = 10), maar daarbij moet opgemerkt worden dat CGT voor verslaving redelijk effectief is (iets minder dan de helft van de patiënten is na een jaar nog steeds in staat het middelengebruik onder controle te houden) en dat het moeilijk is om daarbovenop een effect te vinden, wat bijvoorbeeld bij medicatiestudies vaak niet het geval is (Anton et al., 2006; Beraha et al., 2016). Recent heeft een Australische onderzoeksgroep laten zien dat wanneer CBM tijdens de detox wordt gegeven, het ook een positief effect heeft op alcoholverslaving (Manning et al., 2016). Kortom, alle studies waarin CBM wordt toegevoegd aan een klinische behandeling voor alcoholisme laten een positief effect zien. We hebben dus geen ingewikkelde statistiek nodig om te concluderen dat er iets in zit: de perensap is prima. Inmiddels is in Duitsland CBM dan ook al opgenomen in de richtlijnen als veelbelovende toevoeging aan CGT.
De situatie bij roken lijkt op het eerste gezicht minder positief, maar een recente studie liet zien dat wanneer zware rokers geselecteerd worden die daadwerkelijk een stoppoging doen, er wel degelijk een positief effect is van CBM op de kans dat de stoppoging slaagt (Elfeddali, de Vries, Bolman, Pronk, & Wiers, 2016). Motivatie lijkt dus cruciaal bij de behandeling van verslaving (met en zonder CBM). Wanneer mensen gemotiveerd zijn om te veranderen, maar gemakkelijk terugvallen vanwege automatische processen die hen weer naar het middel toe leiden, lijkt CBM te helpen als toevoeging aan CGT. Maar CBM (of CGT) aanbieden aan mensen die hun gedrag niet willen veranderen heeft weinig zin.
Kwaliteit van studies
Een laatste opvallend aspect van het citaat van Cristea en collega's dat van den Hout aanhaalt, is dat de studies naar CBM volgens de auteurs van lage kwaliteit zouden zijn, een conclusie die in de meta-analyse van CBM bij verslaving herhaald wordt. Dit oordeel lijkt echter vooral op misverstanden te berusten. Opvallend bij deze meta-analysen is dat geen van de auteurs zelf hands-on ervaring heeft met CBM, terwijl er wel wordt aangeraden experts op het gebied van de meta-analyse te consulteren (Ioannidis, 2016). Zo vermelden Cristea en collega's dat de studies vaak geen randomisatieschema's specificeren. Dit criterium komt van de systematische beoordeling van gecontroleerde klinische trials (RCT's) waarin twee behandelingen met elkaar vergeleken worden (bijvoorbeeld schematherapie en interpersoonlijke therapie) en waarin het belangrijk is dat het randomisatieschema op transparante wijze gepubliceerd of beschikbaar is. Aangezien CBM wordt aangeboden via een computer, is de randomisatie in het programma ingebouwd en zouden CBM-studies per definitie goed moeten scoren op dit criterium. Ze scoren echter bij Cristea en collega's vrijwel allemaal 'onbekend'. Dit geldt ook voor het blinderen van de betrokken therapeuten. In de klinische CBM-studies waarbij ik betrokken was, wisten de therapeuten niet aan welke conditie patiënten waren toegewezen (die deden een vorm van training in een aparte computerruimte, naast de CGT). Ook in de vermeende publicatiebias herken ik weinig: wij publiceerden niet alleen de genoemde positieve studies, maar ook negatieve studies, vaak met studenten die niet wilden veranderen (bijvoorbeeld Lindgren et al., 2015) of waarbij het om alleen training via het internet ging (R. W. Wiers et al., 2015). Vermeldenswaard is dat in die situatie iedereen minder ging drinken, ongeacht de conditie: er was dus geen differentieel effect tussen de condities, zoals in de klinische studies, maar ook geen negatief effect. Kortom, het oordeel over de kwaliteit van de studies lijkt vooral als een boemerang terug te slaan op deze meta-analysen zelf.
Toekomst van CBM en CGT
Als we de huidige stand van zaken overzien, lijkt het erop dat CBM een positieve bijdrage kan leveren aan behandeluitkomsten bij angst en verslaving, mits aan twee belangrijke voorwaarden is voldaan: (1) de gebruikte procedure moet erin slagen om de bias te veranderen, en (2) de betrokken deelnemers moeten daadwerkelijk gemotiveerd zijn om te veranderen. Een belangrijke vervolgvraag is hoe beide interventies optimaal op elkaar afgestemd kunnen worden. Daarvoor hebben we protocollen ontwikkeld (Boffo, Pronk, Wiers, & Mannarini, 2015; Wiers, van Deursen, Wolf, Boffo, & Salemink, 2014). Omdat zowel bij angst als verslaving de beste resultaten gevonden worden in een klinische setting, hebben we de onlinetraining ook beschikbaar gesteld voor therapeuten, zodat die hun cliënten kunnen laten trainen als aanvulling op de CGT (www.impliciet.eu/content/trainers/). Ten slotte is het natuurlijk niet alleen rozengeur en maneschijn met CBM. Zo worden de huidige trainingen vaak als saai ervaren. Op dit vlak kan veel verbeterd worden, bijvoorbeeld door game-elementen toe te passen. We moeten dan wel beseffen dat motivatie om te trainen niet gelijkstaat aan motivatie om te veranderen: wanneer een training leuker wordt door game-elementen, wil dat nog niet zeggen dat daarmee de motivatie om het gedrag te veranderen ook positief beïnvloed wordt (Boendermaker, Prins, & Wiers, 2015). Verder kunnen elementen van CGT ook online worden aangeboden (Riper et al., 2014), wat de interessante vraag oproept of de combinatie van online-CGT en online-CBM effectief kan zijn, of dat er toch een bepaalde hoeveelheid persoonlijk contact vereist is. Samenvattend lijkt de conclusie van van den Hout (2016) dat CBM een mooi idee was dat helaas niet blijkt te werken (in tegenstelling tot EMDR, dat een raar idee leek, dat wel blijkt te werken), dus retorisch leuk, maar niet correct: CBM heeft wel degelijk consistente effecten, namelijk wanneer een CBM-procedure de bias succesvol weet te beïnvloeden bij mensen die gemotiveerd zijn om wat aan hun probleem te doen.
De auteur dankt Maarten Merkx en Elske Salemink voor hun behulpzame opmerkingen.
Literatuur
- Allom, V., Mullan, B., & Hagger, M. (2015). Does inhibitory control training improve health behaviour? A meta-analysis. Health Psychology Review, 7199, 1-38.
- Anton, R. F., O'Malley, S. S., Ciraulo, D. A., Cisler, R. A., Couper, D., Donovan, D. M., ... COMBINE Study Research Group (2006). Combined pharmacotherapies and behavioral interventions for alcohol dependence. Journal of American Medical Association, 295, 2003-2017.
- Beraha, E. M., Salemink, E., Goudriaan, A. E., Bakker, A., de Jong, D., Smits, N., ... Wiers, R. W. (2016). Efficacy and safety of high-dose baclofen for the treatment of alcohol dependence: A multicentre, randomised, double-blind controlled trial. European Neuropsychopharmacology, 26, 1950-1959.
- Boendermaker, W. J., Prins, P. J. M., & Wiers, R. W. (2015). Cognitive bias modification for adolescents with substance use problems – Can serious games help? Journal of Behavior Therapy and Experimental Psychiatry, 49, 13-20.
- Boffo, M., Pronk, T., Wiers, R. W., & Mannarini, S. (2015). Combining cognitive bias modification training with motivational support in alcohol dependent outpatients: Study protocol for a randomised controlled trial. Trials, 16, 63.
- Cristea, I. A., Kok, R. N., & Cuijpers, P. (2015). Efficacy of cognitive bias modification interventions in anxiety and depression: Meta-analysis. British Journal of Psychiatry, 206, 7-16.
- Cristea, I. A., Kok, R. N., & Cuijpers, P. (2016). The efficiency of cognitive bias modification interventions for addictions: A meta-analysis. PLoS ONE, 11, p.e0162226.
- de Jong, P. (2016). Cognitieve bias modificatie: Veelbelovend nieuw type theoriegestuurde interventies. Gedragstherapie, 49, 305-320.
- Eberl, C., Wiers, R. W., Pawelczack, S., Rinck, M., Becker, E. S., & Lindenmeyer, J. (2013). Approach bias modification in alcohol dependence: Do clinical effects replicate and for whom does it work best? Developmental Cognitive Neuroscience, 4, 38-51.
- Elfeddali, I., de Vries, H., Bolman, C., Pronk, T., & Wiers, R. W. (2016). A randomized controlled trial of web-based attentional bias modification to help smokers quit. Health Psychology, 35, 870-880.
- Field, M., & Eastwood, B. (2005). Experimental manipulation of attentional bias increases the motivation to drink alcohol. Psychopharmacology, 183, 350-357.
- Ioannidis, J. P. A. (2016). The mass production of redundant, misleading, and conflicted systematic reviews and meta-analyses. The Milbank Quarterly, 94, 485-514.
- Lindgren, K. P., Wiers, R. W., Teachman, B. A., Gasser, M., Westgate, E. C., Cousijn, J., ... Neighbors, C. (2015). Attempted training of alcohol approach and drinking identity associations in US undergraduate drinkers: Null results from two studies. PLoS One, 10, 1-21.
- Linetzky, M., Pergamin-Hight, L., Pine, D. S., & Bar-Haim, Y. (2015). Quantitative evaluation of the clinical efficacy of attention bias modification treatment for anxiety disorders. Depression and Anxiety, 32, 383-391.
- Macleod, C., & Clarke, P. J. F. (2015). The attentional bias modification approach to anxiety intervention. Clinical Psychological Science, 3, 58-78.
- MacLeod, C., & Grafton, B. (2016). Anxiety-linked attentional bias and its modification: Illustrating the importance of distinguishing processes and procedures in experimental psychopathology research. Behaviour Research and Therapy, 86, 68-86.
- Manning, V., Staiger, P. K., Hall, K., Garfield, J. B., Flaks, G., Leung, D., ... Verdejo-Garcia, A. (2016). Cognitive bias modification training during inpatient alcohol detoxification reduces early relapse: A randomized controlled trial. Alcoholism: Clinical & Experimental Research, 40, 2011-9.
- Price, R. B., Wallace, M., Kuckertz, J. M., Amir, N., Graur, S., Cummings, L., ... Bar-Haim, Y. (2016). Pooled patient-level meta-analysis of children and adults completing a computer-based anxiety intervention targeting attentional bias. Clinical Psychology Review, 50, 37-49.
- Riper, H., Blankers, M., Hadiwijaya, H., Cunningham, J., Clarke S., Wiers, R., ... Cuijpers, P. (2014). Effectiveness of guided and unguided low-intensity internet interventions for adult alcohol misuse: A meta-analysis. PloS One, 9, e99912.
- Schippers, G., & van den Brink, W. (2016). Ontwikkelingen in verslaving. Gedragstherapie, 49, 343-354.
- Schoenmakers, T. M., de Bruin, M., Lux, I. F., Goertz, A. G., van Kerkhof, D. H., & Wiers, R. W. (2010). Clinical effectiveness of attentional bias modification training in abstinent alcoholic patients. Drug and Alcohol Dependence, 109, 30-36.
- van den Hout, M., (2016). Vijftig! Gedragstherapie, 49, pp. 285-295.
- Wiers, C. E., Stelzel, C., Gladwin, T. E., Park, S. Q., Pawelczack, S., Gawron, C. K., ... Bermpohl, F. (2015). Effects of cognitive bias modification training on neural alcohol cue reactivity in alcohol dependence. American Journal of Psychiatry, 172, 335-343.
- Wiers, R. W. (2013). Grip op je problemen: Cognitieve training bij verslaving en angst. Amsterdam: Bert Bakker.
- Wiers, R. W., Eberl, C., Rinck, M., Becker, E. S., & Lindenmeyer, J. W. (2011). Retraining automatic action tendencies changes alcoholic patients' approach bias for alcohol and improves treatment outcome. Psychological Science, 22, 490-7.
- Wiers, R. W., Houben, K., Fadardi, J. S., van Beek, P., Rhemtulla, M., & Cox, W. M. (2015). Alcohol cognitive bias modification training for problem drinkers over the web. Addictive Behaviors, 40, 21-26.
- Wiers, R. W., Rinck, M., Kordts, R., Houben, K., & Strack, F. (2010). Retraining automatic action-tendencies to approach alcohol in hazardous drinkers. Addiction (Abingdon, England), 105, 279-287.
- Wiers, R. W., van Deursen, D., Wolf, A., Boffo, M., & Salemink, E. (2014). Training van cognitieve processen ter ondersteuning van de behandeling van problematisch middelengebruik. In G. M. Schippers, M. Smeerdijk, & M. J. M. Merkx (Eds.), Handboek cognitieve gedragstherapie bij middelengebruik en gokken (pp. 411-427). Amersfoort: Stichting Resultaten Scoren.
Noot
- 1.http://journals.plos.org/plosone/article/comments?id=10.1371/journal.pone.0162226
© 2009-2024 Uitgeverij Boom Amsterdam
De artikelen uit de (online)tijdschriften van Uitgeverij Boom zijn auteursrechtelijk beschermd. U kunt er natuurlijk uit citeren (voorzien van een bronvermelding) maar voor reproductie in welke vorm dan ook moet toestemming aan de uitgever worden gevraagd:
Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch door fotokopieën, opnamen of enig andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever.
Voor zover het maken van kopieën uit deze uitgave is toegestaan op grond van artikelen 16h t/m 16m Auteurswet 1912 jo. Besluit van 27 november 2002, Stb 575, dient men de daarvoor wettelijk verschuldigde vergoeding te voldoen aan de Stichting Reprorecht te Hoofddorp (postbus 3060, 2130 KB, www.reprorecht.nl) of contact op te nemen met de uitgever voor het treffen van een rechtstreekse regeling in de zin van art. 16l, vijfde lid, Auteurswet 1912.
Voor het overnemen van gedeelte(n) uit deze uitgave in bloemlezingen, readers en andere compilatiewerken (artikel 16, Auteurswet 1912) kan men zich wenden tot de Stichting PRO (Stichting Publicatie- en Reproductierechten, postbus 3060, 2130 KB Hoofddorp, www.cedar.nl/pro).
No part of this book may be reproduced in any way whatsoever without the written permission of the publisher.
Inloggen VGCt en VVGT
Leden van de VGCt en de VVGT loggen in via de site van hun vereniging. Als u op die site bent ingelogd als lid, vindt u daar een button naar het Tijdschrift voor Gedragstherapie.
English
Behavioral Therapy: Journal for Behavioral Therapy and Cognitive Therapy ISSN 0167-7454
Information in English can be found here.