Vorige week was er heel wat te doen rond een artikel van Tom F.M. ter Bogt, Loes Keijsers en Wim H.J. Meeus in het tijdschrift Pediatrics over het verband tussen vroeg-adolescente muziekvoorkeuren en probleemgedrag. Ook in Vlaanderen maakte dit artikel veel ophef. Dit had onder andere te maken met een column van NV-A politicus Bart De Wever in De Standaard, waarin hij in een wat bizarre redenering dit onderzoek gebruikte om nogmaals zijn plaat over Theodore Dalrymple te draaien.
Meteen was de toon gezet en ontstonden er twee kampen. Ten eerste had je de groep bestaande uit populaire kranten die een sappig verhaal konden presenteren en politici zoals Bart De Wever die de hierin de kans zagen om hun conservatieve opvattingen over cultuur empirisch te onderbouwen. Aan de andere kant had je de non-believers, die de wetenschappelijkheid van het onderzoek in vraag stelden of die morele bezwaren hadden.
Gelukkig was er nog de krant De Morgen om het hoofd koel te houden. Ze slaagden erin om zowel de hysterische reacties van de non-believers te relativeren (zie "Aardige metalheads, bestaan ze?" van Bart Eeckhout) als de recuperatie door conservatief Vlaanderen aan te kaarten (zie "Kapoen Bart doet zich dommer voor dan hij is" van Patrick De Witte en "Het is geen toeval dat Bart De Wever de hiphop viseert" van nogmaals Bart Eeckhout.).
In Nederland zelf was de reactie ook stevig. Hans Van Maanen was in De Volkskrant relatief kritisch, in ieder geval kritisch genoeg om een reactie van één van de oorspronkelijke auteurs, Tom ter Bogt, te ontlokken.
Het is net die reactie waar ik het hier over wil hebben.
Want ook al vind ik de reactie van de media op het oorspronkelijk werk inderdaad onjuist of minstens overdreven, het wederwoord van Tom ter Bogt in De Volkskrant is nogal zwak.
Ten eerste verwijst de titel van zijn reactie op het stuk van Hans Van Maanen, "Kritiek is goed, maar we heten niet allemaal Diederik Stapel", naar de zaak Stapel, terwijl het stuk van Hans Van Maanen helemaal niet naar Stapel of fraude verwijst. Hij vindt gewoon het gewoon een slecht onderzoek is of toch minstens overdreven conclusies trekt.
Maar belangrijker dan dat zijn enkele methodologische bedenkingen. Van Maanen heeft zeker een punt als hij stelt dat de lezer van het oorspronkelijk artikel zelf een aantal zaken moet uitrekenen om de grootte van het effect goed te kunnen inschatten. Het feit alleen al dat ik de aangehaalde voorbeelden van verklaarde varianties van 9% en 21% niet onmiddellijk terug in de oorspronkelijke tekst kan vinden doet me vermoeden dat die inderdaad zijn afgeleid uit andere gegevens.
Deze opmerking klinkt misschien pedant, maar ze is wel relevant. Laat me een voorbeeld geven. In het artikel zie ik heel wat correlaties staan (r).
Deze moet je kwadrateren om de verklaarde variantie te hebben. Bvb. "Adolescents liking rock music at age 12 also scored higher on delinquency at age 16 (r = 0.21).", houdt in mijn begrip in dat er een correlatie van 0.21 en dus een verklaarde variantie van 0.21x0.21=0.0441 is. Dat is iets meer dan 4%.
Als ik kijk naar de rijen 13 en 14 van tabel 3 kijk dan zie ik dat de hoogste correlatie met delinquent gedrag r=0.26 is. De verklaarde variantie is dan 6.76% en dat blijft een mager beestje.
Ik wil best geloven dat als je de zaak niet bivariaat bekijkt, maar naar het uiteindelijke multivariate model kijkt, dit effect iets sterker wordt, maar dan hadden de auteurs daar toch wat meer duiding mogen geven. Het loont mijns inziens toch de moeite om uit te leggen waarom het zogenaamde sterke effect van Gothic in het multivariate model, bivariaat niet eens significant is.
Veder dacht ik dat Cohen (1992) het vooral had over effect grootte en "power analyse", maar bon, zelfs al zou Cohen een verklaarde variantie van 9% middelgroot vinden, dan zou daar een correlatie van 30% tegenover moeten staan, en die zie ik niet. Nogmaals, het kan zijn dat die sterkere effecten naar voren komen wanneer je de zaak multivariaat bekijkt, maar enige duiding daarrond had wel gemogen. Overigens verbaasde het me dat met een relatief kleine steekproef (een 300-tal) er toch nog met een relatief uitgebreid multivariaat model gewerkt kon worden. Maar bon, Pediatrics is een ernstig tijdschrift, dus ga ik ervan uit dat dit technisch allemaal wel zal kloppen.
Tenslotte viel het me op dat heel wat reacties op het weerwoord van Tom ter Bogt gingen over de moeilijkheid om wetenschappelijke bevindingen in kranten correct weer te geven. Het is inderdaad daar dat het schoentje wringt: wetenschappelijke terminologie botst vaak met de betekenis die woorden hebben in het dagelijkse taalgebruik. Verklaarde variantie heeft niet noodzakelijk met causaliteit te maken, maar worden door leken vaak zo begrepen. Het feit dat men spreekt over "markers" zal bij sommige lezers een associatie met DNA en met voortbestemdheid teweegbrengen. Het is bijzonder moeilijk om wetenschappelijke bevindingen zodanig uit te leggen dat een leek het juist begrijpt. Dat is zo voor echt moeilijke onderwerpen genre kwantum fysica, maar dat is ook zo voor onderzoek dat dichter bij de leefwereld van de lezer zit (muziek, criminaliteit, enzovoort).
Er is nochtans een heel eenvoudige oplossing voor dit probleem, nl. het voorbehouden van verslaggeving over wetenschap voor echte wetenschappelijke doorbraken. Het artikel van Tom ter Bogt en collega's is volgens mij wetenschappelijk best OK, maar het is, met alle respect, geen doorbraak. Het hoort gewoon niet in de krant thuis. Een gelijkaardig studie in de organische chemie zou ook de pers niet halen. Het is niet omdat het over punk en gothic gaat dat dit plots anders wordt.
In de sociale wetenschappen wordt vaak, en terecht, gewezen op het belang van maatschappelijke relevantie. Welnu, de bevindingen van Ter Bogt zijn volgens mij wel wetenschappelijk relevant maar (nog niet) maatschappelijk relevant. Dit onderzoek is een bescheiden puzzelstukje dat past in een groter geheel, nl. de de Music Marker theorie. De status van maatschappelijk relevant zijn verdient ze pas wanneer de puzzel af is. De discussie over de puzzelstukjes zelf kan best in academische kringen worden gevoerd, op die manier worden misverstanden en onnodige discussies zoals dit onderzoek veroorzaakt heeft vermeden.
Als je alleen echte wetenschappelijke doorbraken in de krant zet dan kan je allicht voldoende tijd besteden aan een duidelijke uitleg.
Tenslotte, een haastig geschreven en ongenuanceerd persbericht is zelf om moeilijkheden vragen. De auteurs moeten dus niet klagen dat ze de wind van voren krijgen, ze hebben het zelf een beetje gezocht.
