Slodderwetenschap.

In de Volkskrant stond een paar jaar geleden een interview met een Amsterdamse hoogleraar sociologie, die kritiek had op het onderzoek van een collega uit Gent.
Dat onderzoek wees volgens de Gentse hoogleraar uit, dat mannen in vijf procent van de gevallen depressiever zijn dan hun vrouw, als die laatste meer verdient. De vragenlijst op grond waarvan deze conclusie werd getrokken stond er niet bij, maar de journalist vertelde dat het hier niet ging om een medische diagnose maar om mensen die van zich zelf vertelden dat ze minder goed in hun vel zaten. De vragenlijsten waren in alle gevallen door beide echtelieden ingevuld.
Waar het om ging was dus dat men aan de hand van de ingevulde lijsten kon constateren dat de mannen zich minder happy voelden dan hun vrouw terwijl die vrouw meer verdiende, want met het oog daarop waren de koppels uitgezocht.
Zijn Amsterdamse collega, die de uitslag van het onderzoek had kunnen bekijken, wees erop dat uit hetzelfde onderzoek een verband kon worden afgeleid tussen de depressies van de man en van de vrouw. Als zij zich ongelukkig voelde dan deed hij dat in vijftien procent van de gevallen ook. Dat verband is dus drie keer zo sterk. Maar waarom de man zich in zulke gevallen minder happy zou kunnen voelen dan de vrouw, of dat in elk geval zo invulde, vermelde het onderzoek niet. De journalist maakte daaruit op dat er wel een verband is aangetoond maar dat niet vaststond welk. Er kunnen allerlei andere verbanden zijn, ook niet onderzochte, die onderling dan ook nog samenhangen maar waarbij niet gezegd kan worden dat het een het ander veroorzaakt.
De Amsterdamse hoogleraar bevestigde dat door te zeggen dat uit zijn eigen studies bleek dat de depressie scores niet afweken als je slecht betaalde vrijgezellen vergelijkt met even slecht betaalde getrouwde mannen. Ik laat nu even in het midden wie gelijk heeft. Of je de onderzoeken van de beide hoogleraren wel kunt vergelijken en of de journalist het rapport en de discussie tussen de twee hoogleraren juist heeft weergegeven. Je mag aannemen dat ze beiden het artikel hebben kunnen lezen voordat het in de krant werd gepubliceerd.
Waar het mij om gaat is dat dit als wetenschap wordt gepresenteerd. Ik zou als ik dit soort onderzoeken deed en er werd over gepubliceerd in elk geval insisteren dat er vindplaatsen werden genoemd die toegankelijk waren voor de lezer en als die er niet waren, dan zou ik de relevante informatie aan de journalist ter beschikking stellen, die zijn lezers dan afdoende voor zou kunnen lichten. Ik zou mijn interview pas gepubliceerd willen zien als ik zeker heb gesteld dat de lezer zelf kan controleren dat hij met iets serieus te maken heeft.
Zoals het nu in de krant komt kun je er alleen maar van zeggen dat je er niets mee kunt.
De Gentse hoogleraar en zijn medewerksters hebben vragenlijsten opgesteld en aan Belgische echtparen ter invulling gegeven van wie vaststond dat de vrouw meer verdiende dan de man. Het ging om 1054 koppels. Naar je mag aannemen waren dat koppels uit beide taalgebieden en verdeeld over grote en kleine steden en het platte land. Dat het bij de koppels ging om lang en om pas getrouwden en om hoge en lage inkomens. Met kinderen en zonder kinderen. Dat er waren koppels waar de huishoudelijke taken evenredig waren verdeeld en waar de minst betaalde of juist de best betaalde het meeste van dat werk op zich nam. De godsdienst speelde in het onderzoek wel of geen rol en zo kan iemand nog bladzijden lang doorgaan. Het is domweg niet mogelijk om bij onderzoeken als deze alle relevante factoren mee te nemen en een bias van de onderzoekers is niet te vermijden.
Wat ik de onderzoekers verwijt, is niet zozeer dat zij zijn uitgegaan van het bestaan van het verband dat zij geconstateerd hebben en dat zij hun vragen zo hebben gesteld dat het door hen gezochte verband er uit zou kunnen blijken en mogelijke andere niet. Dat mag van mij als het verband maar reëel is en er geen andere conclusies uit getrokken worden dan door de vragen en antwoorden worden gerechtvaardigd. Het is duidelijk, ook zonder dat je het onderzoeksverslag zelf hebt kunnen bestuderen, dat je hier eigenlijk niets uit kunt concluderen. En dat is bij sociologische onderzoeken geen uitzondering.
Daarom was het ook zo voor de hand liggend dat je in zo ‘n vak onderzoekers krijgt als de hoogleraar Diederik Stapel uit Tilburg. Iemand die zijn gegevens zelf verzint en die een collega en coauteur uit Nijmegen heeft, die niet eens merkt dat de gegevens te mooi zijn om ook nog waar te kunnen wezen.
Bij de publicatie van het onderzoek van een commissie onder leiding van Willem (Pim) Levelt, de psycholinguïst, zei de laatste onder meer het volgende:
‘Het belangrijkste nieuws echter dat dit eindrapport te bieden heeft betreft de onderzoek cultuur waarbinnen deze grootschalige fraude zolang onopgemerkt bleef. Als onverwachte “bijvangst” leverde de analyse van Stapel’s oeuvre een beeld op van onderzoekspraktijken waarin sloppy science aan de orde van de dag was. In veel publicaties, ook niet-frauduleuze, werden grondprincipes van ordentelijk wetenschappelijk onderzoek met voeten getreden. We geven daarvan in het eindrapport veel gedetailleerde voorbeelden.’
Wat Levelt, een voormalige voorzitter van de KNAW, erbij had kunnen zeggen, maar waar hij te beleefd voor was, is dat in de bètawetenschappen een dergelijk symptomatische en langjarige fraude niet mogelijk zou zijn geweest. Het is eigenlijk veel significanter dat tientallen coauteurs nooit iets van de fraude hebben gemerkt dan dat Stapel het probeerde.
De conclusie had horen te zijn dat we al dat geld en die inspanning die in de sociologie gaat zitten veel beter zouden kunnen besteden aan echte wetenschap. Stapel was spectaculair en daarom gefundenes Fressen voor de pers. Maar interessanter zou het zijn geweest als Levelt de voorwaarden zou hebben geformuleerd waaronder een vak als de sociologie de moeite waard zou zijn om te blijven bestaan. Dat was zijn opdracht niet maar de uitkomst van zijn onderzoek had alle aanleiding gegeven voor een vervolgopdracht in die richting. Als zulke voorwaarden zouden kunnen worden geformuleerd is er misschien een mogelijkheid om met dat vak nog eens helemaal opnieuw te beginnen en dan had de affaire Stapel toch nog nut gehad. Maar de affaire is nu al weer zes jaar geleden en het Rapport Levelt is vijf jaar geleden gepubliceerd. Van zichtbare veranderingen op de sociologische faculteiten in Nederland is tot nu toe geen sprake.

Advertisements

Over akasdorp

gepensioneerd advocaat
Dit bericht werd geplaatst in onzin, wetenschap en filosofie. Bookmark de permalink .

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s