M.E.(cvs)-wetenschap

september 6, 2015

Reproduceerbaarheid van psychologische studies?

Filed under: Wetenschap - algemeen — mewetenschap @ 12:56 pm
Tags: , , ,

Professor Brian Nosek (Departement Psychologie van de ‘University of Virginia’) is de uitvoerend directeur van het ‘Centre for Open Science’, een ‘non-profit’ organisatie die “gratis en open diensten aanbiedt om de inclusiviteit en de transparantie van research te verhogen”. Dit C.O.S. ondersteunt het “aanpassen van stimuli en praktijken zodat ze beter aansluiten bij de wetenschappelijke waarden”.

Psychologisch onderzoek heeft een slechte naam. Studies zijn vaak kleinschalig en dikwijls niet te herhalen. De grootschalige fraude van sociaal psycholoog Diederik Stapel van de universiteit van Tilburg (NL) ontketende een crisis in het vakgebied. (Zie ook ‘Kritische kijk op psychotherapie-research’)

Nosek startte het ‘Reproducibility Project: Psychology’ op en samen met een internationaal team van onderzoekers heeft hij honderd psychologische studies (die eerder in vakbladen werden gepubliceerd) opnieuw uitgevoerd. Meer dan de helft van die replicaties leverde andere resultaten op; de originele resultaten werden dikwijls niet teruggevonden: ze kwamen niet tot dezelfde conclusies als de oorspronkelijke onderzoekers. Slechts van 39 procent van de oorspronkelijke studies werden de belangrijkste resultaten met succes gereproduceerd. Bij 83 procent bleken de cijfers bij herhaling minder sterk; en gemeten effekten bleken bij de herhaling gemiddeld nog maar half zo groot. Er bleek dat vooral bij verrassende resultaten vraagtekens kunnen worden geplaatst. De resultaten van deze grote replicatie-studie verschenen in Science.

Als een onderzoek niet met succes kan worden herhaald, betekent dat veelal dat het oorspronkelijke resultaat een toevalstreffer was. Of dat de onderzoekers vooringenomen waren of fouten hebben gemaakt. Fraude is ook een mogelijkheid, maar daarvan is in de onderzochte studies niets gebleken.

Dit alles roept toch ernstige twijfels op. Ofwel vond de originele studie ten onrechte een effekt – en was ze dus onbetrouwbaar. Ofwel is het herhaal-onderzoek, ondanks het scrupuleuze opzet van het replicatie-project, niet exact hetzelfde uitgevoerd als het originele onderzoek en kwam het daardoor tot andere resultaten. Ofwel faalde het herhaal-onderzoek door één of andere toevalligheid. Er is dus reden tot bezorgdheid!

Nosek en de 270 andere researchers die aan het project meewerkten, probeerden ook te achterhalen welke studies het best te reproduceren zijn. De ervaring en expertise van de originele onderzoekers deed er weinig toe. Wat wel belangrijk was: hoe significanter de originele resultaten, hoe vaker ze bij herhaal-onderzoek opnieuw uit de bus kwamen. Zoals gezegd waren over het algemeen verrassende bevindingen moeilijker te reproduceren dan wat in de lijn der verwachtingen ligt. Ten slotte waren sommige studies simpelweg te moeilijk om exact te herhalen. Dat laatste getuigt overigens ook niet van deugdelijk onderzoek. De bevindingen van een studie zijn voor de wetenschap immers pas “waar” als ze verschillende keren zijn herhaald met dezelfde uitkomst.

De opzet van psychologisch onderzoek kan dus vaak beter. Zodat herhaal-onderzoek ten minste kan nagaan of we waarheid kunnen hechten aan bepaalde conclusies. Helaas stimuleert de wetenschappelijke wereld het herhaal-onderzoek niet. Nosek: “Wetenschappers proberen betrouwbare kennis aan te dragen maar tegelijk moeten ze zeker zijn van publicaties in vakbladen, omdat ze vooral door publicaties hun job als onderzoeker veiligstellen. En vooral nieuwe, onverwachte of opwindende bevindingen zijn makkelijk te publiceren.”. Eerder onderzoek wees al uit dat vakbladen vooral studies publiceren die effekten vinden (en geen studies die de onderzochte effekten niet vinden) en dat herhaal-onderzoek niet populair is bij de uitgevers. “Het kan gebeuren dat negatieve resultaten worden weggelaten. De gepubliceerde vak-literatuur stelt dingen zo mooier voor dan de werkelijkheid is.” Daardoor doen wetenschappers liever vernieuwend onderzoek dat hun carrière ten goede komt, zelfs als dat ten koste gaat van de reproduceerbaarheid van hun resultaten.

De psychologische studies in kwestie gaan over wetenschappelijke detail-zaken in de sociale en de cognitieve psychologie: therapieën of diepe inzichten staan niet op het spel. Niettemin spreekt Stanford-methodoloog John Ioannidis (zie ook ‘Een Epidemie van Valse Beweringen’) – die niet betrokken was bij het replicatie-project – van een zwarte dag: “Het aantal mislukte replicaties is erg hoog, zelfs nog hoger dan de 55 procent die ik zelf eens heb ingeschat. En dan is dit nog een steekproef van wat je kunt omschrijven als de beste studies, uit de beste vakbladen. Dat doet vermoeden dat van de hele psychologische literatuur misschien wel 80 procent of meer niet klopt.”. Onderzoek herhalen om te controleren of het wel klopt, geldt als de gouden standaard van de wetenschap. Het gebeurt alleen te weinig, omdat ‘replicatie’ geldt als saai en ondankbaar werk. Bovendien kan ook replicatie vertekende resultaten opleveren, als alleen de gelukte replicaties worden gepubliceerd. Juist daarom is het herhaal-project van de psychologen – systematisch een hele reeks studies overdoen – “enorm belangrijk”, benadrukt Ioannidis.

————————-

Science (2015) Vol. 349 no. 6251

Estimating the reproducibility of psychological science

Brian A. Nosek & de ‘Open Science Collaboration’

INLEIDING

Reproduceerbaarheid is een definiërend kenmerk van wetenschap maar de mate waarop het de huidige research karakteriseert, is onbekend. Wetenschappelijke claims zouden geen geloofwaardigheid mogen verwerven omwille van de status of autoriteit van hun ontwerper maar door de reproduceerbaarheid van het ondersteunend bewijsmateriaal. Zelfs research met een voorbeeldige kwaliteit kan niet-reproduceerbare empirische bevindingen hebben omwille van willekeurige of systematische feiten.

RATIONALE

Er is bezorgdheid over de mate en de voorspellende factoren van reproduceerbaarheid, maar er is weinig bewijs. Mogelijke problematische praktijken omvatten selektieve rapportering, selektieve analyse en onvoldoende specificatie van de voorwaarden die nodig zijn of volstaan om de resultaten te bekomen. Directe replicatie is het proberen her-creëeren van de voorwaarden waarvan men gelooft dat ze volstaan voor het verkrijgen van een eerder geobserveerde bevinding en het middel voor het vaststellen van reproduceerbaarheid van een bevinding met nieuwe gegevens. We voerden een grootschalig onderzoek in samenwerkingsverband uit, om een initiële schatting te bekomen van de reproduceerbaarheid van psychologisch onderzoek.

RESULTATEN

We voerden replicaties uit van 100 experimentele en correlationele studies gepubliceerd in 3 psychologie-tijdschriften gebruikmakend van ontwerpen met een hoge [statistische] ‘power’ en – wanneer beschikbaar – origineel materiaal. Er is niet één enkelvoudige standaard voor het evalueren van het replicatie-succes. Hier evalueerden we de reproduceerbaarheid via significantie en P-waarden, effekt-groottes, subjectieve bepalingen van reproduceerbaarheid-teams en meta-analyse van effekt-groottes. De gemiddelde effekt-grootte (r) van de replicatie-effekten (Mr = 0.197, SD = 0.257) was de helft van de grootte-orde van de gemiddelde effekt-grootte van de oorspronkelijke effekten (Mr = 0.403, SD = 0.188), wat representatief is voor een substantiële daling. 97% van de oorspronkelijke studies gaf significante resultaten (P < .05). 36% van de replicaties gaf significante resultaten; 47% van de oorspronkelijke effekt-groottes lagen binnen het 95% confidentie-interval van de effekt-grootte van de replicatie; 39% van de effekten kregen een subjectieve beoordeling van een replicatie te zijn van het oorspronkelijk resultaat; en wanneer geen bias bij de oorspronkelijke resultaten wordt verondersteld, bleven er 68% met statistisch significante effekten over. Correlationele testen suggereren dat replicatie-succes beter werd voorspeld door de kracht van het origineel bewijsmateriaal dan door kenmerken van de oorspronkelijke en replicatie-teams.

BESLUIT

Er is niet één enkelvoudige indicator die in voldoende mate het replicatie-succes beschrijft en de 5 indicatoren die hier werd onderzocht, zijn niet de enige manieren om reproduceerbaarheid te evalueren. Niettemin bieden deze resultaten te samen genomen een duidelijk besluit: Een groot deel van de replicaties gaf zwakker bewijsmateriaal voor de oorspronkelijke bevindingen, ondanks het feit dat materiaal werd gebruikt aangeboden door de originele auteurs, de voorafgaande review op methodologische betrouwbaarheid en de hoge statistische ‘power’, om de oorspronkelijke effekt-groottes te detekteren. Bovendien is het correlationeel bewijs consistent met de conclusie dat de variatie qua sterkte van het initieel bewijsmateriaal (zoals de originele P-waarde) beter het replicatie-succes voorspelde dan de variatie qua karakteristieken (zoals ervaring en expertise) van de teams die de research uitvoerden. Deze laatste factoren kunnen zeker het replicatie-succes beïnvloeden maar het lijkt hier niet zo.

Reproduceerbaarheid wordt niet goed begrepen omdat de aansporingen voor individuele wetenschappers om nieuwigheid boven replicatie te verkiezen. Innovatie is de motor voor ontdekking en is vitaal voor een produktieve, doeltreffende wetenschap. Innovatieve ideëen worden echter snel ‘oud nieuws’. Tijdschrift-reviewers en -uitgevers kunnen een nieuwe test of gepubliceerde gegevens als zijnde ‘on-origineel’ afdoen. De claim “we weten dit al” logenstraft de onzekerheid van wetenschappelijk bewijsmateriaal. Innovatie wijst paden aan die mogelijk zijn; replicatie wijst paden aan die waarschijnlijk zijn; vooruitgang steunt op beide. Replicatie kan zekerheid verhogen wanneer de bevindingen worden gereproduceerd en bevorderen innovatie wanneer dit niet het geval is. Dit project biedt accumulerend bewijsmateriaal voor vele bevindingen in de psychologische research en suggereert dat er nog steeds meer werk aan de winkel is om te verifiëren of we weten wat we denken te weten.

juli 3, 2014

Kritische kijk op psychotherapie-research

Filed under: Wetenschap - algemeen — mewetenschap @ 5:51 am
Tags: , ,

James C. Coyne is Professor Gezondheid-psychologie aan het Universitair Medisch Centrum in Groningen, waar hij wetenschappelijk schrijven en kritisch denken onderwijst. Hij is ook gast-professer aan het ‘Institute for Health, Health Care Policy & Aging Research’ van Rutgers, de ‘State University of New Jersey’. Dr. Coyne is Professor Emeritus Psychologie in Psychiatrie; hij was ook Directeur ‘Behavioral Oncology’ aan het ‘Abramson Cancer Centre’ en ‘Senior Fellow’ aan het ‘Leonard Davis Institute of Health Economics’. Hij fungeerde als Extern Wetenschappelijk Adviseur to bij een 10-tal door de Europese Commissie gefinanceerde gemeenschap-programmas ter verbetering van de zorg bij depressie. Hi heeft 350 artikels en hoofdstukken geschreven (…). De ‘ISI Web of Science’ heeft hem aangeduid als één van de psychologen en psychiaters met de grootste impact ter wereld. (…) Hij blogt ook en levert regelmatig bijdrages aan de blog ‘Science Based Medicine’ en aan de ‘PLOS One Blog, Mind the Brain’. (…)

De geïnteresseerde lezer kan meer documentatie en aanvullingen vinden in een stuk op zijn blog jcoynester.wordpress.com (10 Juni 2014) waarin hij verder zijn bezorgdheid beschrijft omtrent de noodzaak om psychotherapie-research en de literatuur daarrond te hervormen.

————————-

blogs.plos.org/mindthebrain; James Coyne PhD (10 Juni 2014)

Een manifest om psychotherapie-research te redden

Verandering in psychotherapie-onderzoek van brandstof voorzien d.m.v. meer kritisch onderzoek en publieke verantwoordelijkheid

De verklaringen van John Ioannidis dat de meeste positieve bevindingen vals zijn [Ioannidis JPA. Why Most Published Research Findings Are False. PLoS Med. (2005) 2: e124; zie ook ‘Een Epidemie van Valse Beweringen] en dat de meeste baanbrekende ontdekkingen worden overdreven of niet kunnen worden gerepliceerd, zijn evenzeer van toepassing op psychotherapie als op medische biologie.

We moeten een paar tips uit Ben Goldacre’s ‘Bad Pharma’ nemen [Bad Pharma: Hoe Farmaceutische Bedrijven Artsen Misleiden en Patiënten Schade Toebrengen] en de psychotherapie-literatuur opkuisen, net zoals wat werd bereikt bij farmacologische studies. Zeker: er valt nog veel te doen om de kwaliteit en transparantie van farmacologische studies te waarborgen en om alle gegevens bij het publiek te brengen. Maar de psychotherapie-literatuur blijft ver achter en is veel minder betrouwbaar dan de farmacologische literatuur.

Zoals het er nu uitziet, biedt de psychotherapie-literatuur geen betrouwbare gids voor beleidsmakers, klinici en consumenten die pogen om de relatieve kosten en voordelen te beoordelen van het kiezen voor een bepaalde therapie boven een andere. Als dergelijke belanghebbende partijen kritiekloos afhangen van de psychotherapie-literatuur om de door bewijs ondersteunde status van behandelingen te evalueren, zullen ze verward of misleid worden.

Psychotherapie-research is schandalig slecht

Veel RCTs [‘Randomized Controlled Trial’] zijn ‘under-powered’ [De ‘power’ van een statistische test is de waarschijnlijkheid dat het op een correcte manier de ‘null’ hypothese (geen verband tussen 2 gemeten fenomenen) verwerpt, dat deze vals is; uitgedrukt door de P-waarde. Een ‘under-powered’ studie zal waarschijnlijk niet toelaten te kiezen tussen hypothesen met een gewenste significantie.] maar toch worden consistent positieve resultaten verkregen door het her-definiëren van de primaire uitkomsten nadat de resultaten bekend zijn. De typische RCT is een kleine, methodologisch gebrekkige studie uitgevoerd door onderzoekers met sterke loyauteit voor één van de behandelingen die worden geëvalueerd. Welke behandeling de voorkeur krijgt van de onderzoekers is een betere voorspeller van de uitkomst van de proef dan de specifieke behandeling die wordt geëvalueerd.

Veel positieve bevindingen worden gecreëerd door het ‘spinnen’ [een nieuwtje of andere informatie een bijzondere (vooral een gunstige) interpretatie meegeven] van een combinatie van bevestigende ‘bias’ [vooringenomenheid], soepele ontwerp-voorschriften, data-analyse en rapportering, en het najagen van significantie [die er eigenlijk niet is].

Veel studies die als positief worden beschouwd, ook deze die veel worden geciteerd, zijn in principe ongeldige, nietszeggende proeven waarvan de resultaten van de primaire uitkomst worden genegeerd, en post-hoc analyse van secundaire uitkomsten en subgroep-analyses worden benadrukt. Dat ‘Spinnen’ start bij de ‘abstracts’ [samenvattingen van wetenschappelijke artikels] en de resultaten die er gerapporteerd worden zijn meestal positief.

Het grootste deel van de psychotherapie-RCTs omvatten vergelijkingen tussen een aktieve behandeling en een inaktieve of neutrale controle-groep zoals personen op een wachtlijst, zonder behandeling of die ‘routine zorg’ krijgen die doorgaans niet wordt gedefinieerd maar waarin blootstelling aan een behandeling van voldoende kwaliteit en intensiteit niet is verzekerd. In het beste geval kunnen deze studies ons vertellen of een behandeling beter is dan helemaal niets doen of dan dat patiënten behandeling verwachten omdat ze zijn ingeschreven voor een proef maar geen behandeling krijgen (‘nocebo’ [‘negatief verwachtingseffect’; een patient anticipeert mogelijke nevenwerkingen van een farmacologisch middel en ondervindt die ook, zelfs al is het middel nep is]).

Meta-dwaaheid?

Meta-analyses [onderzoek waarin onderzoeken over een bepaald fenomeen worden samengevoegd om één meer correcte uitkomst te bekomen] van psychotherapie bepalen vaak de besluiten niet nader op basis van bewijs-graad, negeren klinische en statistische heterogeniteit, bekijken de ‘allegiance’ [loyauteit, trouw, aanhankelijkheid] van de onderzoekers onvoldoende, bagatelliseren de overheersing door kleine studies met statistisch onwaarschijnlijke aantallen positieve bevindingen, en negeren de mate waarop positieve effekt-groottes voorkomen bij vergelijkingen tussen aktieve en inaktieve behandelingen.

Meta-analyses van psychotherapieën worden sterk bevooroordeeld in die zin dat wordt besloten dat behandelingen zouden werken, vooral wanneer ze worden uitgevoerd door degenen die hun belangen-conflicten niet melden, waaronder ontwikkelaars en promotors van behandelingen die financieel zouden winnen (geïnteresseerden kunnen ook ‘Critical analysis of a meta-analysis of a treatment by authors with financial interests at stake’ door dezelfde auteur lezen…) als ze worden ‘gewaarmerkt’ als zijnde “ondersteund door bewijs”.

Globaal gezien zijn meta-analyses te sterk afhankelijk van ‘under-powered’, gebrekkige studies die werden uitgevoerd door onderzoekers met een sterke loyaliteit voor een bepaalde behandeling of de bevinding als zou psychotherapie in het algemeen doeltreffend zijn. Wanneer controles worden ingevoerd voor risico op vertekening of onderzoeker-trouw, verminderen of verdwijnen de effekten zelfs.

Belangen-conflicten geassocieerd met het feit dat voor auteurs aanzienlijke financiële voordelen op het spel staan, worden zelden vermeld in de studies die worden beoordeeld of de in meta-analyse zelf.

Benoeming van behandelingen als zijnde ‘ondersteund door bewijs’

Er zijn lage drempels voor professionele groepen (zie ook ‘Troubles in the Branding of Psychotherapies as “Evidence Supported”) zoals de ‘American Psychological Association Division 12’ (http://www.div12.org; “Website on Research-Supported Psychological Treatments”) of gouvernementele organisaties zoals de ‘US Substance Abuse and Mental Health Services Administration’ (SAMHSA) om te verklaren dat behandelingen “ondersteund” zijn door “bewijzen”. Er worden zelden behandelingen ondoeltreffend of schadelijk geacht door deze groepen.

Professionele groepen hebben belangen-conflicten door het feit dat ze willen dat hun leden in staat zijn te beweren dat de behandelingen die ze in de praktijk aanbieden ‘evidence-based’ zijn, terwijl ze de keuze van behandelaar niet willen beperken door het als ondoeltreffend labelen van de behandelingen. Andere bronnen van evaluatie zoals SAMHSA zijn sterk afhankelijk van en staan kritiekloos tegenover wat promotors van bepaalde psychotherapieën indienen als aanvragen voor ”evidence-supported” status.

De mogelijkheid dat er geen consistente verschillen zijn tussen gestandaardiseerde, geloofwaardige behandelingen voor klinische problemen, wordt routinematig belachelijk gemaakt door het ‘dodo bird verdict’ (verwijzend naar de bewering dat alle psychotherapieën, ongeacht hun specifieke componenten, leiden tot gelijkwaardige resultaten) en afgewezen zonder systematische aandacht voor de literatuur betreffende specifieke klinische problemen. Sommige studies vinden inderdaad verschillen tussen de twee aktieve, geloofwaardige behandelingen wat betreft het ontbreken van duidelijke onderzoeker-trouw, maar deze zijn ongebruikelijk.

De fraude van ‘Continuing Education Credit’

[Een ‘continuing education unit’ (CEU) of ‘continuing education credit’ (CEC) is een maatstaf die wordt gebruikt bij programmas voor permanente opleiding, in het bijzonder deze die vereist worden bij een gecertificeerd beroep, opdat de professioneel een licentie zou krijgen of mag houden.]

De vereiste dat therapeuten ‘continuing education credit’ krijgen, is bedoeld om consumenten te beschermen tegen verouderde, ondoeltreffende behandelingen. Er is onvoldoende toezicht op de wetenschappelijke kwaliteit van wat wordt aangeboden. Nep-behandelingen worden gepromoot met pseudo-wetenschappelijke claims. Organisaties zoals de ‘American Psychological Association’ (APA) verbieden groepen hun leden uitspraken te doen die kritiek geven op de kwaliteit van wat wordt aangeboden en APA blijft ‘Education Credit’ geven voor valse en onbewezen behandelingen zoals ‘thought field therapy’ en ‘somatic experiencing’.

Het bieden van mogelijkheden voor ‘continuing education credit’ is een lucratieve business voor zowel accreditatie-agentschappen en sponsors. In de competitieve wereld van workshops en trainingen, overtroeft de entertainment-waarde het bewijs. Training in het verstrekken van ‘evidence-based’ handboek-behandelingen heeft weinig aantrekkingskracht als alternatieve trainingen patiënten-getuigenissen benadrukken en gebruik maken van dramatische vertoningen van plotseling therapeutisch succes d.m.v. zorgvuldig pers-klaar gemaakte videos, vaak met acteurs in plaats van de echte patiënten.

Het waarmerken van behandelingen als zijnde ondersteund door bewijs, wordt gebruikt om workshops en trainingen te adverteren waarin de gepresenteerde publiek-behagende interventies niet worden onderbouwd met bewijsmateriaal.

Degenen die ‘Acceptance and Commitment’ (ACT) workshops bijwonen, krijgen videos te zien waar de presentator mee-huilt met patiënten die worden herinnerend aan hun kindertijd. Ze zouden zich moeten afvragen: “Onderhoudend en onroerend misschien, maar is dit een ‘evidence-supported’ techniek?”.

Psychotherapieën met ietwat bewijs-ondersteuning worden verdedigd voor aandoeningen waarvoor er geen bewijs voor hun werkzaamheid is. Wat zou worden verworpen als “off-label toepassingen” voor geneesmiddelen [het gebruik van farmacologische agentia voor een niet-erkende indicatie, voor een niet-erkende groep, in een niet-erkende dosering of toediening-vorm] wordt routinematig aanvaard in psychotherapie-workshops.

We weten dat we beter kunnen

Psychotherapie-research heeft aanzienlijke verfijning bereikt qua ontwerp, analyses en strategieën om te compenseren voor het ontbreken van gegevens en het ophelderen van mechanismen van verandering.

Psychotherapie-onderzoek blijft achter t.o.v. farmaceutisch onderzoek, maar toch heeft het aanbevelingen en vereisten voor proef pre-registratie, met vermelding van de primaire uitkomsten; invullen van CONSORT check-lijsten [vraagt naar informatie bij het rapporteren van een RCT] om te verzekeren dat de basisgegevens van proeven worden gerapporteerd; pre-registratie van meta-analyses en systematische reviews op sites zoals PROSPERO [internationaal register van systematische reviews], evenals het invullen van de PRISMA [‘Preferred Reporting Items for Systematic Reviews and Meta-Analyses’; ‘evidence-based’ minimale set items voor het rapporteren in systematische reviews en meta-analyses] checklist voor geschikte rapportering van meta-analyses en systematische reviews.

Verklaringen van belangen-conflicten zijn zeldzaam en het bekend-maken van auteurs die routinematig geen melding maken van belangen-conflicten is nog zeldzamer.

Het achterwege laten van pre-geregistreerde protocollen in gepubliceerde rapporten van RCTs komt vaak voor en er is weinig controle op de discrepanties in samenvattingen van resultaten die daadwerkelijk werden verkregen of beloofd door auteurs bij de pre-registratie. De vereisten worden inconsistent en onvolledig nageleefd. Er is weinig kans dat niet-conforme auteurs verantwoordelijk zullen worden gesteld en een sterkte stimulans om positieve resultaten te rapporteren voor een studie, om in een prestigieus tijdschrift zoals het APA’s ‘Journal of Consulting and Clinical Psychology’ (JCCP) te worden gepubliceerd. Het onderzoeken van de samenvattingen van artikels gepubliceerd in JCCP geeft de indruk dat proeven bijna altijd positief zijn, zelfs als ze heel erg ‘under-powered’ zijn.

Psychotherapie-reasearch wordt uitgevoerd en geëvalueerd binnen een club, een gemeenschap van wederzijdse bewondering waarin de leden voorzichtig zijn om de resultaten van anderen niet te kleineren of standaarden af te dwingen die ze zelf zou minder streng zouden willen als het gaat om het publiceren van hun eigen onderzoek. Er is rivaliteit tussen “stammen” zoals psycho-dynamische therapie en cognitieve gedrag-therapie, maar onderdrukking van kritiek binnen de “stammen” en via zware inspanningen om te laten uitschijnen dat de leden van de “stammen” enkel doen wat werkt.

Hervorming van buiten-uit

Tijdschriften en hun redacteurs hebben zich vaak verzet tegen veranderingen zoals de goedkeuring van CONSORT, gestruktureerde samenvattingen en pre-registratie van proeven. De ‘Communications and Publications Board’ van de ‘American Psychological Association’ heeft er voor gezorgd dat APA één van de laatste grote, macht-houdende uitgevers was om CONSORT te onderschrijven, en aanvankelijk werd een ontsnapping-clausule geboden die stelde dat CONSORT enkel van toepassing was op artikels die expliciet werden bestempeld als een gerandomiseerde proef. Het bestuur blokkeerde ook de druk uitgeoefend door de uitgever van ‘Health Psychology’ voor het gebruik van gestruktureerde samenvattingen die betrouwbaar rapporteerden over de details die nodig zijn ter evaluatie van wat werkelijk werd gedaan in de proeven en van de resultaten de werden verkregen. In beide gevallen was het bestuur het meest bezorgd over implicaties voor de belangrijkste afzetmarkt wat betreft klinische proeven voor haar tijdschriften, ‘Journal of Consulting’ & ‘Clinical Psychology’.

Hoewel over het algemeen geen afnemer van psychotherapie-proeven, vertonen de tijdschriften van de ‘Association for Psychological Science’ (APS) tekenen dat ze nog slechtere overtreders zijn wat betreft het negeren van standaarden en het toelaten van bevestigende vooringenomenheid. Zo kost het een lezer veel moeite om te ontdekken dat een ‘high-profile’ artikel in ‘Psychological Science’ eigenlijk een gerandomiseerde proef was, en verder speurwerk om te ontdekken dat het een nietszeggende, ongeldige proef was. Er is geen enkele aanwijzing voor het feit dat ooit een CONSORT checklist werd ingediend voor de studie. En ondanks het feit dat de auteur de proef uit ‘Psychological Science’ gebruikte om haar workshops te promoten, werd geen melding gemaakt van een belangen-conflict.

Het nieuwe tijdschrift ‘Clinical Psychological Science’ van de APS vertoont tekenen van nog meer selektieve publicatie en bevestigende vooroordelen dan de APA tijdschriften. Er zal ongetwijfeld een strijd woeden tussen de klinische tijdschriften van de APS en de APA voor de top-positie in de hiërarchie wat betreft het publiceren van alleen maar artikels die aandacht trekken, zelfs als ze gebrekkig zijn, terwijl ze andere (negatieve proeven en mislukte replicaties) overlaten aan tijdschriften die als minder prestigieus worden beschouwd.

Voor een hervorming moet de druk van buiten het gebied van de psychotherapie komen: van mensen zonder gevestigde belangen bij het promoten van bepaalde behandelingen of van de behandelingen aangeboden door leden van professionele organisaties. De druk moet komen door sceptische externe toetsing door consumenten en beleidsmakers die zijn uitgerust om de spelletjes te begrijpen die psychotherapie-onderzoekers spelen bij het late uitschijnen dat alle behandelingen werken.

Specifieke tijdschriften zijn terughoudend om kritiek op hun publicatie-praktijken naar buiten te brengen. Als we in eerste instantie geen toegang kunnen krijgen tot publicatie van onze bezorgdheid, in de gewraakte tijdschriften, kunnen we betrouwen op blogs en Twitter om uitgevers op te roepen en uitleg te vragen over dwalingen van de ‘peer-review’ en het handhaven van de kwaliteit.

We moeten het scepsis-niveau van de belanghebbenden verhogen, bedrevenheid voor kritische evaluatie op grote schaal verspreiden en de toepassing hiervan verzekeren bij het beoordelen van overdreven claims en methodologische tekortkomingen in artikels gepubliceerd in prestigieuze, ‘high-impact’ tijdschriften. Slechte wetenschap bij de evaluatie van psychotherapie moet worden erkend als de huidige norm, niet als een anomalie.

We zouden ver kunnen geraken door het afdwingen van regels die er al zijn

We moeten de mislukkingen van tijdschriften om de regels over pre-registratie, bekendmaking van belangen-conflicten en discrepanties tussen gepubliceerde klinische studies en hun pre-registratie, continu publiek maken.

Er zijn te veel flagrante voorbeelden van onderzoekers die niet geven wat ze beloofden bij de pre-registratie, die registreren nadat de proef is begonnen met het aanwerven patiënten, en reviewers die blijkbaar niet altijd controleren of de primaire uitkomsten en analyses die werden voorgehouden bij de registratie van de proef daadwerkelijk worden geleverd.

Uitgevers zouden moeten

  • een expliciete verklaring eisen of de proef werd geregistreerd en waar.
  • aandringen dat reviewers de registratie van de proef consulteren, inclusief modificaties, en commentaar geven op welke afwijking dan ook.
  • uitdrukkelijk aangeven welke registratie gedateerd is nadat de aangroei van patiënten is begonnen.

CONSORT voor samenvattingen zou moeten worden verspreid en afgedwongen. Veel van de hype en verkeerde voorstellingen in de media begint met de eigen draai die auteurs in een samenvatting meegeven. Uitgevers moeten er op aandringen dat de belangrijkste analyses voor de pre-geregistreerde primaire uitkomst in de samenvatting worden voorgesteld en benadrukt bij de interpretatie van de resultaten.

Het zou niet meer mogen dat ‘under-powered’ verkennende piloot haalbaarheid-studies doorgaan als RCTs wanneer ze positieve resultaten opleveren. Er moet een ordelijke opéénvolging van de behandeling-ontwikkeling plaatsvinden vooraleer wat in wezen fase-3 [ter bevestiging van de doeltreffendheid en de veiligheid] gerandomiseerde proeven [gecontroleerd multi-centrum en bij grote patiënten-groepen] zijn, uit te voeren.

Bij de hervorming van psychotherapie-research, valt er iets te leren van farmacologische proeven. Een proces van interventie-ontwikkeling zou moeten bestaan uit het vaststellen van de haalbaarheid en fundamentele parameters van klinische proeven moeten vooraf gaan aan fase-3 gerandomiseerde studies, maar er kan niet worden verwacht dat ze fase-3 worden of effekt-groottes opleveren met als doel de werkzaamheid aan te tonen of ter vergelijking met andere behandelingen.

Het gebruiken van een wacht-lijst, geen behandeling en slecht gedefinieerde routine-zorg moet worden ontmoedigd als controle-groepen. Voor klinische aandoeningen waarvoor gevestigde behandelingen zijn, zouden ‘head-to-head’ vergelijkingen moeten worden uitgevoerd, alsook het opnemen van controle-groepen die het mechanisme zouden kunnen ophelderen. Een belangrijk voorbeeld van dit laatste zou gestruktureerde, ondersteunende therapie kunnen zijn die controleert voor aandacht en positieve verwachting. Er valt weinig te winnen van het verdere accumuleren van onderzoek waarbij de werkzaamheid van de verkozen behandeling wordt gewaarborgd door vergelijking met een verlamde controle-groep waarbij enig denkbaar element van affectieve zorg ontbreekt.

Evaluaties van behandeling-effekten moeten rekening houden met ‘prior probabilty’ [‘voorafgaande waarschijnlijkheden’; probabiliteit die de onzekerheid uitdrukt over een hypothese vooraleer er met bewijsmateriaal wordt rekening gehouden] die wordt gesuggereerd door de brede literatuur, over vergelijkingen tussen twee aktieve, geloofwaardig behandelingen. De goed bestudeerde literatuur over behandeling van depressie suggereert een aantal parameters: effekt-grootte geassocieerd met een behandeling is sterk verminderd wanneer vergelijkingen beperkt blijven tot geloofwaardige, aktieve behandelingen; studies van betere kwaliteit; en introduceren van controles voor onderzoeker-trouw. Het is onwaarschijnlijk dat initiële claims omtrent het feit dat een doorbraak-behandeling de efficiëntie van bestaande behandelingen zou overtreffen, zullen blijven worden ondersteund in grotere studies uitgevoerd door onderzoekers die onafhankelijk van ontwikkelaars en promotors werken.

Het openbaar maken van belangen-conflicten moet worden afgedwongen, en het niet openbaar maken moet worden geïdentificeerd in de correctie-verklaringen en verder bestraft. Onderzoeker-trouw dient te worden overwogen bij de beoordeling van het risico op vooringenomenheid .

Ontwikkelaars van behandelingen en personen die een aanzienlijke financieel voordeel halen uit een behandeling die ‘evidence-based’ wordt genoemd, moeten worden ontmoedigd om meta-analyses van hun eigen behandelingen uit te voeren.

Proeven moeten worden uitgevoerd met groepen die voldoende groot zijn om minstens matige effekten te kunnen opsporen. Bij publicatie van positieve bevindingen van ‘under-powered’ studies, pluizen lezers de literatuur uit op vergelijkbare ‘under-powered’ proeven die gelijkaardige positieve effekten bereiken.

Meta-analyses van psychotherapie zou ‘p-hacking’ technieken [het manipuleren van een statistische analyse, door het aanpassen van de resultaten, om de significantie (P-waarde) op te smukken] moeten omvatten om de kans te evalueren dat een patroon van significante bevindingen de vermoedelijke waarschijnlijkheid overschrijdt.

Bijwerkingen en nadelen moeten routinematig worden gerapporteerd, inclusief de kosten door gemiste kansen – zoals het niet kunnen verkrijgen van een meer doeltreffende behandeling.

We moeten de cultuur rond het uitvoeren van en rapporteren over psychotherapie-onderzoek verschuiven. We moeten weg van het aanprijzen van overdreven claims over een behandeling en vals bewijs dat wordt gegenereerd om opportuniteiten voor therapeuten en hun professionele organisaties te bevorderen. In de plaats daarvan is het veel lovenswaardiger om robuuste, duurzame, zelfs bescheidener claims aan te bieden, en hype en fraude te roepen op een manier die de geloofwaardigheid van psychotherapie behoudt.

Het alternatief [niet gewenst dus] is psychotherapie-onderzoek te blijven beschermen tegen strenge kritiek en tegen het handhaven van standaarden voor het uitvoeren en rapporteren van onderzoek. Men moet alleen maar het brandmerken van psychotherapieën als ‘evidence-based’ toestaan om in diskrediet te vallen.

oktober 13, 2012

Ethiek & ‘Evidence-Based’ Geneeskunde

Filed under: Wetenschap - algemeen — mewetenschap @ 12:31 pm
Tags: , , , ,

Mis- (en dus) onder-diagnose M.E.(cvs), ontnemen van utkeringen van patiënten, druk op artsen/onderzoekers, wetenschap-fraude, enz. De research aangaande M.E.(cvs) en de berichtgeving wordt danig vertroebeld. In het licht daarvan her-lazen we een artikel van een arts en ethicus/filosoof die daaromtrent enkele rake dingen weet te vertellen. We reproduceren de inleiding en de samenvatting, en geven enkele citaten uit zijn betoog mee. Het volledig artikel (waarvan de argumentatie nuttig zou kunnen zijn voor patiënten-steungroepen) is te vinden op http://www.ncbi.nlm.nih.gov. Stof tot nadenken! En een oproep tot intellectuele eerlijkheid!

————————-

Medscape General Medicine (2007); 9(3): 30

Ethics and Evidence-Based Medicine: Is There a Conflict?

Erich H. Loewy, Professor in de Geneeskunde (emeritus); stichter afdeling bio-ethiek (Department Filosofie, Universiteit van Californië)

Samenvatting

Dit artikel bespreekt de voordelen, nadelen en valkuilen waartoe ‘evidence-based medicine’ (EBM) kan leiden en suggereert dat, om ethisch geldig te zijn, EBM gericht moet zijn op de belangen van de patient en niet op de financiële belangen van anderen. Hoewel financiële overwegingen in geen geval triviaal zijn, is het hypocriet – zo niet gevaarlijk – ze te verbergen achter woorden zoals ‘bewijs’ of ‘kwaliteit’.

Inleiding

Toen de uitdrukking voor het eerst werd bedacht, verwees ‘evidence-based medicine’ eenvoudigweg naar het gebruik van een behandeling die bewezen en getest was op rigoureuze wijze, waarna ze “state of the art” werd. EBM is niet ontsnapt aan kritiek, hetzij ten gevolge de veronderstellingen die ze maakt of de manier waarop ze ondertussen wordt gebruikt. Sterker nog: een aantal critici zijn zo ver gegaan om de rede [het verstand] “de meest hardnekkige tegenstander van EBM” te noemen. Als men zich strikt houdt aan de terminologie en de daaruit voortvloeiende definitie (t.t.z. dat ‘goed’ medisch handelen moet gebaseerd zijn op bewijs dat ‘x’ nuttig is bij de behandeling van de ziekte ‘y’ voor een gedefinieerde groep ‘z’) kan men moeilijk ronduit tegen EBM zijn. Vermoedelijk zou het enige alternatief voor die definitie “mythe of op geruchten gebaseerde geneeskunde” zijn […], wat uiteraard niet aanvaardbaar is als waarachtige en geldige EBM beschikbaar is en geschikt lijkt. Niettemin, zoals de zaken nu liggen: indien EBM dan toch érgens van toepassing is, is het aan het ziekbed en zeker niet bij experimentele procedures (waarvan de essentie is: verder te gaan dan wat we al weten).

Ik zal ‘bewijs’ hier gebruiken in de betekenis van een statistisch geldig besluit aangaande een rigoureus gedefinieerde groep. Het is evident dat goed opgeleide biomedische statistici met statistieken moeten omgaan en dat wat een goed gedefinieerde groep […] uitmaakt, wordt bepaald door artsen en onderzoekers die deskundig zijn op het gebied van wat wordt bestudeerd.

Omdat we communiceren in woorden, is de grootste zorgvuldigheid nodig. Veel van wat wordt aangeprezen als ‘bewijs’, is echter bewijs voor slechts een bepaalde groep onder bepaalde omstandigheden en dat kan totaal onwerkzaam zijn bij een andere groep. […]

We moeten, denk ik, zeer zorgvuldig zijn bij het definiëren van wat we verder als ‘bewijs’ zullen accepteren. Verder zijn er altijd mensen die, hoewel ze heel dicht bij een bepaalde groep passen, toch anders reageren dan deze groep. EBM spreekt over een grote statistische groep mensen en kan dus niet simpelweg op onbedachtzame wijze worden toegepast op de individuele patient. Helaas wordt EBM vaak op ongepaste manier gebruikt. Eigenlijk ontbreekt het werkelijk harde bewijs (dubbel-blinde studies toegepast op een specifieke groep) helemaal. En omdat goede ethiek begint met goede feiten, krijgt de kwaliteit van de feiten zelf ethische betekenis.

Patiënten verschillen qua leeftijd, robuustheid, voorafgaandelijke of bijkomende ziekte, en een groot aantal andere pathofysiologische feiten. Net zo belangrijk: ze verschillen qua culturele, sociale en economische factoren. Geconfronteerd met een individuele patient is het vaak moeilijk vast te stellen wie waar past. […] EBM is noodgedwongen gebaseerd op gemiddelden met de onontkoombare ‘Mevr. Janssens’ die niet onder de Gauss-curve  [klok-vormige curve die de verdelingen van de aantallen van een bepaalde waarde aangeeft] valt.

We moeten allereerst begrijpen hoe het begrip ‘normaal’ wordt bepaald. Laten we zeggen dat we een bereik voor ‘normale waarden’ voor een bepaalde parameter willen vastleggen. Van een zeker aantal (door statistici voldoende geacht voor de studie) vermeende gezonde vrijwilligers wordt bloed afgenomen en onvermijdelijk zal een aantal waarden te laag of te hoog zijn. De grafiek zal altijd dezelfde klok-vormige curve geven. De lagere zowel als de hogere waarden worden uitgesloten, en de rest van wat overblijft wordt ‘normaal’ genoemd. Dit betekent niet dat de 5% die aan beide zijden buiten het normaal bereik liggen ‘ziek’ zijn; nogmaals: het geeft eenvoudigweg aan dat, hoewel men een groot aantal vermeende fitte personen gebruikt om het ‘normaal’ bereik te bepalen, men het proces niet kan omkeren en het toepassen op de patient die wordt onderzocht. […]

Statistische gegevens zijn enkel dat: ze vertellen ons, bijvoorbeeld, of een bepaalde groep mensen (en wat bedoeld wordt met ‘groep’ is hier essentieel om weten) het beter stelt met medicijn ‘A’ of met medicijn ‘B’, maar ze vertellen ons weinig over elke individuele patient die wordt behandeld.

Eén van de andere problemen is dat EBM begon als een nuttige geheugen-steun – een herinnering aan wat, in het algemeen en voor het grootste deel, superieur was t.o.v. andere manieren van handelen. Helaas heeft EBM de neiging om een keurslijf [sterker: dwangbuis] te worden, en artsen die afwijken van dergelijke EBM-algoritmen lopen het risico ‘op het matje’ te worden geroepen. Sommige EBM werd ingegeven door de wens de beste en meest moderne zorg beschikbaar te maken maar; net zoals ‘kwaliteit-controle’, heeft het steeds minder te maken met het goede voor de patient dan met institutionele kosten en winsten. Er is niets mis met kosten-beheersing, zolang het als zodanig wordt gelabeld, in plaats van gebruikt te worden als een eufemisme voor kwaliteit of bewijs. Maar als wij, als mensheid, onoprechtheid de norm laten worden en niet meer verstoord worden leugens omwille van het gemak of eufemismen gebruiken met een knipoog en een knikje te gebruiken, wordt hypocrisie de norm, en de samenleving alsook het beroep [bedoeld wordt: arts/onderzoeker] wordt aangetast. Het lijkt bijna dat dit het tijdperk van eufemismen is. In een samenleving die prat gaat op ‘politieke correctheid’, mag dit geen verrassing zijn.

Verder moeten we in het bijzonder voorzichtig zijn met wat we ‘evidence-based medicine’ noemen.. Bewijsmateriaal verkregen bij 20 – tot 30-jarige atleten kan niet worden toegepast op 50 – tot 60-jarige vrouwen die een sedentair leven leiden. Men kan niet van volwassenen naar kinderen extrapoleren of van een Amerikaanse middenklasse-familie naar mensen uit de Australische ‘bush’. Behalve het feit dat deze onjuiste toepassing op onverklaarbare wijze aanhoudt, zou het niet het vermelden waard zijn. Hoe definiëren we ‘bewijs’? Via welke criteria? Wat vormt aanvaardbaar bewijsmateriaal? Bovendien verwerken individuen medicijnen vaak op een verschillende manier; de ene persoon metaboliseert medicijnen snel en heeft daarom een hogere dosis of frequentere toediening nodig, hoewel EBM er op zou kunnen wijzen dat dit voor de meeste mensen niet zo is. De meeste ouderen metaboliseren medicijnen langzamer, maar sommige niet. Wanneer een patient zijn/haar arts vertelt dat hij/zij altijd medicijnen snel heeft afgebroken of uitgescheiden, komt het antwoord “Nou, dat zou ’t geval niet mogen zijn, je bent meer dan 70.” als absurd over – hoewel ik dat (of iets dergelijks) al daadwerkelijk heb gehoord, bij verschillende gelegenheden. Het is één van de klassieke manieren waarop statistieken verkeerd worden gebruikt.

Helaas, alleen maar omdat er iets nieuws is ontdekt, getest als “goed werkend” werd bevonden, betekent het niet dat het correct is. Ik herinner me […] dat een antimicrobieel middel genaamd oleandomycine werd ontdekt en hartstochtelijk werd beoordeeld in de literatuur. Enkele jaren later bleek het waardeloos bij infekties en wordt het tegenwoordig zelden gebruikt […]. Stel je voor dat EBM het in de aanbevelingen zou hebben opgenomen op het moment dat het enthousiasme voor oleandomycine hoog opliep. Er zullen ‘ketters’ zijn die gewoon sceptisch zijn dat wat we voor waar aannemen wat waar is – vaak worden hun ideeën niet gepubliceerd, geminacht en soms jaren beschouwd als “onthulde wijsheid”. Het verhaal van Helicobacter pylori als veroorzaker van een groot percentage van maagzweren zou als waarschuwing moeten dienen; het pastte destijds niet bij het heersend ‘dogma’ van de geneeskunde en kon daarom zelfs niet eens worden gepubliceerd. Trouwens: weigeren om een artikel te publiceren, kan een zeer doeltreffende vorm van censuur zijn. We hebben hard nood aan een “Tijdschrift voor negatieve resultaten”, gewijd aan experimenten waarbij een redelijk-lijkende hypothese niet waar bleek. Wat niet waar blijkt te zijn, is minstens zo belangrijk als wat wordt gedacht waar te zijn en kan een herhaalde uitstap naar een doodlopend straatje voorkomen.

Het probleem is, zoals gewoonlijk, geld. De meeste instellingen waar onderzoek wordt gedaan en de meeste farmaceutische bedrijven geven subsidies, hebben een clausule waarin wordt toegelaten dat de onderzoeker negatieve resultaten publiceert. In theorie is er geen reden waarom bevindingen die al dan niet de waarde van het getest geneesmiddel onderbouwen, niet als ‘minderwaardig’ zou mogen worden gelabeld of vermeld dat er aanzienlijke bijwerkingen aan zijn verbonden. Tenslotte voldeed het onderzoek vermoedelijk toch aan de normen van de ‘Institutional Review Board’ (IRB). Een andere favoriete truc is om het nieuwe medicijn ‘X’ te vergelijken met het ‘oude medicijn’ of met ‘een placebo’. De reden waarom farmaceutische bedrijven van placebo-onderzoek houden, is dat de resultaten veel indrukwekkender zijn wanneer het nieuwe geneesmiddel ‘X’ wordt vergeleken met een placebo in plaats van met een gevestigd – zij het slechts in bescheiden mate bevredigend – medicijn.

Niettemin: waar een wil is, is een weg. Het staat de experimenteerder geheel vrij resultaten te publiceren die aantonen dat het getest geneesmiddel inferieur is aan het momenteel gebruikte medicijn. Is er iemand die werkelijk denkt dat haar/zijn eerlijkheid en openhartigheid de uitkomst niet zal beïnvloeden, de volgende keer dat zij/hij de firma om nieuwe fondsen verzoekt? Uiteraard is de experimenteerder volledig vrij om resultaten te publiceren die aantonen dat het geneesmiddel dat wordt getest, inferieur is aan de behandeling-standaard. Tijdschriften, die sterk afhankelijk zijn van advertenties van dergelijke bedrijven, houden echter niet van het risico artikels te publiceren die niet gunstig zijn voor hun adverteerders.

Ik ben het er helemaal mee eens dat bij veel van wat we doen in de geneeskunde, rigoureuze motivering ontbreekt en gebaseerd is op anecdotes. […] Er zijn honderden van vooroordelen of mythen in de geneeskunde die zo zijn verankerd dat geen enkele IRB een vergelijking met een controle-groep zou toelaten om op een andere manier te meten, en dus zullen we het waarschijnlijk nooit weten. Maar als we echter de weg van EBM op gaan, moeten we de vastgelegde criteria rigoureus definiëren en toepassen, en moet we ons altijd bewust zijn van de gevaren en niet enkel de voordelen omarmen. Artsen moeten over voldoende armslag beschikken om op basis van gegronde redenen af te wijken van de huidige EBM.

EBM moet worden bekeken door de filter van de persoonlijke opleiding en ervaring, juist omdat EBM geen rekening houdt en kan houden met alle variabelen, en persoonlijke ervaring biedt deze variabelen. Het is zoals het verschil tussen experimenteel evenwicht en persoonlijk evenwicht. Het eerste verwijst naar statistieken, het tweede de statistieken gezien door de ogen van de persoonlijke ervaring.

Bovendien, en voor mij van uiterst belang, moeten EBM-protocollen, zoals voor medicijnen of voedsel, een verval-datum hebben waarna ze moeten worden herzien op een veel betere dan oppervlakkige manier, om ervoor te zorgen dat ze nog steeds legitiem zijn. Re-evaluatie van EBM-protocollen zou bovendien een mooie gelegenheid voor een deel van vervolg-opleiding kunnen zijn.

De meeste dingen die we vandaag de dag in de geneeskunde doen, zijn in geen geval strikt ‘evidence-based’, men hoopt dat dit zal veranderen maar dat zal pas zo zijn als de term ‘bewijs’ strikt wordt toegepast. Maar zelfs dan, houdt een medische behandeling veel meer in dan het voorschrijven van geneesmiddelen of het opereren op mensen. Artsen zijn zelf, omwille van hun aard, therapeutische instrumenten – iets dat niet kan worden afgewogen en gemeten zoals EBM zou doen vermoeden. Er is en zal altijd een verschil zijn tussen 2 individuen die dezelfde pathologie hebben maar heel verschillende mensen zijn. “Eén maat voor allen.”, werkt niet goed voor kleding, het werkt helemaal niet in de geneeskunde.

Ingevingen versus “Harde” Feiten

[De intuïtie van de arts is niet iets mysterieus of occult; door haar/zijn ervaring kunnen een groot aantal feiten in het hele verhaal van de patient worden geïntegreerd… Men zou ingevingen niet zomaar mogen verwerpen enkel en alleen om dat ze niet stroken met de EBM van de dag.]

Vertragen van Vooruitgang

[EBM heeft de neiging de nieuwsgierigheid en verbeelding te onderdrukken. De nadruk op EBM, alsook het binnen de perken houden hiervan, is grotendeels te wijten aan de vooringenomenheid van de gemeenschap voor winst-bejag. ‘Efficiëntie’ is voor aandeelhouders van bedrijven (verzekering-maatschappijen) van het grootste belang. Bio-ethici en artsen moet er voor zorgen dat patiënten tijdens experimenten worden beschermd en moeten hen behoeden voor over-behandeling. Jammer genoeg wordt er weinig ondernomen tegen ‘onder-behandeling (te vroeg opgeven, de autonomie van de patient vergeten en veelbelovende pistes onbenut laten.]

Naar een Meer Groep-Geschikte Toepassing

[Een bepaalde groep kan meer (of minder) geneigd zijn op een bepaalde manier te reageren maar dit zegt niet rechtstreeks iets over een specifieke patient. EBM, tenzij uitgeprobeerd bij verscheidene groepen en onder verschillende omstandigheden, moet met grote voorzichtigheid worden aangewend. Men kan EBM niet zomaar extrapoleren (bv. van mannen naar vrouwen, van jongeren naar ouderen).]

Armslag Bieden

[Artsen moeten uitleggen waarom ze, in een bepaald geval, afweken van EBM en hebben dus minder armslag bij het nemen van hun beslissingen (laboratorium-testen, beeldvorming, consultaties of medicatie). Ook hier blijft het primair belang dat van verzekering-maatschappijen en gelijkaardige instellingen, niet het welzijn van de patient. Een arts die een doeltreffende behandeling kent maar deze info hierom achterhoudt of bagatelliseert, handelt on-ethisch.]

Een Educatief en Geen Bestraffend Instrument

[EBM kan een educatief instrument zijn maar is het zelden. EBM louter volgen omdat het wordt opgedragen, is vernederend en anti-intellectueel. Een sociaal systeem is géén ‘werk van God of de natuur’ maar iets dat we allen samen hebben geconstrueerd. We geven de schuld van onze sociale tekortkomingen (ontoegankelijk en/of onvolkomen gezondheid-verzekering) aan het systeem. Het is wel waar en kan worden gebruikt als verklaring; maar het is geen excuus. EBM is onverschillig wat betreft persoonlijke of sociale omstandigheden maar komt voort uit het geloof dat waar artsen mee omgaan, ziekte is en niet de patiënten die er aan lijden. EBM kleineert de arts, die een protocol moet volgen waarvan zij/hij weet dat het misschien niet in the belang van de patient is en bijgevolg het zelf-respect van de arts ondermijnt.]

Samenvatting: Voor- en Nadelen van EBM

Er zijn meerdere voordelen en een nadeel aan EBM. Het ‘proeven van de pudding’ is zo te zeggen ‘het eten’! Indien correct toegepast zouden EBM en haar aanverwanten de volgende voordelen kunnen hebben:

  • Bij het betrouwbaar en correct toepassen op een persoon die behoort tot die bepaalde groep (bv. etniciteit, geslacht, economische status, enz.) kunnen EBM-protocollen nuttig zijn, en soms nodig, voor een bepaalde patient. Maar EBM is, naar mijn mening, helemaal niet nodig voor een goed-opgeleide en attente arts.
  • Bij discreet gebruik is EBM handig als een controle-lijst die ervoor zorgt dat er niets van vitaal belang over het hoofd wordt gezien.
  • De ontwikkeling van EBM, indien correct gebruikt en met het welzijn van de patient als belangrijkste overweging, kan zeer nuttig zijn bij het educatieve proces. De suggestie dat EBM een protocol is waarop een patient met een bepaalde ziekte simpelweg kan worden aangesloten, vernietigt elke educatieve waarde die de ontwikkeling van een dergelijk instrument ooit heeft gehad.

Ik zelf, als bio-ethicus en (lang geleden) arts die de evolutie van EBM heeft geobserveerd, ben onder de indruk van het gevaar voor artsen, patiënten, het educatieve proces en, uiteindelijk, het gedrag dat het stimuleert. Onbedachtzame afhankelijkheid van EBM doet precies wat we niet willen dat onze studenten doen: wat een lijdende mens is, met een unieke persoonlijke leven-geschiedenis, omzetten in een pathofysiologisch specimen.

  • EBM is in principe anti-intellectueel en is eerder ‘doen’- dan ‘denken’-georiënteerd, in de zin dat het een hersenloos algoritme promoot. Ik zou willen beweren dat één van de belangrijkste taken van een arts is dat zij/hij denkt. EBM-protocollen – die inherent met hun aard check-lijsten zijn – leren studenten of assistenten slechts zelden om na te denken; ja, ze ontmoedigen het.
  • Er is een neiging om EBM-protocollen te beschouwen als “de juiste manier om dingen aan te pakken” in plaats van als “de huidige (minimaal doeltreffende) manier om dingen te doen”. […]
  • EBM-protocollen worden, samen met onze groeiende technische mogelijkheden, steeds meer obstakels voor ons denken en uiteindelijk interfereren ze met de arts-patient-relatie van vertrouwen, een essentieel onderdeel van goede zorg.
  • EBM-protocollen worden aanvankelijk beschouwd als wegwijzers en uiteindelijk als dwangbuizen – en dwangbuizen die door veel artsen worden verwelkomd (één vertelde me zelfs dat zij/hij er enthousiast over was omdat ze tijd bespaarden en het niet nodig was dat zij/hij er over na dacht!).
  • Erger dan dat – en ook al zullen ze dit ontkennen – instellingen beschouwen dit beleid niet als richtlijnen maar als keurslijf. Artsen die deze “richtlijnen” niet volgen, kunnen dan worden op het matje geroepen – niet omdat de patient leed maar omdat de instelling geld verloor.
  • Wanneer een officiële EBM verkondigd wordt, zijn artsen vaak bang om op meer armslag bij hun behandeling aan te dringen. Dit is, naar mijn mening, een grote fout en één die vernederend en kleinerend is voor het beroep dat wordt verondersteld de zieken te behandelen op basis van hun ‘eden’, die allemaal stellen dat etniciteit, politieke, nationale of financiële omstandigheden de besluiten niet mogen beïnvloeden.

Artsen worden, net als vuilnis-mannen of politie-officieren, gesocialiseerd om te geloven dat ze bepaalde verplichtingen hebben. De maatschappij verwacht het van hen, en hoewel een verwachting geen verplichting betekent, geeft een redelijke verwachting – waarvan gedurende jaren wordt volgehouden dat het een verplichting betekent – aan dat het stilzwijgend als zodanig geaccepteerd wordt. Artsen hebben in feite altijd de verplichting gehad om pleitbezorger voor de patient te zijn had en, in het algemeen, zijn ze dat ook geweest. Maar vandaag de dag creëeren we een samenleving waarin artsen worden verscheurd door wat ze denken hun verplichtingen te zijn aan (1) hun werkgever en (2) hun patiënten. […] De belangrijkste ethische verplichting van de CEO is te zien dat de aandeelhouders winst maken. Dat is niet echt het doel van patiënten en artsen, en dus minstens een bron van conflict.

Artsen zouden kunnen – als ze wisten wat solidariteit is en niet alleen lippendienst bewijzen aan een concept dat ze niet begrijpen – bepaalde eisen stellen naar een goede patiënten-zorg toe (en vooral plannen die genoeg tijd aan patiënten besteden) en, indien deze worden afgewezen, beginnen met stakingen. Men kan een aanvang nemen door te weigeren formulieren in te vullen en verder gaan met het niet zien van patiënten voor triviale dingen – en ik durf te wedden dat een verdere escalatie niet nodig zou zijn. Als dat zo was, zou – geloof ik – “behandeling van goed gedefinieerde ‘noodgevallen’” op korte termijn wel succesvol blijken. De eisen van de arts moeten vooral patient-gericht zijn, waardoor de sympathie van het publiek snel verzekerd zou zijn. Hoewel de meeste artsen-organisaties vrij goede plannen voor universele gezondheid-zorg hebben, zullen deze verschillende plannen van internisten, huisartsen, enz. worden genegeerd, terwijl een breder afgesproken plan dat op voorhand goed uitgewerkt is, en gepresenteerd wordt aan beleidsmakers en andere vertegenwoordigers (vooral als de media betrokken zijn), ernstig zal worden genomen. Tot onze eeuwigdurende schande hebben de twee grootste verenigingen van bio-ethici in dit land geweigerd een standpunt in te nemen. Eén van deze organisaties heeft er uiteindelijk voor gestemd dat het zou beginnen een standpunt in te nemen, maar niet omtrent de zaken waarbij de algemene bevolking is betrokken – enkel wat betreft universiteit-conflicten, salarissen en andere dingen waar de leden van de organisaties voordeel mee doen, maar niet ten behoeve van de patiënten of de samenleving.

Terwijl ik bekeek hoe EBM-protocollen zich ontwikkelden, werd ik getroffen door de bereidheid van intelligente mensen zich te laten onderwerpen. Tijdens de verschillende vergaderingen waren de aard van EBM-protocollen en hun potentieel voor misbruik niet het onderwerp van discussie. Artsen waren eerder erg bezorgd over het feit of een bepaald antibioticum kon worden gebruikt, enz. Ze slaagden er niet in het dreigend gevaar te zien dat deze “nuttige richtlijnen” van vandaag, de dwangbuizen van morgen zouden worden die moeten worden gehoorzaamd. […]

Een paar jaar geleden begon een ziekenhuis (het belangrijkste onderwijs-ziekenhuis van een universiteit waar ik ooit les gaf, protocollen voor bepaalde ziekten te ontwerpen. […] Wat ik vrees is dat artsen zullen toegeven aan deze ‘systeem-fout’ en in plaats van het systeem te bestrijden, er simpelweg zullen aan voldoen. In plaats van een reeks van opdrachten te schrijven, kunnen artsen gewoonweg ‘protocol X’ noteren en naar huis gaan. Patiënten zijn individuen en hoewel statistieken cruciaal zijn voor een goede praktijk, kunnen ze niet worden gebruikt bij een individuele patient, die niet alleen overal op de Gauss-curve kan gesitueerd zijn maar die toevallig ook een aantal ziekten zou kunnen hebben die het protocol zouden moeten laten aanpassen.

Besluit

Ik heb de voor- en nadelen van EBM-protocollen besproken. Hoewel mijn visie is dat ze kunnen als richtlijnen kunnen dienen, is het gevaar dat ze dwangbuizen worden geenszins onbeduidend. Een dergelijke procedure dreigt het feit dat elke patient uniek is, verder van de arts te verwijderen en zou dit het kijken naar de ziekte kunnen onderhouden i.p.v. naar de patient die toevallig die ziekte heeft. Door van alle behandelingen een routine te maken, zou het wel eens de nieuwsgierigheid van de artsen kunnen doen dalen en hen naast belangrijke toevallige bevindingen laten kijken. Verder is het gevaar van het gebruik van EBM-protocollen die niet hoofdzakelijk de bedoeling hebben patiënten te helpen (en misschien het geheugen van de arts te trainen) maar te gebruiken als kosten-sparend instrument, betreurenswaardig. Er bestaat geen twijfel dat kosten zo laag mogelijk moeten worden gehouden en verspilling voorkomen. Maar beginnen praten over rantsoenering is het probleem niet – rationalisering is dat wel.

maart 14, 2012

Psychologen vervalsen research-gegevens

Filed under: Wetenschap - algemeen — mewetenschap @ 7:23 pm
Tags: ,

In de Nederlandse Volkskrant van 22 februari 2012 verscheen een stuk getiteld ‘Eén op de tien psychologen vervalst onderzoeksdata’. Meer dan de helft zou ook statistisch gesjoemel erkennen om resultaten significanter of indrukwekkender te maken… Men verwijst naar een studie Psychological Science. Een nieuwe interview-techniek (anoniem en met een ingebouwde aanmoediging), die eerlijkheid beloont, is de verklaring voor beduidend hoger schattingen dan eerder onderzoek.

Hetzelfde tijdschrift, het belangrijkste vakblad voor psychologen, publiceerde eerder al over hoe eenvoudig het is om vrijwel elk gewenst resultaat in een psychologisch experiment significant te krijgen…

Het team van Leslie John ondervroeg academische psychologen in de V.S. o.a. over: het niet rapporteren van alle metingen; meer data verzamelen na te hebben gecheckt of de resultaten significant zijn; selektieve rapportering van studies met een positief resultaat en het vervalsen van gegevens.

Samengevat bleek dat één op tien psychologen research data had vervalst. De meerderheid rapporteerde selektief (67%) en niet alle metingen (74%), bleef data verzamelen tot het resultaat significant was (71%), rapporteerde onverwachte bevindingen als verwacht (54%) en verzweeg data post-hoc (58%). 35% van de respondenten zei dat ze twijfels hadden over de integriteit van hun eigen research!

Het is evident dat dergelijke praktijken (o.a. ronduit vervalsen van onderzoek) de waarde van zo’n research bedreigt, onrealistisch elegante resultaten oplevert en leidt tot waardeloze conclusies…

Wat info over de methode, BTS, ontworpen door Drazen Prelec… Dit is een score-methode die aanmoedigingen biedt opdat respondenten de waarheid zouden antwoorden op ‘multiple-choice’ vragen betreffende privé aangelegenheden (opinies, smaken, eerder gedrag). De methode vereist dat respondenten niet enkel persoonlijke antwoorden leveren maar ook percentage-schattingen over hoe andere respondenten op dezelfde vraag zullen antwoorden. De score-formule kent dan hoge scores toe aan antwoorden waarvan de eigenlijke frequentie groter is dan de voorspelde frequentie. Hij testte of respondenten een hogere score bereiken als ze hun eigenlijk antwoord vervingen door het antwoord waarvan ze geloven dat het ‘t meest (of minst) populaire is, of ze beter zouden scoren als ze bepaalde gegevens verkeerd rapporteren en of ze beter zouden scoren door antwoorden te simuleren van iemand anders “die ze goed kennen”. Alle types van misleiding bleken (voor de meerheid van de respondenten) geassocieerd met een substantieel gedaalde score en dus kan de formule worden gezien als waarheid-inducerend in settings waar alleen de respondent de eigenlijke waarheid kent.

————————-

Psychological Science [pre print]

Measuring the Prevalence of Questionable Research Practices with Incentives for Truth-telling

Leslie K. John (Harvard Business School), George Loewenstein (Carnegie Mellon University), Drazen Prelec (Massachusetts Institute of Technology)

Hoewel gevallen van wetenschappelijk wangedrag al significante media-aandacht hebben gekregen, komt exploitatie van de grijze-zone voor aanvaardbare praktijken veel meer voor en is het mogelijks schadelijker voor het academisch initiatief op lange termijn. Bedenkelijke research-praktijken (QRPs), zoals het uitsluiten van gegevens gebaseerd op post-hoc criteria, kunnen op een onechte manier de kans op het vinden van bewijs ter ondersteuning van een hypothese verhogen. Hoe dramatisch deze effekten kunnen zijn, werd aangetoond via een serie experimenten en simulaties die tonen in welke mate QRPs de kans verhogen op het vinden van ondersteuning voor een hypothese die vals is. QRPs zijn de steroïden van de wetenschappelijke competitie, en versterken de prestaties op kunstmatige wijze terwijl ze een aanzienlijke speelruimte laten voor rationalisering en zelfbedrog. De bezorgdheid aangaande QRPs stijgt en meerdere bevragingen, grotendeels beperkt tot medische researchers [Er wordt naar enkele artikels verwezen (referenties op aanvraag). Enkele korte besluiten… Fraude en onjuiste voorstellingen bij klinische proeven lijken zeldzaam… /// In een bepaalde studie werd ernstig wetenschappelijk wangedrag gemeld door 8,6% van de respondenten…], hebben gepeild naar hoe vaak ze voorkomen. Hier meten we hoeveel psychologen zich overgeven aan QRPs.

Zoals bij elk onethisch of sociaal gestigmatiseerd gedrag, bestaat de kans dat gegevens uit bevragingen de echte prevalentie sterk onderschatten. Respondenten worden weinig (buiten hun goeie wil) aangemoedigd om eerlijke antwoorden te geven. Het doel van de huidige studie was om realistische schattingen qua QRPs te verkrijgen via een nieuwe bevraging-methodologie die expliciete respons-afhankelijke prikkels inbouwt om de waarheid te vertellen, en vult zelf-rapportering aan met onpersoonlijke oordelen over de prevalentie van de praktijken en over de eerlijkheid van respondenten. Deze onpersoonlijke oordelen geven aanleiding tot alternatieve schattingen, die kunnen worden gebruikt om de eigenlijke prevalentie af te leiden. Bij QRPs zijn zelfs de ruwe aantallen van toegevingen verrassend hoog en voor bepaalde praktijken benadert de afgeleide, eigenlijke schatting de 100%, wat suggereert dat deze praktijken de facto de wetenschappelijke norm uitmaken.

Methode

Bevraging van research-psychologen bij belangrijke universiteiten in de V.S. Bij de test-conditie werden ‘incentives’ [prikkels/aanmoedigingen] voor het vertellen van de waarheid gelinkt met het ‘Bayesian truth serum scoring’ [BTS; zie onze inleiding] algoritme, dat gebruik maakt van de persoonlijke antwoorden van de respondenten en hun schattingen van de verdeling van de antwoorden over de groep, als input voor een waarheid-belonende score-formule. Omwille van de vereiste voor anonimiteit, kon een compensatie niet direct worden gelinkt aan individuele scores. In plaats daarvan werd de respondenten verteld dat we een gift zouden doen aan een liefdadigheid-instelling die ze konden kiezen uit 5 opties en dat de grootte van deze donatie zou afhangen van de waarachtigheid van hun responsen (bepaald door het score-systeem). Door het induceren van een (correct) geloof dat oneerlijkheid de gift zou verminderen, hoopten we de morele inzet te versterken. De respondenten kregen geen details over de manier van scoren maar er werd hen verteld dat het gebaseerd was op een algoritme dat in Science was gepubliceerd […]. Respondenten in de controle-conditie kregen simpelweg te horen dat een gift aan een liefdadigheid-instelling zou worden geschonken.

[…] We e-mailden een elektronische bevraging naar 5.964 academische psychologen. […] Er waren 2.155 respondenten (36%) […]. De deelnemers gaven anoniem aan of ze zich hadden overgegeven aan één van de 10 QRPs [zie hieronder; de percentages zijn die voor de BTS-conditie] en, zo ja, of ze hun aktiviteiten verdedigbaar achten. […]

De respondenten leverden ook twee onpersoonlijke oordelen: a) het aantal andere psychologen waarvan ze dachten te zijn overgegaan tot betwistbaar gedrag (prevalentie-schatting) en b) het percentage dat dit zou toegeven (toegeving-schatting). […]

Elk van de 3 antwoorden (persoonlijke toegeving, prevalentie-schatting, toegeving-schatting) biedt een verschillende manier om tot een uiteindelijke schatting van de eigenlijke prevalentie te komen. De geloofwaardigheid van elke schatting hangt af van de geloofwaardigheid van 1 van de 3 antwoorden in de bevraging: (1) Als de respondenten de persoonlijke vraag eerlijk beantwoorden, dan zullen de aantallen persoonlijke toegeving de eigenlijke (groep-) prevalentie weergeven. (2) Als de gemiddelde prevalentie-schatting accuraat is, dan zullen ze ook direct de eigenlijke prevalentie schatten. (3) Als de gemiddelde toegeving-schatting accuraat is, dan wordt de eigenlijke prevalentie geschat via de verhouding aantal toegevingen/toegeving-schatting. […]

Resultaten

1) In een artikel nalaten alle metingen van een studie te rapporteren. (66,5%)

2) Beslissen meer data te verzamelen na te hebben gekeken of de resultaten significant waren. (58,0%)

3) In een artikel nalaten alle condities van een studie te rapporteren. (27,4%)

4) Stoppen met het verzamelen van gegevens vóór het gepland was omdat men de vond dat men de resultaten had die werden. (22,5%)

5) In een artikel een p-waarde afronden. (23,3%)

6) In een artikel de studies die ‘werkten’ selektief rapporteren. (50,0%)

7) Beslissen om gegevens uit te sluiten data na te hebben bekeken wat de impact daarvan was op de resultaten. (43,4%)

8) In een artikel een onverwachte bevinding rapporteren als voorspeld bij de start. (35,0%)

9) In een artikel beweren dat resultaten niet werden beïnvloed door demografische variabelen wanneer men dat eigenlijk niet zeker is (of weet dat dit wel zo is). (4,5%)

10) Data vervalsen. (1,7%)

Prikkels tot het vertellen van de waarheid. […]

Prevalentie-schattingen. […]

[…] één op tien research-psychologen introduceerde valse gegevens in wetenschappelijke rapporten (Items 9 & 10), terwijl de meerderheid praktijken ondernamen zoals (1) selektieve rapportering bij studies, (3) het niet rapporteren van alle metingen, (4) het verzamelen van meer data, (6) het als verwacht rapporteren van onverwachte bevindingen en (8) het post-hoc uitsluiten van gegevens.

 […] Van de deelnemers in de BTS-conditie die de bevraging invulden, gaf 94,0% toe zich ten minste aan één QRP te hebben bezondig. […]

[…] Research-psychologen verschillen weinig wat betreft het beoordelen van het relatief onethisch karakter van de gedragingen, maar veel wat betreft waar ze de lijn trekken als het op hun eigen gedrag aankomt.

Ervaren verdedigbaarheid. […] Consistent met de notie dat ruimte voor rationalisering positief geassocieerd is met het overgaan tot QRPs, hadden respondenten die toegaven aan een QRP de neiging te denken dat hun akties verdedigbaar zijn. […] Er waren over het algemeen weinig verschillen per subgroep.

Twijfels over research-integriteit. Een relatief groot deel van de respondenten gaf aan dat ze twijfels hadden over research-integriteit bij ten minste één gelegenheid. […] Respondenten waren meer behoedzaam over onderzoek gegenereerd door mensen van ander instituten dan over dat van hun eigen medewerkers. […] Ca. 35% van de respondenten gaven aan dat ze twijfels hadden over de integriteit van hun eigen research bij ten minste één gelegenheid.

Frequentie. Hoewel de prevalentie-schattingen verkregen in de BTS-conditie ietwat hoger liggen dan eerdere schattingen, maken ze geen onderscheid tussen de research-psycholoog die routinematig overgaat tot een bepaald gedrag en deze die dat “slechts” éénmalig doet. […] We ondernamen een kleinschaliger bevraging waar we testten op verschillen qua aantal toegevingen […]. We vroegen gedrag-researchers die een jaarlijkse conferentie bijwoonden (n = 132) of ze zich hadden bezondigd aan 25 verschillende QRPs (vele die we ook hier gebruikten). […] De vragen waren in infinitief verwoord (“Vervalsen van data.”) of in de eerste persoon (“Ik heb data vervalst.”) en de deelnemers gaven aan of ze tot een gedrag waren overgegaan met een ja/nee of met een frequentie (nooit / één of twee keer / af en toe / frequent). […] De resultaten suggereren dat prevalentie-schattingen van de BTS-studie een combinatie zijn van “éénmalig” zowel als meer gangbaar gedrag.

Subgroep-verschillen. […] Er werden een relatief hoog aantal QRPs gerapporteerd onder de cognitieve, neurowetenschap- en sociale subdisciplines, en bij zij die gebruik maken van gedragsmatige, experimentele en laboratorium-methodologieën. Klinische psychologen rapporteerden een relatief laag aantal QRPs.

De verschillen zouden het afzonderlijk belang van onze QRPs voor deze subdisciplines en methodologieën kunnen weerspiegelen, of ze zouden verschillen qua ervaren verdedigbaarheid voor deze gedragingen kunnen weerspiegelen. Om deze mogelijke verklaringen te onderzoeken, zonden we een korte follow-up bevraging naar 1.440 van de deelnemers aan de BTS-bevraging en vroegen hen dezelfde 10 QRPs uit de initiële studie te beoordelen op: 1) De mate waarop elke praktijk toepasselijk is op hun research-methodologie – d.w.z. hoe frequent ze in de mogelijkheid verkeren tot een bepaalde praktijk over te gaan (mogelijke antwoorden: Nooit / Soms / Dikwijls / Altijd); en 2) Of het over het algemeen verdedigbaar is over te gaan tot een bepaalde praktijk (mogelijke antwoorden: Onverdedigbaar / Mogelijk verdedigbaar / Verdedigbaar). […] Er waren 504 respondenten (35%). […] De gemiddelde toepasbaarheid en verdedigbaarheid waren verhoogd onder sociale psychologen – een subgroep met relatief hoge aantallen toegevingen. De items waren in het bijzonder toepasselijk (maar niet als meer verdedigbaar beoordeeld) bij zij die gedrag-, experimenteel en laboratorium-research ondernemen.

[…]

Bespreking

De bezorgdheid over wetenschappelijk wangedrag hebben onderzoekers er toe gebracht om te proberen om de prevalentie van QRPs, die van toepassing zijn op wetenschappers, te schatten. In het licht van de recente bezorgdheid over de wetenschappelijke integriteit binnen de psychologie, werd deze studie opgezet om een nauwkeurige schatting van de prevalentie te geven van QRPs die specifiek van toepassing zijn op research-psychologen. Naast het feit dat dit één van de eerste enquêtes is die zich specifiek richten op research-psychologen, is het ook de eerste die de effektiviteit test van een dergelijk formaat dat prevalentie-cijfers meet op drie verschillende manieren.

Alle drie de prevalentie-metingen komen tot dezelfde conclusie: een verrassend groot deel van de psychologen geeft toe zich bezig te houden met QRPs. De impact van de BTS-conditie op het aantal toegevingen was positief en groter voor praktijken die de respondenten als minder verdedigbaar oordelen. Naast het openbaren van de prevalentie van QRPs, is deze studie (voor zover we weten) de eerste om te illustreren dat de hier gehanteerde methode kan leiden tot hogere, en waarschijnlijk meer geldige, prevalentie-schattingen van betwistbaar gedrag. De methode kan makkelijk worden gebruikt om de prevalentie van andere delicate gedragingen, zoals illegale of seksuele aktiviteiten, te schatten. Voor mogelijk nog groter nut, kan op BTS gebaseerde aanmoedigingen voor het vertellen van de waarheid worden gecombineerd met computer-geassisteerde zelf-interviews – een technologie die zelf-rapporteringen van delicaat gedrag bleek te verhogen.

Er zijn een aantal onderdelen aan de BTS-procedure – zowel een verzoek en stimulans om de waarheid te vertellen – en wij zijn niet in staat om hun onafhankelijke effekten op de openbaarmaking te isoleren. Belangrijk is echter beide onderdelen respondenten beloonden voor het vertellen van de waarheid – niet enkel om “ja” te zeggen, ongeacht of ze dergelijk betwistbaar gedrag hadden vertoond. Daarom werden beide componenten ontworpen om de geldigheid van de responsen te verhogen. Toekomstig onderzoek zou de relatieve bijdrage van de verschillende BTS-componenten bij het uitlokken van waarheidsgetrouwe responsen kunnen testen.

Bij dit onderzoek wordt uitgegaan van de veronderstelling dat de hogere prevalentie-schattingen meer geldig zijn – een veronderstelling die bij een groot aantal onderzoeken, die de prevalentie van betwistbaar gedrag beoordelen, is doorgedrongen. Deze veronderstelling wordt algemeen aanvaard, op voorwaarde dat het gedrag in kwestie delicaat is en/of maatschappelijk ongewenst. De rationale is dat de respondenten meer waarschijnlijk niet in verleiding worden gebracht om toe te geven aan schandelijke gedrag maar dat ze geneigd zijn betrokkenheid te ontkennen van dergelijke gedragingen waar ze wel degelijk bij betrokken waren. We denken dat deze veronderstelling, gezien het onderwerp, ook verdedigbaar is in de huidige studie.

Zoals in de inleiding aangegeven, is er een grote grijze zone van acceptabel gedrag. Hoewel het vervalsen van gegevens nooit gerechtvaardigd is, kan hetzelfde niet gezegd worden voor alle items; bijvoorbeeld: het niet rapporteren van alle metingen bij een onderzoek kan gepast zijn als twee metingen voor dezelfde construktie hetzelfde significante patroon qua resultaten geven, die niet gemakkelijk kunnen worden gecombineerd tot één. Daarom vertegenwoordigen niet alle toegevingen wetenschappelijke zware fouten, of zelfs kleinere vergrijpen; sommige respondenten leveren perfekt verdedigbare redenen om tot een bepaald gedrag over te gaan. Toch voeren andere respondenten rechtvaardigende argumenten aan die, hoewel ze die zelf als “verdedigbaar” categoriseerden, omstreden waren (bv. het laten vallen van de metingen die niet in overeenstemming zijn met de hypothese, omdat daarmee een meer samenhangend verhaal kan worden verteld, waardoor de kans op publicatie vergroot). Opmerkelijk is echter dat in het follow-up onderzoek – waarin de deelnemers het gedrag, ongeacht de betrokkenheid, beoordeelden – de aantallen voor verdedigbaar gedrag laag waren; wat er op wijst dat het algemeen sentiment is dat dergelijke gedragingen niet te rechtvaardigen zijn.

We gaan ervan uit dat de overgrote meerderheid van de onderzoekers oprecht gemotiveerd is om degelijk wetenschappelijk onderzoek te doen. Respondenten lijken onbewust over te gaan tot QRPs – zij die aangeven dat ze betrokken waren bij de praktijken, geloven over het algemeen dat hun daden verdedigbaar zijn.

Dit geloof kan voor een deel een nevenprodukt zijn van publikatie-druk: de inherente ambiguïteit bij de verdedigbaarheid van onderzoek-praktijken kan researchers er toe leiden, per ongeluk, deze dubbelzinnigheid te gebruiken om zichzelf te misleiden en hun eigen dubieuze research-praktijken als “verdedigbaar” te zien. Deze denkwijze zou ten dele kunnen verklaren waarom de meest ongehoorde praktijken in ons onderzoek (bv. “het vervalsen van gegevens”) minder vaak lijken voor te komen dan de relatief “minder betwistbare” (bv. “niet alle condities van een studie melden”) – het is makkelijker om een post-hoc uitleg te bedenken om het weglaten van “balast” gegevens te “rechtvaardigen” dan om duidelijke data-vervalsing te rechtvaardigen, hoewel beide praktijken vergelijkbare opleveren.

Gezien de bevindingen van onze bevraging, is het geen verrassing dat vele onderzoekers hun bezorgdheid uiten over de mislukkingen om gepubliceerde resultaten te repliceren. In een stuk in de New Yorker stuk (2010) over de problematiek van de niet-reproduceerbaarheid, bespreekt Jonah Lehrer mogelijke verklaringen voor het afname-effekt” – de neiging van effekt-groottes om af te nemen bij daaropvolgende pogingen tot replicatie. Hij concludeert dat conventionele verklaringen van dit effekt (bv. publikatie-bias) onvolledig zouden kunnen zijn. In een daaropvolgend en inzichtelijk commentaar, suggereert Jonathan Schooler dat niet-gepubliceerde gegevens verantwoordelijk kunnen zijn voor het afname-effekt. Door het documenteren van het verrassend groot deel van de onderzoekers dat betrokken is bij QRPs – met inbegrip van het selektief weglaten van observaties, experimentele condities en studies uit de wetenschappelijke documenten – biedt het huidige onderzoek empirische ondersteuning voor Schooler’s bewering. Recent werk van anderen gaat verder: door te laten zien hoe gemakkelijk QRPs ongeldige resultaten kunnen opleveren en door hervormingen voor te stellen.

QRPs kunnen de tijd van onderzoekers verspillen en wetenschappelijke vooruitgang uitstellen, aangezien researchers vruchteloos streven naar uitbreiding van effekten die niet echt zijn en deze dus niet kunnen repliceren. Maar meer ontmoedigend is het feit dat ze de research-integriteit bedreigen en onrealistisch elegante resultaten produceren die moeilijk te evenaren zijn zonder zelf tot dergelijke praktijken over te gaan. Dit kan leiden tot een ‘race naar de bodem’, met twijfelachtig onderzoek dat nog meer twijfelachtig onderzoek voortbrengt. Als hervormingen naar het verminderen van de prevalentie van QRPs toe doeltreffend zouden zijn, zou dit niet alleen de wetenschappelijke integriteit ondersteunen maar ook de druk op onderzoekers om onrealistisch elegante resultaten te produceren kunnen verminderen.

oktober 29, 2011

Een Epidemie van Valse Beweringen

Filed under: Wetenschap - algemeen — mewetenschap @ 5:48 pm
Tags: , , ,

John Ioannidis – arts, professor geneeskunde / gezondheid-research & -beleid en afdeling-hoofd van de het ‘Stanford Prevention Research Centre’ aan de ‘Stanford University School of Medicine’ – bespreekt belangrijke problemen bij biomedische research en manieren om de planning, uitvoeringen en rapportering sterker te maken.

Scientific American Magazine Juni 2011

Een Epidemie van Valse Beweringen

Competitie en belangen-conflicten vervormen te veel medische bevindingen

John P. A. Ioannidis

Vals positieven en overdreven resultaten bij ‘peer-reviewed’ wetenschappelijke studies hebben in de afgelopen jaren epidemische proporties aangenomen. Het probleem is alomtegenwoordig in de economische, sociale en zelfs in de natuur-wetenschappen, maar het is vooral kolossaal in de biomedische wetenschappen. Veel studies die claimen dat sommige medicijnen of behandelingen nuttig zijn, bleken niet waar te zijn. We hoeven maar te kijken naar de tegenstrijdige bevindingen over beta-caroteen, vitamine-E, hormoon-behandelingen, Vioxx en Avandia. Zelfs wanneer effekten autenthiek zijn, is de ware omvang ervan vaak kleiner dan aanvankelijk werd beweerd. Het probleem begint met de stijgende verwachtingen van de wetenschap bij het publiek. Doordat ze menselijk zijn, hebben wetenschappers de neiging om aan te tonen dat ze meer weten dan eigenlijk het geval is. Het aantal onderzoekers – en het aantal experimenten, observaties en analyses die ze produceren – is ook exponentieel toegenomen in vele gebieden, maar afdoende beveiligingen tegen vooroordelen ontbreken. Onderzoek is gefragmenteerd, de concurrentie is fel en de nadruk wordt vaak gelegd op afzonderlijke studies in plaats van het grote geheel. Veel onderzoek wordt uitgevoerd om andere redenen dan het streven naar waarheid. Belangen-conflicten zijn er in overvloed en ze beïnvloeden de resultaten. In de gezondheid-zorg wordt onderzoek vaak uitgevoerd in opdracht van bedrijven die een groot financieel belang bij de resultaten hebben. Zelfs voor academici staat of valt het succes vaak met het publiceren van positieve bevindingen. De oligopolie van ‘high-impact’ tijdschriften heeft ook een verstorend effekt op de financiering, academische carrière en de markt-aandelen. De industrie maakt de onderzoek-agenda op maat van hun behoeften, wat ook de academische prioriteiten, tijdschrift-omzet en zelfs de publieke financiering vorm geeft.

De crisis zou het vertrouwen in de wetenschappelijke methode niet mogen schaden. De mogelijkheid om iets als vals aan te duiden blijft een kenmerk van de wetenschap. Maar wetenschappers moeten de manier waarop ze hun onderzoek uitvoeren en hoe ze bewijs verspreiden verbeteren. Ten eerste moeten we routinematig robuuste en uitgebreide externe validatie eisen – onder de vorm van bijkomende studies – voor elk rapport dat beweert iets nieuws te hebben gevonden. Veel onderzoek-gebieden besteden weinig aandacht aan de noodzaak van replicatie of zijn er te spaarzaam mee en doen het op goed geluk. Ten tweede: wetenschappelijke rapporten moeten rekening houden met het aantal analyses die zijn uitgevoerd, wat neiging tot vals positieven zou bagatelliseren. Natuurlijk zou dat betekenen dat sommige geldige claims over het hoofd worden gezien. Hierbij zouden grote internationale samenwerking-verbanden onontbeerlijk zijn. Epidemiologie van het menselijk genoom heeft een goed ‘track-record’ omdat enkele grote consortia rigoureus genetische risico-factoren valideren. De beste manier om ervoor te zorgen dat de test-resultaten worden geverifieerd, zou zijn dat wetenschappers hun gedetailleerde experimentele protocollen registreren vooraleer hun onderzoek te starten en de volledige resultaten en gegevens openbaar maken wanneer het onderzoek klaar is. Op dit moment worden resultaten vaak selektief gerapporteerd waarbij de nadruk wordt gelegd op de meest opwindende, en buitenstaanders hebben vaak geen toegang tot wat ze nodig hebben om studies te repliceren. Tijdschriften en financiering-agentschappen moeten volledige openbaarheid van alle gegevens en analytische methoden voor elk gepubliceerd artikel sterk aanmoedigen. Het zou ook helpen als wetenschappers op voorhand de beperkingen van hun gegevens of de inherente gebreken van hun studie-ontwerpen zouden meegeven. Zo ook moeten wetenschappers en sponsors grondig alle potentiële belangenconflicten omschrijven. Sommige onderzoek-gebieden hebben één of meerdere van deze mechanismen overgenomen. Grote internationale consortia worden steeds gemeengoed in de epidemiologie; tijdschriften zoals ‘Annals of Internal Medicine’ en het ‘Journal of the American Medical Association’ instrueren auteurs om studie-beperkingen te adresseren en veel tijdschriften stellen vragen over belangen-conflicten. Het op grote schaal toepassen van de maatregelen zal echter niet gemakkelijk zijn.

Vele wetenschappers die zich bezighouden met onderzoek van hoge inzet zullen weigeren grote onthullingen te doen. Nog belangrijker: veel essentieel onderzoek werd al overgelaten aan de farmaceutische en biomedische industrie, die soms ontwerpen en studies rapporteren op een manier die het meest gunstig is voor hun produkten. Dit is een knelpunt. Hogere investeringen in ‘evidence-based’ klinisch en populatie-onderzoek, bijvoorbeeld, zou niet moeten worden ontworpen door de industrie maar door wetenschappers zonder belangen-conflicten.

Uiteindelijk zouden bevindingen die wegen op behandeling-beslissingen en het beleid moeten verschijnen met een uitleg over onzekerheden die ze omgeven. […]

juli 5, 2010

Citatie, peer review & authoriteit – bedachtzaamheid bij wetenschappelijke verslaggeving

Filed under: Wetenschap - algemeen — mewetenschap @ 6:38 am
Tags: , , ,

Het citeren van onderbouwde artikels zou een onpartijdige wetenschappelijke methode en een sterke vorm van sociale communicatie kunnen/moeten zijn. Jammer genoeg zijn er mensen die er misbruik van maken en de informatie op verschillende manieren proberen te verdraaien om informatie-stromen te generen die leiden tot het verlenen van ongefundeerde authoriteit aan beweringen. Ook in de M.E.(cvs) gemeenschap gebeurt dit!

We geven onderstaand stuk mee opdat lezers beducht zouden leren worden voor dergelijke mechanismen en nuance kunnen aanbrengen in de stroom van (al dan niet wetenschappelijke) informatie die over ons heen komt. Check de bronnen en wees kritisch. Lees niet enkel datgene u wil horen.

BMJ 2009;339:b2680

Hoe verdraaiingen van citaties ongefundeerde authoriteit creëeren

Steven A Greenberg, associate professor of neurology

Children’s Hospital Informatics Program and Department of Neurology, Brigham and Women’s Hospital, Harvard Medical School, Boston, MA 02115, USA

Inleiding

Biomedische kennis ontstaat uit wetenschappelijke gegevens. De wijze waarop dit gebeurt binnen de afzonderlijke wetenschappelijke publicaties is een algemeen aanvaard proces waarbij artikels rapporteren over de rationale, methodes, resultaten en conclusies. Hoe een volledig overtuiging-/geloof-systeem dat wordt gedeeld door een wetenschappelijke gemeenschap uiteindelijk evolueert uit data van alle artikels binnen een specialiteit, wordt minder goed begrepen. […]

De benadering die hier werd genomen was om eenvoudig alle verklaringen in de medische literatuur over een geloof-systeem te verzamelen en het citatie-patroon daarvan te bestuderen – d.w.z. hoe elke uitspraak wordt ondersteund door een referentie naar andere artikels.

Bespreking

Citatie, de handeling van het verbinden van verklaringen d.m.v. verwijzing naar de bredere literatuur, is niet simpelweg een onpartijdige wetenschappelijke methode voor het linken van gerelateerde gepubliceerde kennis. Citatie kan worden gebruikt voor eigen-belang of als overtuiging-instrument. Deze aspecten van citatie zouden sociale citatie kunnen word genoemd. Er werd hier bestudeerd hoe verdraaiingen/vervormingen van het overtuiging-aspect van sociale citatie kan resulteren in brede acceptatie als feit van ongefundeerde beweringen. Deze vervormingen kunnen worden gedetekteerd en geïnterpreteerd d.m.v. sociaal-netwerk theorie omdat citatie ter overtuiging een sociaal gedrag is. Netwerk-theorie toegepast op citatie-netwerken, opgebouwd uit volledige artikel-bibliografieën, zoals het wetenschap-citatie netwerk, kan maatschappelijke attitudes betreffende tijdschriften en specifieke artikels (bv. impact-factoren) onthullen maar deze netwerken zijn niet [altijd] geschikt voor het begrijpen van de grondslag(en) voor geloof in specifieke beweringen. Als netwerken in plaats daarvan worden beperkt tot citatie met betrekking tot één set van verwante claims (een claim-specifiek citatie-netwerk) dan worden ze scherp gefocuste instrumenten voor het begrijpen van sociale communicatie betreffende de beweringen – wat in feite het gepubliceerd document van een geloof-systeem is dat wordt gedeeld door een gemeenschap. Deze laten ter studie toe niet enkel wat wordt gezegd over een overtuiging (de traditionele bedoeling van ‘review-papers’ [overzicht artikelen]) maar ook wie het hoort en hoe het wordt na-verteld.

[…] De computer-analyse van het claim-specifiek citatie-netwerk dat het overtuiging-systeem vertegenwoordigt, detekteerde bepaalde vervormingen in de citatie-patronen die niet zouden zijn verwacht als enkel wetenschappelijke citatie zou gebruikt zijn geweest. Primaire gegevens die beweringen waarop de overtuiging was gebaseerd verzwakten of verwierpen, werden genegeerd (citatie-bias) en een klein aantal invloedrijke artikels en citaties versterkten exponentieel met verloop van tijd de ondersteunende claim zonder nieuwe primaire data aan te brengen (amplificatie). Bepaalde verwante beweringen werden als feit verzonnen. De gecombineerde effekten van deze citatie-verdraaiingen resulteerde in authoriteit van de overtuiging (aanvaarding ervan) overéénkomstig met sociaal-netwerk theorie.

Drie factoren kunnen verklaren hoe citatie-vervormingen authoriteit creëeren bij een overtuiging-systeem. Voorop staat de kracht van citatie door de keuze van welke artikels men kiest welke men negeert (citatie-bias), door het citeren maar verdraaien van de inhoud (citatie-afleiding) en door het gebruiken van citatie om feiten te verzinnen (citatie-vormverandering, ‘dood-lopende’ citatie en ‘achterdeur’-verzinning).

Ten tweede is een inherente eigenschap van negatieve resultaten dat ze zich niet verspreiden via het netwerk. Ze werden niet herhaaldelijk geciteerd door hun auteurs in latere artikels aangezien er misschien simpel-weg verder niets over te zeggen viel. Anders dan ‘positieve resultaten’ is er niets opwindend aan het herhaaldelijk schrijven over hoe iets niét werd gevonden bij een experiment. Dus is de vooruitgang vanuit gegevens naar aanvaarde bewering verschillend tussen een enkel artikel vergeleken met vele artikels binnen een specialiteit. Binnen een enkel artikel zien lezers nieuwe claims over het algemeen als vals tot ze juist blijken d.m.v. overtuigende methodes en resultaten. […]

Ten derde, het geloof-systeem is mogelijks een informatie-cascade […], een entiteit die opkomt wanneer mensen voordeel denken te halen uit het aanvaarden van de heersende opvatting i.p.v. persoonlijke informatie waarover ze zouden kunnen beschikken bij het maken van keuzes. Van bepaalde mathematische eigenschappen van informatie-cascades (preferentiële gehechtheid) zou inderdaad kunnen verwacht een netwerk op te leveren met de eigenschappen die hier worden gezien (een bevooroordeeld netwerk […]). Vele auteurs zouden zich wel eens niet bewust kunnen zijn van de kritieke gegevens, aangezien deze doeltreffend geïsoleerd zijn uit het discours aangaande de claim en niet vermeld worden in overzicht-artikels. Hoewel onbetrouwbare informatie-cascades in theorie fragiel zijn en snel uitéén vallen wanneer ze worden blootgesteld, gebeurt dit misschien niet bij biomedische overtuiging-systemen, waarbij tegengesproken claims blijven bestaan.

Vele gepubliceerde biomedische geloof-systemen zouden informatie-cascades kunnen zijn omdat herhaling van beweringen alomtegenwoordig zijn in de biomedische literatuur. Vele zijn gefundeerd op solide gegevens, waarbij de auteurs claims herhalen na te hebben vertrouwd op het gepubliceerd deskundig advies van hun collegas. Er bestaan echter prikkels voor het genereren en verbinden van informatie-cascades ongeacht hun soliditeit. Zich aansluiten bij een informatie-cascade helpt publicatie, aangezien artikels iets hebben te vertellen en negatieve resultaten hebben bevooroordeling tegen. Het ontwikkelen van en het toetreden tot een informatie-cascade kan de kans op het verkrijgen van research-fondsen verbeteren omdat door hypothese aangedreven research een essentiële vereiste is bij vele research-financierende agentschappen (zoals de ‘National Institutes of Health’) en succesvolle financiering vereist over het algemeen een “sterke hypothese … gebaseerd op aktuele wetenschappelijke literatuur” – d.w.z. het gepubliceerde overtuiging-/geloof-systeem van een claim. Kansen op succesvolle financiering kunnen daarom worden verhoogd door tot de cascade toe te treden (het herhalen van de bewering en het voorstellen van experimentele plannen er omtrent). Bij de uitbouw van het citatie-netwerk naar tekst in subsidie-voorstellen die worden gesponsord door [bv.] de ‘National Institutes of Health’, zijn citatie-bias, afleiding of verzinsel dikwijls aanwezig. Eens research-financiering werd gebruikt om een cascade te vervoegen, zijn er verdere prikkels om resultaten te interpreteren via confirmate-bias (“op een manier die iemand’s vooroordelen bevestigt en informatie vermijdt, en via interpretaties die eerdere overtuigingen tegenspreken”) om succes van de research aan te tonen voor toekomstige financiering. Hoewel het vervoegen van een informatie-cascade succesvol gedrag kan zijn voor sommige mensen, reduceert het de waarschijnlijkheid dat toekomstige onderzoekers kunnen ontdekken of het betrouwbaar is of niet.

Methodes voor de construktie en analyse van uitgebreide claim-specifieke citatie-netwerken biedt uitdagingen en beperkingen. Deze omvatten het interpreteren van de betekenis van tekst, gezien mensen redelijkerwijs tekst verschillend kunnen interpreteren, en het begrijpen van de geobserveerde fenomenen. […]

————————-

Woordenschat citatie-vervormingen

Citering

Wetenschappelijke én sociale vormen: de wetenschappelijke vorm verbindt verklaringen met de bredere medische literatuur, de sociale vorm (sociale citatie) omvat zelf-bedienende en overredenende subtypes.

Citatie-verdraaiingen

Zelf-bedienende citering is altijd een vervorming.

Overredenende citering kan nodig zijn om nieuwe, solide claims te communiceren naar de wetenschappelijke gemeenschap; dit kan echter op een vervormde manier worden gebruikt – citatie-bias, amplificatie en verzinning.

Citatie-bias

Systematisch negeren van artikels die inhoud bevatten die strijdig is met een claim.

‘Ondersteuning’-claim; rechtvaardigen van dier-modellen om mogelijkheden te bieden een claim te versterken.

Amplificatie

Uitbreiding van een geloof-systeem zonder gegevens.

Citatie in artikels die geen primaire data bevatten, het verhogen van het aantal citaties die de claim steunen zonder gegevens te presenteren die ernaar verwijzen.

Verzinning

Citatie-afleiding – het citeren van inhoud maar claimen dat het een andere betekenis heeft, waardoor de gevolgen worden verlegd.

Citatie-transmutatie – de omzetting van hypothese in feit enkel door citatie.

‘Achterdeur’ verzinsel – herhaalde misrepresentatie van samenvattingen als ‘peer-reviewed’ artikels om lezers te bedotten en ze te laten geloven dat beweringen gebaseerd zijn op ‘peer-reviewed’ gepubliceerde methodes en gegevens.

‘Dood-lopende’ citatie – ondersteuning van een claim met citatie in artikels die geen inhoud bevatten die naar de bewering verwijst.

Titel-verzinning – melding van ‘experimentele resultaten’ in de titel van een artikel, zelfs als het artikel de melding over uitvoering of resultaten van dergelijke experimenten niet ondersteunt.

*************************

Bij het lezen van meldingen over wetenschappelijk onderzoek, hier en elders, is het belangrijk dat de lezer niet overhaast conclusies trekt. Meningen allerhande kan men overal op het www vinden. Pers-berichten (niet altijd even betrouwbaar), conferentie-verslagen, blogs (zoals deze hier – lees dus vooral ook de artikels zelf!), meldingen van ‘journalisten’ over nog niet gepubliceerde stukken, enz. Het is zeer belangrijk de bronnen te checken!

Wetenschappers zijn overigens ook mensen en maken dus wel eens fouten. Uiteindelijk zal de waarheid bovenkomen. We moeten de ‘peer review’ zijn gang laten gaan en respecteren, en wetenschap zichzelf laten corrigeren. Het blokkeren van publicaties is anders natuurlijk ook een belemmering van het wetenschappelijk proces. Er kan dan achterdocht ontstaan en men zou in dat geval niet toelaten aan wetenschappers dat ze zichzelf en hun collegas stap voor stap verbeteren. Het publiek moet echter inzien dat het nooit ‘alles of niets’ is. Als er over de gekende gegevens geen consensus bestaat, is het niet wetenschappelijk om definitieve antwoorden, testen, behandelingen, enz. te eisen.

Grant Jacobs, een wetenschapper uit Nieuw-Zeeland schreef – n.a.v. de aanhoudende XMRV-controverse bij M.E.(cvs) – op zijn blog (sciblogs.co.nz/code-for-life; 29 jun 2010) het volgende; maar het geldt natuurlijk voor alle wetenschap:

Eén van de frustrerende dingen voor wetenchappers is te moeten vaststellen dat media-verslaggeving te snel op dingen springt (Dat wanhopige verbruikers en dubieuze behandelaars te gauw nieuwe resultaten willen, helpt de zaken ook niet vooruit.) en melding maakt van elke nieuwe bevinding in een onopgelost verhaal alsof het de laatste woorden erover betrof. Het schildert elk research-artikel af als definitief. Een research-artikel is in feite een argument voor een geval, een geval dat later misschien wel  mogelijks verkeerd blijkt.

‘Instant’ stap-per-stap verslagen portreteren wetenschap als een progressie van abrupte ontdekkingen, in plaats van  een opéénstapeling van kleinere stukjes uit veel verschillende bronnen die met verloop van tijd leiden tot grotere conclusies. Het is juist dat er af en toe werkelijk verrassende bevindingen zijn die in het gezicht vliegen van het meeste dat was gekend op een bepaald gebied maar die zijn zeldzaam; veel gebruikelijker zijn toevoegingen aan wat is geweten. Soms worden research-bevindingen tegengesproken door latere studies. Eén van de basis-beginselen van wetenschap is dat experimenten zouden moeten in staat zijn te worden herhaald. Resultaten zouden reproduceerbaar moeten zijn. Als resultaten niet kunnen worden gereproduceerd, is meer werk nodig om uit te klaren wat waar is en wat niet, om uit te vinden wat juist het verschil maakte. Dikwijls is geen enkel resultaat ‘verkeerd’ maar eerder lichtjes verschillende (en geldige) benaderingen geven resultaten die met elkaar tegenstrijdig zijn. Dit is dikwijls hoe nieuwe factoren, die voor een verhaal belangrijk zijn, worden blootgelegd.

De resolutie van tegenstrijdige resultaten kan vrij technisch zijn. De verschillende resultaten kunnen te wijten zijn aan verschillende technieken, contaminatie, verschillen in stalen en andere factoren. Het oplossen daarvan vergt gewoonlijk een gedetailleerd begrip van het betrokken onderzoek-gebied van de wetenschap.

Van belang is dus de media-rapportering, in het bijzonder hoe nieuwe research-bevindingen worden voorgesteld.

Het melden van bevindingen uit hun context is misleidend. Soms zijn rapporten in de media correct in het aangeven van een naar voren tredend verhaal, wat goed is. Maar soms waren ze al een keer eerder verkeerd en willen ze dat niet meer voor hebben.

Pers-berichten door instituten of gevestigde belangen (bv. degenen die testen aanbieden) kunnen de dingen in grote mate vanuit hun standpunt voorstellen, waarbij ze tegengestelde standpunten bagatelliseren of weglaten. Eén reden waarom op media-rapporten die grotendeels herschreven pers-berichten zijn wordt neergekeken, is dat ze dikwijls niet de volledige context weergeven waarbinnen de nieuwe bevindingen vallen (als ze er al één meegeven). Onopgeloste wetenschap-vraagstukken kunnen nogal gepolariseerd raken, bijzonderlijk wanneer er tegenstrijdige resultaten opduiken, waarbij enkele researchers in verschillende kampen terechtkomen. Vragen waar de bevindingen van een onderzoeker op wijzen, zal waarschijnlijk slechts een deel van het verhaal weergeven, mogelijks een nogal misleidend deel als het niet correct in de volledige context wordt geplaatst.

In verder-lopende verhalen – wat in veel gevallen alle wetenschappelijke verhalen betekent – zouden interviewers de vraag moeten stellen “Wat is de stand van zaken?” Is dit een kwestie die men nog aan het oplossen is? Bevestigen andere studies dat de nieuwe resultaten (waarschijnlijk) correct (zullen) zijn? Welke aspecten zijn nog onzeker of waarschijnlijk, in plaats van getest? Worden de nieuwe bevindingen geaccepteerd door de meeste specialisten in het onderzoek-gebied? (Er zorg voor dragend te onthouden dat het de soliditeit van het bewijs is die telt; meningen tellen niet echt mee – in tegenstelling tot bewijs…)

Hebben andere specialisten de kans al gekregen de research te bekijken en er op door te denken ? Dit is in het bijzonder belangrijk als het nieuws vers is: het kost tijd de details van research-bevindingen te absorberen. Snel rapporteren, bijzonderlijk over research onder embargo, kan vooruit lopen op de tijd nodig om de nieuwe resultaten te absorberen.

Proberen te verstaan wat de stand van zaken is, is proberen de nieuwe resultaten te begrijpen in de context van de literatuur of relevante wetenschappelijk gemeenschap als geheel, in plaats van vanuit het perspektief van één persoon of één research-artikel. Dit alles versterkt misschien opnieuw dat verhalen door specialisten best in de handen van specialisten blijven, maar de juiste vragen moeten minstens kunnen worden gesteld [Ook door patiënten!].

oktober 25, 2009

Interpretatie wetenschappelijke studies

Filed under: Wetenschap - algemeen — mewetenschap @ 4:04 pm
Tags: , , , ,

http://www.cfids.org/about-cfids/medical-research-sense.asp

CFIDS Association of America

Making Sense of Medical Research

[…] Elke nieuwe ontdekking is onderworpen aan verscheidene interpretaties en zou moeten worden gezien in de context van de wetenschappelijke methode.

Hier volgt wat info overgenomen uit een ‘fact-sheet’ van de ‘National Institute on Aging’ getiteld ‘Understanding Risk: What Do Those Headlines Really Mean?’ [U.S. National Institues of Health; http://www.nia.nih.gov/HealthInformation/Publications/risk.htm%5D […] Het kan helpen CVS-studies beter te begrijpen. Het is degelijke informatie om in het achterhoofd te houden telkens een nieuwe studie over CVS verschijnt.

Elke dag zien we verhalen over nieuwe medische vondsten in de krant of op televisie. We horen bijvoorbeeld dat een bepaald medicijn een 300% of drie-voudinge stijging van het aantal beroertes veroorzaakt. Dat is een grote toename – het klinkt angstaanjangend. Maar, als je weet dat bij elke 10.000 mensen die het medicijn niet nemen, er twee beroertes voorkomen, dan betekent een drie-voudige stiging eigenlijk slechts zes extra beroertes. Misschien is dat niet zo heel schrikwekkend. Het is ook verwarrend dat verhalen soms tegenstrijdige resultaten lijken te melden – een nieuw vaccin voorkomt een verwoestende infektie, of doet dat niet. Wie zijn wij om wijs geraken uit dergelijke verhalen? Hoe weten we wat te geloven?

[…]

Als je leest over nieuwe medische bevinding, vraag dan jezelf af:

Was het een studie in het laboratorium, bij dieren of bij mensen? Onderzoeksresultaten bij mensen zijn wellicht meer betekenisvol voor je.

Omvat de studie genoeg mensen zoal jezelf? Je zou moeten controleren om te zien of de mensen in de studie dezelfde leeftijd, hetzelfde geslacht, onderwijsniveau; dezelfde ethnische achtergrond hadden en tot dezelfde inkomsten-groep behoorden als jezelf; en dezelfde gezondheidszorgen hadden.

Was het een gerandomiseerde, gecontroleerde klinische proef met duizenden mensen? Deze zijn de duurste om uit te voeren maar ze geven wetenschappers ook de betrouwbaarste resultaten.

Waar werd het onderzoek uitgevoerd? Wetenschappers aan een geneeskunde-departement of groot ziekenhuis bv. zijn wellicht beter uitgerust om ingewikkelde complex experimenten uit te voeren of hebben meer ervaring met het thema. Vele grote klinische testen omvatten meerdere instituten maar de resultaten kunnen worden gerapporteerd door één coördinerende groep.

Worden de resultaten op een makkelijk te begrijpen manier voorgesteld? Ze zouden het absoluut risico, relatief risico of een ander begrijpbaar getal moeten gebruiken.

Als een nieuwe behandeling werd getest: waren er nevenwerkingen? Soms zijn de bijwerkingen bijna zo ernstig als de ziekte. Of ze kunnen betekenen dat het medicijn een ander gezondheidsprobleem kan doen verergeren.

Wie betaalde voor de research? Zijn degenen die steun bieden er op uit financieel voordeel te halen uit positieve of negatieve resultaten? Soms draagt de regering of een grote stichting financieel bij in de research-kosten. Dit betekent dat ze de plannen van het project hebben bekeken en beslisten ze dat de financiering eerzaam was maar ze er toch geen geld uit winnen. Als een medicijn wordt getest, kan de studie gedeeltelijk of volledig zijn betaald door het bedrijf dat het medicijn zal produceren en verkopen.

Wie rapporteert de resultaten? Is de krant, het tijdschrift, radio- of televisie-station een betrouwbare bron voor medisch nieuws? Sommige grote publicaties en omroep-stations hebben speciale wetesnchap-reporters die gevormd zijn medische bevindingen te interpreteren. Je kan ook gaan praten met je arts om je te helen oordelen hoe correct de meldingen zijn.

Onthou dat vooruitgang op het gebied van medische research vele jaren duurt. De resultaten van één studie moeten worden gedupliceerd door andere wetenschappers op andere plaatsen vooraleer ze worden aanvaard als algemene medische praktijk. Elke stap op het onderzoekspad biedt een sleutel tot het uiteindelijk antwoord – en waarschijnlijk doet het ook een nieuwe vraag rijzen.

[…]

Wetenschap is een sociale onderneming en wetenschappelijk werk wordt meestal door de gemeenschap geaccepteerd als het werd bevestigd. Cruciaal is dat experimentele en theoretische resultaten door anderen binnen de wetenschappelijke gemeenschap moeten worden gereproduceerd. Researchers hebben hun leven gegeven voor deze mening; Georg Wilhelm Richmann werd bv. door een bliksem gedood (1753) terwijl hij het vlieger-experiment van Benjamin Franklin uit 1752 probeerde te herhalen.

Ter bescherming tegen slechte wetenschap en fraudulente gegevens, hebben federale research-financiering agentschappen en wetenschappelijke tijdschriften zoals ‘Nature’ en ‘Science’ de beleidslijn dat researchers hun data en methoden moeten archiveren opdat andere onderzoekers er toegang toe hebben, de data en methoden kunnen testen, en verder bouwen op de research die voorafging. Het archiveren van wetenschappelijke gegevens kan worden gedaan bij een aantal nationale archieven in de V.S. of bij het ‘World Data Centre’.

Reproduceerbaarheid is één van de hoofd-principes van de wetenschappelijke methodologie en refereert naar de mogelijkheid of een test/experiment accuraat kan worden gereproduceerd, of herhaald, door iemand anders die onafhankelijk werkt.

De resultaten van een experiment uitgevoerd door een bepaalde researcher of onderzoeksgroep worden over het algemeen geëvalueerd door andere onafhakelijke researchers die zelf hetzelfde experiment herhalen, gebaseerd op de originele experimentele beschrijving. Dan bekijken ze of hun experiment gelijkaardige – aan die gerapporteerd door de originele groep – resultaten oplevert. De resultaat-waarden worden ‘evenredig’ beschouwd als ze worden bekomen (in afzonderlijke experimentele testen) volgens dezelfde reproduceerbare experimentele beschrijving en procedure.

Reproduceerbaarheid is niet hetzelfde als herhaalbaarheid, wat de slaagkans meet in opéénvolgende experimenten, mogelijks uitgevoerd door dezelfde onderzoekers. Reproduceerbaarheid houdt verband met de overeenkomst van test-resultaten van verschillende operatoren, test-apparaten en laboratoria.

september 16, 2008

Integratie van wetenschappelijke vernieuwing

Filed under: Gezondheidszorg,Wetenschap - algemeen — mewetenschap @ 3:21 pm
Tags: , , , ,

Public Health. 2008 Jun 3;122(7):671-680

Medische praktijk en maatschappelijke gezondheidszorg in de 21steeeuw: tijd voor verandering

Genuis SJ

University of Alberta, Edmonton, Alberta, Canada T6K 4C1

Het hedendaags model van ‘evidence-based’ geneeskunde heeft de alomtegenwoordige publieke gezondheidsdilemmas van escalerende chronische aandoeningen geen effektief antwoord geboden, en wordt uitgedaagd door een substantiële ontevredenheid bij patiënten en zorgverleners. Verscheidene recente meldingen zetten het storend probleem van een verslechterd moreel binnen de medische gemeenschap in de verf, terwijl ongekende aantallen mistevreden patiënten zich wenden tot onconventionele therapieën in hun zoektocht naar hulp. Naast dokterstekorten, overwerk, stijgende regulering en een horde andere uitdagingen bijdragen tot de immer-stijgende stress, vinden veel medische professionals geneeskunde niet langer een voordelige roeping en voelen ze zich ineffektief in hun werk. Recent onderzoek benadrukt echter vernieuwende, klinische strategieën die gebruik maken van principes uit groeiende domeinen zoals molekulaire geneeskunde en epigenetica, die veelbelovende uitkomsten bieden voor veel chronische zieke patiënten. In dit artikel wordt een onderzoeks- en etiologisch gebaseerde benadering van de klinische praktijk voorgesteld, een strategie die resulteerde in het herstel van de fysieke en mentale gezondheid van veel patiënten. Toepassingen voor maatschappelijke gezondheid met inbegrip van ziekte-preventie en bevordering van de gezondheid worden ook besproken.

Integratie van wetenschappelijke vernieuwing

Een studie van de de medische geschiedenis bevestigt dat vertaling van wetenschappelijke kennis, d.i. het proces waarbij nieuwe research en wetenschappelijke verniewing wordt uitgedragen, verwerkt, geïncorporeerd en klinisch geïmplementeerd, is een overbekend lethargisch en langgerekt trajekt dat onveranderlijk meerdere belemmeringen en onverzettelijke tegenkanting omvat.* Semmelweis’ levensreddende oplossing voor de pandemische kraamkoorts werd tientallen jaren belachelijk gemaakt, Linde’s simpel antwoord op scheurbuik-gerelateerde mortaliteit werd gedurende 40 jaar genegeerd, en Warren en Marshall’s recente Nobel Prijs voor hun onderzoek dat een etiologische link aantoonde tussen infektie en maagzweren werd pas toegekend na vele jaren van spot en ongeloof.

Max Planck, gerenommeerd natuurkundige en Nobel Prijs winnaar, liet optekenen dat “een nieuwe wetenschappelijke waarheid niet triomfeert door zijn tegenstanders te overtuigen en hen ‘het licht’ te doen zien maar eerder omdat zijn opponenten uiteindelijk sterven en een nieuwe generatie opgroeit die er vertrouwd mee is”. Gevestigde belangen, afkeer voor verandering, apathie, overheersende geestestoestanden, bureaucratische lethargie en intellectuele onwetendheid zweren samen om het proces van de vertaling van wetenschappelijke kennis te belemmeren. De geschiedenis toont aan dat innovatieve medische benaderingen typisch worden aangevochten door dissidente experten die, dikwijls met een gebrek aan geloofwaardige wetenschappelijke argumentatie, hun academische posities en geloofsbrieven gebruiken om verwarring te zaaien via hooghartige kritieken op nieuw bewijsmateriaal en persoonlijke aanvallen tegen boodschappers van verandering. Verdere verspreiding van ontluikende wetenschap, in het bijzonder naar een jongere generatie die onaangetast is en onbelast door verouderde kennis en sub-optimale praktijken, zal niettemin uiteindelijk de progressieve evolutie van de klinische geneeskunde toelaten.

*. Rogers EM. Diffusion of innovations. New York: The Free Press; 1995.

WIE HET SCHOENTJE PAST, TREKKE HET AAN…

In het M.E.(cvs)-wereldje zijn er jamer genoeg nog steeds te veel dergelijke artsen, onderzoekers,…

augustus 26, 2008

Zombie Wetenschap

Filed under: Wetenschap - algemeen — mewetenschap @ 7:08 am
Tags: , , ,

Medical Hypotheses Volume 71, #3, pp 327-329 (September 2008.)

Editorial

Zombie wetenschap:

[Een sinister gevolg van het evalueren van wetenschappelijke theorieën enkel en alleen op basis van eigenbelang]

Bruce G. Charlton MD; Corresponding Author, Editor-in-Chief ‘Medical Hypotheses’

Samenvatting

Alhoewel het klassiek ideaal is dat wetenschappelijke theorieën worden geëvaluaeerd door een zorgvuldig ontrafelen van hun interne logica en externe implikaties, en controleren of deze deducties en voorspellingen passen bij oude en nieuwe observaties; suggereert het feit dat zo veel vage, domme of incoherente wetenschappelijke theorieën door zo veel wetenschappers voor zo veel jaren klaarblijkelijk worden geloofd, dat dit ideaal niet noodzakelijk de praktijk in de echte wereld reflekteert. In de echte wereld ziet het er meer naar uit dat de meeste wetenschappers nogal gewillig zijn om verkeerde ideëen na te streven, zo lang ze maar worden beloond met een hogere kans op het verkrijgen van meer toelagen, publikaties en status. Het klassieke verhaal gaat dat bedriegelijke theorieën vlot zouden moeten worden neergehaald door sceptische (of jaloerse) wedijverende wetenschappers. In de praktijk echter, kan zelfs de meest onweerlegbare kritiek er niet in slagen valse hypothesen te verzwakken of onderuit te halen, als ze worden gesteund door voldoende economische spierkracht onder de vorm van overvloedige en volgehouden financiering. En als een tak van de wetenschap gebaseerd op valse theorieën een bruikbaar maar niet-wetenschappelijk doel dient, kan het onbeperkt gaande worden gehouden door voortdurende cash-transfusies van degenen wiens belangen het dient. Wanneer dit gebeurt, vervalt de echte wetenschap en ontwikkelt zich een ‘zombie wetenschap’. Zombie wetenschap is wetenschap die dood is maar niet wil gaan liggen. Het blijft stuiptrekken en rondlummelen op zo’n manier dat (van op afstand, en met je ogen half-toe) zombie wetenschap er als echt uitziet. Maar in feite heeft de zombie geen eigen leven; het wordt in leven gehouden en bewogen, enkel en alleen door een eindeloze stroom fondsen. Als zombie wetenschap niet wetenschappelijk bruikbaar is: wat is zijn funktie? In een notedop: zombie wetenschap wordt in stand gehouden omdat het bruikbare propaganda is om te worden ontplooid in arenas zoals politieke retoriek, openbaar bestuur, management, public relations, marketing en de massa-media. Het overtuigt, het installeert taboes, het stut een soort retorische poging om de publieke opinie te manipuleren. Inderdaad: zombie wetenschap komt in de massa-media vaak aannemelijker over dan echte wetenschap; en het is net die oppervlakkige aannemelijkheid op ’t eerste zicht die het enig en toereikend doel is van zombie wetenschap.

juli 22, 2008

Druk op Wetenschap

Filed under: Wetenschap - algemeen — mewetenschap @ 2:48 pm
Tags: , , , ,

PLoS Medicine March 07, 2008

Druk op Wetenschap

Arpad Pusztai

Gepensioneerd; voorheen: The Rowett Research Institute, Bucksburn, Aberdeen, Scotland, UK

Tegenstrijdige belangen: Geen

Gezien research duur is geworden en staatsfinanciering opgedroogd, verwelkomen de meeste wetenschappers de toestroom van industrieel kapitaal. Dit heeft echter ook een aantal niet-zo-welgekomen gevolgen. Begrijpelijk dat de industrie vindt dat de resultaten van onderzoek dat door hen wordt gefinancieerd ‘confidentiële business-informatie’ is. Een gebrek aan transparantie in research, in het bijzonder op het vlak van belangrijke biologische kwesties zonder wetenschappelijke consensus, kunnen echter niet alleen onze gezondheid in gevaar brengen en leiden tot milieu-schade, maar het gaat ook in tegen het belang van de wetenschap. Dit hindert de uitwisseling van resultaten en opinies tussen wetenschappers – de levensader van de wetenschap, zonder dewelke geen wetenschappelijke vooruitgang mogelijk is. Selektieve publikatie van gegevens ten gunste van de sponsor is ernstig voor de gemeenschap en vervormt bovendien de wetenschap. Een recent dergelijk artikel dat typisch is voor vele andere suggereert dat selektieve rapportering van de resultaten van klinische proeven met antidepressiva ernstige gevolgen kunnen hebben gehad voor researchers, gezondheidswerkers en patiënten (1). Het verbergen van data die wijzen op de gevaren van roken of van BSE (spongiforme encefalitis bij runderen [= gekke-koeien-ziekte]), of dat het genetisch-gemanipuleerde [GM] tryptofaan-supplement was betrokken bij het eosinopfylie myalgia syndroom of het niet publiceren van de significante verschillen tussen enkele gezondheidsbepalende constituenten van GM- en niet-GM sojabonen, hadden allemaal ernstige consequenties voor de wetenschap en de maatschappij (2).

Financiering van research door de industrie heeft ongetwijfeld een positieve bijdrage aan de wetenschap geleverd maar zijn vervormende effekten kunnen ook leiden tot de corruptie van waarden en zelfs van wetenschappers (3,4). Zo stelden de Directeur van de ‘Public Employees for Environmental Responsibility’ (PEER) en de ‘Union of Concerned Scientists’ [Unie van Bezorgde Wetenschappers] dat een desinformatie-syndroom de wetenschap en gouvernementele wetenschappers treft (5) omdat hun onderzoek aantoonde dat één op vijf wetenschappers werd gedirigeerd om informatie in een wetenschappelijk document te veranderen of uit te sluiten en meer dan de meldden gevallen waar commerciële belangen de omkering of terugtrekking van onderzoeksbesluiten hadden geïnduceerd. Daarenboven werden een derde tegengehouden om hun mening openlijk bekend te maken. Een artikel in ‘Nature’ (3) rapporteerde dat meer dan 15 percent van de 3.247 respondenten was voorgeschreven om het ontwerp, de methodologie te veranderen of de research-conclusies om te keren of terug te trekken wegens commerciële belangen en politieke interventies en 1,5 percent gaf vervalsing van de gegevens of plagiaat toe. Een recent artikel over de relatie tussen financieringsbron en conclusie in voedingsgerelateerde artikels besloot: “Industriële financiering van voedingsgerelateerde wetenschappelijke artikels kan conclusies beïnvloeden ten voordele van de produkten van de sponsors, met potentieel significante implikaties voor de volksgezondheid.” (6)

De meningen van mensen over wetenschap zijn ontegensprekelijk beïnvloed door berichten in de media. Het onderzoek door de ‘Institute of Professional Managers and Specialists’ in 2000 – aantonende dat 30 percent van de 500 respondenten was gevraagd hun research-conclusies op maat te maken, 17 percent om ze te veranderen zodat ze passen bij de door de klant voorkozen uitkomst en 3 percent werd gezegd ‘ongewenste’ resultaten niet te publiceren – was zeer schadelijk voor de wetenschap. Ook de amerikaanse ‘Fish and Wildlife Service’ rapporteerde dat 44 percent van de respondenten instrukties kreeg om gegevens achter te houden die de noodzaak voor bescherming van soorten aantoonden en 20 percent dat ze hun integriteit moesten compromiteren door data uit te sluiten of te veranderen. Een onderzoek van 103 gouvernementele wetenschappers door het ‘National Institutes of Health’ reveleerde dat 44 overheidswetenschappers ethische regels overtraden tijdens samenwerking met farmaceutische bedrijven en negen overtraden wellicht de strafwet. Vele wereldvermaarde wetenschappers, waaronder Sir Richard Doll, hebben financiële middelen gekregen van belangrijke industrieën wiens produkten ze onderzochten maar zonder dit aan te geven in publikaties (7). De nadelige gevolgen zouden erger kunnen zijn omdat van de 274 klachten betreffende wangedrag het ‘Department of Health and Human Services’ er, omwille van personeelstekort, maar 23 kon onderzoeken.

Deze kwestie kan niet langer worden genegeerd. Een oplossing moet worden gevonden om de voordelen van industrieel sponseren te maximaliseren maar zonder de geloofwaardigheid van research en wetenschappers in gevaar te brengen. Vragen, zoals of de verleiding van winsten biomedisch onderzoek kon bederven (8,9) of sponsoring door de industrie de integriteit van voeding-onderzoek kon ondermijnen (10) moet worden geregeld naar tevredenheid van én gemeenschap én wetenschap. De vroegere hoge status van wetenschappers kan slechts worden hersteld als wij terugkeren naar de principes van openheid en transparantie.

Referenties

1. Turner EH, Matthews AM, Linadartos E, Tell RA, Rosenthal R (2008). Selective publication of antidepressant-trials and its influence on apparent efficacy. New England J.Med 358, 252-260.

2. Pusztai A, Bardocz S (2006). GMO in Animal Nutrition: Potential Benefits and Risks, In Biology of Nutrition in Growing Animals, ed. R. Mosenthin, J. Zentek, and T. Zebrowska (London: Elsevier Limited), 513-540.

3. Wadman M (2005). One in Three Scientists Confesses to Having Sinned. Nature 435, 718-719.

4. Pusztai A (2002) GM food safety: Scientific and institutional issues. Science as Culture, 11, 70-91.

5. Disinformation Syndrome Afflicts Federal Government Scientists (2005). http://www.peer.org/news_id.php?row_id=554http://www.peer.org/docs/fws/05_20_iqa.pdf

6. Lesser LI, Ebbeling CB, Goozner M, Wypij D, Ludwig DS (2007). Relationship between funding-source and conclusions among nutrition-related scientific articles. PLoS Medicine Vol 4, issue 1.

7. Hardell L (2006). Secret Ties to Industry and Conflicting Interests in Cancer Research. American Journal of Industrial Medicine (http://www3.interscience.wiley.com/cgi-bin/abstract/113451325/ABSTRACT).

8. Krimsky S, Rothenberg LS (2001) Conflict of interest policies in science and medical journals. Editorial practices and author disclosures. Science and Engineering Ethics, 7, 205-218.

9. Krimsky S (2003) Science in the private interest; has the lure of profits corrupted biomedical research? New York, Rowman &amp; Littlefield 2003. ISBN 074251479X.

10. Katan MB, (2007). Does industry sponsorship undermine the integrity of nutrition-research? PLoS Medicine January 2007. Vol 4, issue 1.

Volgende pagina »

Blog op WordPress.com.