M.E.(cvs)-wetenschap

juli 5, 2010

Citatie, peer review & authoriteit – bedachtzaamheid bij wetenschappelijke verslaggeving

Filed under: Wetenschap - algemeen — mewetenschap @ 6:38 am
Tags: , , ,

Het citeren van onderbouwde artikels zou een onpartijdige wetenschappelijke methode en een sterke vorm van sociale communicatie kunnen/moeten zijn. Jammer genoeg zijn er mensen die er misbruik van maken en de informatie op verschillende manieren proberen te verdraaien om informatie-stromen te generen die leiden tot het verlenen van ongefundeerde authoriteit aan beweringen. Ook in de M.E.(cvs) gemeenschap gebeurt dit!

We geven onderstaand stuk mee opdat lezers beducht zouden leren worden voor dergelijke mechanismen en nuance kunnen aanbrengen in de stroom van (al dan niet wetenschappelijke) informatie die over ons heen komt. Check de bronnen en wees kritisch. Lees niet enkel datgene u wil horen.

BMJ 2009;339:b2680

Hoe verdraaiingen van citaties ongefundeerde authoriteit creëeren

Steven A Greenberg, associate professor of neurology

Children’s Hospital Informatics Program and Department of Neurology, Brigham and Women’s Hospital, Harvard Medical School, Boston, MA 02115, USA

Inleiding

Biomedische kennis ontstaat uit wetenschappelijke gegevens. De wijze waarop dit gebeurt binnen de afzonderlijke wetenschappelijke publicaties is een algemeen aanvaard proces waarbij artikels rapporteren over de rationale, methodes, resultaten en conclusies. Hoe een volledig overtuiging-/geloof-systeem dat wordt gedeeld door een wetenschappelijke gemeenschap uiteindelijk evolueert uit data van alle artikels binnen een specialiteit, wordt minder goed begrepen. […]

De benadering die hier werd genomen was om eenvoudig alle verklaringen in de medische literatuur over een geloof-systeem te verzamelen en het citatie-patroon daarvan te bestuderen – d.w.z. hoe elke uitspraak wordt ondersteund door een referentie naar andere artikels.

Bespreking

Citatie, de handeling van het verbinden van verklaringen d.m.v. verwijzing naar de bredere literatuur, is niet simpelweg een onpartijdige wetenschappelijke methode voor het linken van gerelateerde gepubliceerde kennis. Citatie kan worden gebruikt voor eigen-belang of als overtuiging-instrument. Deze aspecten van citatie zouden sociale citatie kunnen word genoemd. Er werd hier bestudeerd hoe verdraaiingen/vervormingen van het overtuiging-aspect van sociale citatie kan resulteren in brede acceptatie als feit van ongefundeerde beweringen. Deze vervormingen kunnen worden gedetekteerd en geïnterpreteerd d.m.v. sociaal-netwerk theorie omdat citatie ter overtuiging een sociaal gedrag is. Netwerk-theorie toegepast op citatie-netwerken, opgebouwd uit volledige artikel-bibliografieën, zoals het wetenschap-citatie netwerk, kan maatschappelijke attitudes betreffende tijdschriften en specifieke artikels (bv. impact-factoren) onthullen maar deze netwerken zijn niet [altijd] geschikt voor het begrijpen van de grondslag(en) voor geloof in specifieke beweringen. Als netwerken in plaats daarvan worden beperkt tot citatie met betrekking tot één set van verwante claims (een claim-specifiek citatie-netwerk) dan worden ze scherp gefocuste instrumenten voor het begrijpen van sociale communicatie betreffende de beweringen – wat in feite het gepubliceerd document van een geloof-systeem is dat wordt gedeeld door een gemeenschap. Deze laten ter studie toe niet enkel wat wordt gezegd over een overtuiging (de traditionele bedoeling van ‘review-papers’ [overzicht artikelen]) maar ook wie het hoort en hoe het wordt na-verteld.

[…] De computer-analyse van het claim-specifiek citatie-netwerk dat het overtuiging-systeem vertegenwoordigt, detekteerde bepaalde vervormingen in de citatie-patronen die niet zouden zijn verwacht als enkel wetenschappelijke citatie zou gebruikt zijn geweest. Primaire gegevens die beweringen waarop de overtuiging was gebaseerd verzwakten of verwierpen, werden genegeerd (citatie-bias) en een klein aantal invloedrijke artikels en citaties versterkten exponentieel met verloop van tijd de ondersteunende claim zonder nieuwe primaire data aan te brengen (amplificatie). Bepaalde verwante beweringen werden als feit verzonnen. De gecombineerde effekten van deze citatie-verdraaiingen resulteerde in authoriteit van de overtuiging (aanvaarding ervan) overéénkomstig met sociaal-netwerk theorie.

Drie factoren kunnen verklaren hoe citatie-vervormingen authoriteit creëeren bij een overtuiging-systeem. Voorop staat de kracht van citatie door de keuze van welke artikels men kiest welke men negeert (citatie-bias), door het citeren maar verdraaien van de inhoud (citatie-afleiding) en door het gebruiken van citatie om feiten te verzinnen (citatie-vormverandering, ‘dood-lopende’ citatie en ‘achterdeur’-verzinning).

Ten tweede is een inherente eigenschap van negatieve resultaten dat ze zich niet verspreiden via het netwerk. Ze werden niet herhaaldelijk geciteerd door hun auteurs in latere artikels aangezien er misschien simpel-weg verder niets over te zeggen viel. Anders dan ‘positieve resultaten’ is er niets opwindend aan het herhaaldelijk schrijven over hoe iets niét werd gevonden bij een experiment. Dus is de vooruitgang vanuit gegevens naar aanvaarde bewering verschillend tussen een enkel artikel vergeleken met vele artikels binnen een specialiteit. Binnen een enkel artikel zien lezers nieuwe claims over het algemeen als vals tot ze juist blijken d.m.v. overtuigende methodes en resultaten. […]

Ten derde, het geloof-systeem is mogelijks een informatie-cascade […], een entiteit die opkomt wanneer mensen voordeel denken te halen uit het aanvaarden van de heersende opvatting i.p.v. persoonlijke informatie waarover ze zouden kunnen beschikken bij het maken van keuzes. Van bepaalde mathematische eigenschappen van informatie-cascades (preferentiële gehechtheid) zou inderdaad kunnen verwacht een netwerk op te leveren met de eigenschappen die hier worden gezien (een bevooroordeeld netwerk […]). Vele auteurs zouden zich wel eens niet bewust kunnen zijn van de kritieke gegevens, aangezien deze doeltreffend geïsoleerd zijn uit het discours aangaande de claim en niet vermeld worden in overzicht-artikels. Hoewel onbetrouwbare informatie-cascades in theorie fragiel zijn en snel uitéén vallen wanneer ze worden blootgesteld, gebeurt dit misschien niet bij biomedische overtuiging-systemen, waarbij tegengesproken claims blijven bestaan.

Vele gepubliceerde biomedische geloof-systemen zouden informatie-cascades kunnen zijn omdat herhaling van beweringen alomtegenwoordig zijn in de biomedische literatuur. Vele zijn gefundeerd op solide gegevens, waarbij de auteurs claims herhalen na te hebben vertrouwd op het gepubliceerd deskundig advies van hun collegas. Er bestaan echter prikkels voor het genereren en verbinden van informatie-cascades ongeacht hun soliditeit. Zich aansluiten bij een informatie-cascade helpt publicatie, aangezien artikels iets hebben te vertellen en negatieve resultaten hebben bevooroordeling tegen. Het ontwikkelen van en het toetreden tot een informatie-cascade kan de kans op het verkrijgen van research-fondsen verbeteren omdat door hypothese aangedreven research een essentiële vereiste is bij vele research-financierende agentschappen (zoals de ‘National Institutes of Health’) en succesvolle financiering vereist over het algemeen een “sterke hypothese … gebaseerd op aktuele wetenschappelijke literatuur” – d.w.z. het gepubliceerde overtuiging-/geloof-systeem van een claim. Kansen op succesvolle financiering kunnen daarom worden verhoogd door tot de cascade toe te treden (het herhalen van de bewering en het voorstellen van experimentele plannen er omtrent). Bij de uitbouw van het citatie-netwerk naar tekst in subsidie-voorstellen die worden gesponsord door [bv.] de ‘National Institutes of Health’, zijn citatie-bias, afleiding of verzinsel dikwijls aanwezig. Eens research-financiering werd gebruikt om een cascade te vervoegen, zijn er verdere prikkels om resultaten te interpreteren via confirmate-bias (“op een manier die iemand’s vooroordelen bevestigt en informatie vermijdt, en via interpretaties die eerdere overtuigingen tegenspreken”) om succes van de research aan te tonen voor toekomstige financiering. Hoewel het vervoegen van een informatie-cascade succesvol gedrag kan zijn voor sommige mensen, reduceert het de waarschijnlijkheid dat toekomstige onderzoekers kunnen ontdekken of het betrouwbaar is of niet.

Methodes voor de construktie en analyse van uitgebreide claim-specifieke citatie-netwerken biedt uitdagingen en beperkingen. Deze omvatten het interpreteren van de betekenis van tekst, gezien mensen redelijkerwijs tekst verschillend kunnen interpreteren, en het begrijpen van de geobserveerde fenomenen. […]

————————-

Woordenschat citatie-vervormingen

Citering

Wetenschappelijke én sociale vormen: de wetenschappelijke vorm verbindt verklaringen met de bredere medische literatuur, de sociale vorm (sociale citatie) omvat zelf-bedienende en overredenende subtypes.

Citatie-verdraaiingen

Zelf-bedienende citering is altijd een vervorming.

Overredenende citering kan nodig zijn om nieuwe, solide claims te communiceren naar de wetenschappelijke gemeenschap; dit kan echter op een vervormde manier worden gebruikt – citatie-bias, amplificatie en verzinning.

Citatie-bias

Systematisch negeren van artikels die inhoud bevatten die strijdig is met een claim.

‘Ondersteuning’-claim; rechtvaardigen van dier-modellen om mogelijkheden te bieden een claim te versterken.

Amplificatie

Uitbreiding van een geloof-systeem zonder gegevens.

Citatie in artikels die geen primaire data bevatten, het verhogen van het aantal citaties die de claim steunen zonder gegevens te presenteren die ernaar verwijzen.

Verzinning

Citatie-afleiding – het citeren van inhoud maar claimen dat het een andere betekenis heeft, waardoor de gevolgen worden verlegd.

Citatie-transmutatie – de omzetting van hypothese in feit enkel door citatie.

‘Achterdeur’ verzinsel – herhaalde misrepresentatie van samenvattingen als ‘peer-reviewed’ artikels om lezers te bedotten en ze te laten geloven dat beweringen gebaseerd zijn op ‘peer-reviewed’ gepubliceerde methodes en gegevens.

‘Dood-lopende’ citatie – ondersteuning van een claim met citatie in artikels die geen inhoud bevatten die naar de bewering verwijst.

Titel-verzinning – melding van ‘experimentele resultaten’ in de titel van een artikel, zelfs als het artikel de melding over uitvoering of resultaten van dergelijke experimenten niet ondersteunt.

*************************

Bij het lezen van meldingen over wetenschappelijk onderzoek, hier en elders, is het belangrijk dat de lezer niet overhaast conclusies trekt. Meningen allerhande kan men overal op het www vinden. Pers-berichten (niet altijd even betrouwbaar), conferentie-verslagen, blogs (zoals deze hier – lees dus vooral ook de artikels zelf!), meldingen van ‘journalisten’ over nog niet gepubliceerde stukken, enz. Het is zeer belangrijk de bronnen te checken!

Wetenschappers zijn overigens ook mensen en maken dus wel eens fouten. Uiteindelijk zal de waarheid bovenkomen. We moeten de ‘peer review’ zijn gang laten gaan en respecteren, en wetenschap zichzelf laten corrigeren. Het blokkeren van publicaties is anders natuurlijk ook een belemmering van het wetenschappelijk proces. Er kan dan achterdocht ontstaan en men zou in dat geval niet toelaten aan wetenschappers dat ze zichzelf en hun collegas stap voor stap verbeteren. Het publiek moet echter inzien dat het nooit ‘alles of niets’ is. Als er over de gekende gegevens geen consensus bestaat, is het niet wetenschappelijk om definitieve antwoorden, testen, behandelingen, enz. te eisen.

Grant Jacobs, een wetenschapper uit Nieuw-Zeeland schreef – n.a.v. de aanhoudende XMRV-controverse bij M.E.(cvs) – op zijn blog (sciblogs.co.nz/code-for-life; 29 jun 2010) het volgende; maar het geldt natuurlijk voor alle wetenschap:

Eén van de frustrerende dingen voor wetenchappers is te moeten vaststellen dat media-verslaggeving te snel op dingen springt (Dat wanhopige verbruikers en dubieuze behandelaars te gauw nieuwe resultaten willen, helpt de zaken ook niet vooruit.) en melding maakt van elke nieuwe bevinding in een onopgelost verhaal alsof het de laatste woorden erover betrof. Het schildert elk research-artikel af als definitief. Een research-artikel is in feite een argument voor een geval, een geval dat later misschien wel  mogelijks verkeerd blijkt.

‘Instant’ stap-per-stap verslagen portreteren wetenschap als een progressie van abrupte ontdekkingen, in plaats van  een opéénstapeling van kleinere stukjes uit veel verschillende bronnen die met verloop van tijd leiden tot grotere conclusies. Het is juist dat er af en toe werkelijk verrassende bevindingen zijn die in het gezicht vliegen van het meeste dat was gekend op een bepaald gebied maar die zijn zeldzaam; veel gebruikelijker zijn toevoegingen aan wat is geweten. Soms worden research-bevindingen tegengesproken door latere studies. Eén van de basis-beginselen van wetenschap is dat experimenten zouden moeten in staat zijn te worden herhaald. Resultaten zouden reproduceerbaar moeten zijn. Als resultaten niet kunnen worden gereproduceerd, is meer werk nodig om uit te klaren wat waar is en wat niet, om uit te vinden wat juist het verschil maakte. Dikwijls is geen enkel resultaat ‘verkeerd’ maar eerder lichtjes verschillende (en geldige) benaderingen geven resultaten die met elkaar tegenstrijdig zijn. Dit is dikwijls hoe nieuwe factoren, die voor een verhaal belangrijk zijn, worden blootgelegd.

De resolutie van tegenstrijdige resultaten kan vrij technisch zijn. De verschillende resultaten kunnen te wijten zijn aan verschillende technieken, contaminatie, verschillen in stalen en andere factoren. Het oplossen daarvan vergt gewoonlijk een gedetailleerd begrip van het betrokken onderzoek-gebied van de wetenschap.

Van belang is dus de media-rapportering, in het bijzonder hoe nieuwe research-bevindingen worden voorgesteld.

Het melden van bevindingen uit hun context is misleidend. Soms zijn rapporten in de media correct in het aangeven van een naar voren tredend verhaal, wat goed is. Maar soms waren ze al een keer eerder verkeerd en willen ze dat niet meer voor hebben.

Pers-berichten door instituten of gevestigde belangen (bv. degenen die testen aanbieden) kunnen de dingen in grote mate vanuit hun standpunt voorstellen, waarbij ze tegengestelde standpunten bagatelliseren of weglaten. Eén reden waarom op media-rapporten die grotendeels herschreven pers-berichten zijn wordt neergekeken, is dat ze dikwijls niet de volledige context weergeven waarbinnen de nieuwe bevindingen vallen (als ze er al één meegeven). Onopgeloste wetenschap-vraagstukken kunnen nogal gepolariseerd raken, bijzonderlijk wanneer er tegenstrijdige resultaten opduiken, waarbij enkele researchers in verschillende kampen terechtkomen. Vragen waar de bevindingen van een onderzoeker op wijzen, zal waarschijnlijk slechts een deel van het verhaal weergeven, mogelijks een nogal misleidend deel als het niet correct in de volledige context wordt geplaatst.

In verder-lopende verhalen – wat in veel gevallen alle wetenschappelijke verhalen betekent – zouden interviewers de vraag moeten stellen “Wat is de stand van zaken?” Is dit een kwestie die men nog aan het oplossen is? Bevestigen andere studies dat de nieuwe resultaten (waarschijnlijk) correct (zullen) zijn? Welke aspecten zijn nog onzeker of waarschijnlijk, in plaats van getest? Worden de nieuwe bevindingen geaccepteerd door de meeste specialisten in het onderzoek-gebied? (Er zorg voor dragend te onthouden dat het de soliditeit van het bewijs is die telt; meningen tellen niet echt mee – in tegenstelling tot bewijs…)

Hebben andere specialisten de kans al gekregen de research te bekijken en er op door te denken ? Dit is in het bijzonder belangrijk als het nieuws vers is: het kost tijd de details van research-bevindingen te absorberen. Snel rapporteren, bijzonderlijk over research onder embargo, kan vooruit lopen op de tijd nodig om de nieuwe resultaten te absorberen.

Proberen te verstaan wat de stand van zaken is, is proberen de nieuwe resultaten te begrijpen in de context van de literatuur of relevante wetenschappelijk gemeenschap als geheel, in plaats van vanuit het perspektief van één persoon of één research-artikel. Dit alles versterkt misschien opnieuw dat verhalen door specialisten best in de handen van specialisten blijven, maar de juiste vragen moeten minstens kunnen worden gesteld [Ook door patiënten!].

Geef een reactie »

Nog geen reacties

RSS feed for comments on this post. TrackBack URI

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

Blog op WordPress.com.

%d bloggers op de volgende wijze: