”Det er bekymrende, at så stor en andel af artiklerne tilsyneladende er falske. Det kræver, at vi er meget opmærksomme på og går kritisk til de studier, der bliver publiceret. Det gælder både forlagene, reviewerne og lægerne,” lyder reaktionen fra Camilla Qvortrup, formand for DMCG.dk (Danske Multidisciplinære Cancer Grupper) og overlæge på Rigshospitalets Afdeling for Kræftbehandling.
Resultaterne er opsigtsvækkende, men desværre ikke så overraskende, lyder det fra Malene Støchkel Frank, overlæge på Sjællands Universitetshospital, klinisk forskningslektor og formand for Dansk Selskab for Klinisk Onkologi.
”Med udviklingen inden for AI-værktøjer er det blevet lettere at snyde, end det har været før i tiden. Og så lokker det måske nogle, at det kan være en genvej til at styrke forskerkarrieren ved at få mange publikationer på CV’et. Jeg tror desværre, det er et tilbud, som nogle vil lade sig tiltrække af i den forskerverden, vi befinder os i,” siger Malene Støchkel Frank.
For både Camilla Qvortrup og Malene Støchkel Frank understreger studiet vigtigheden af, at forskning fortsat er en central del af lægernes uddannelse.
”Hvis vi som læger skal kunne forholde os kritisk til forskningen, så kræver det, at vi har en grundlæggende forståelse for forskning og en kritisk tilgang til, hvordan vi læser og bruger forskningsresultater. Derfor er det ekstremt vigtigt, at der er et vedvarende fokus på forskning i både den prægraduate uddannelse og i efteruddannelsen af læger,” siger Camilla Qvortrup og henviser til den aktuelle debat om speciallægeloftet, som blandt andet kritiseres for at true forskningen.
”Vi bliver nødt til at insistere på, at der bliver uddannet dygtige forskere, som kan læse forskningen med kritiske briller. Hvis vi stimulerer produktionen af gode forskere, kan vi forhåbentlig underminere noget af den underlødige forskning, der foregår,” siger Malene Støchkel Frank.
Sådan gjorde forskerne
Forskerne bag studiet har udviklet og valideret en maskinlæringsmodel baseret på sprogmodellen BERT til at skelne mellem paper mill-artikler og legitime kræftforskningsartikler ud fra tekst fra titler og abstracts.
Modellen blev trænet på 2.202 tilbagetrukne artikler identificeret som paper mill-publikationer i Retraction Watch-databasen og et tilsvarende antal kontrolartikler fra kræftlitteraturen. Kontrolartiklerne blev udvalgt fra tidsskrifter med høj impact factor og lande med lav forekomst af paper mill-artikler i Retraction Watch-databasen.
Modellen blev derefter testet på et uafhængigt datasæt bestående af 3.094 mistænkte paper mill-artikler fra PubPeer-databasen, identificeret af forskningsintegritetseksperter på baggrund af dokumenteret billedmanipulation.
Modellen opnåede en nøjagtighed på 91 procent i intern validering og 93 procent i ekstern validering med en sensitivitet på 87 procent og en specificitet på 99 procent. En sensitivitet på 87 procent betyder, at modellen korrekt identificerede 87 procent af paper mill-artiklerne i valideringsdatasættet, mens 13 procent blev overset (falske negative). En specificitet på 99 procent betyder, at kun 1 procent af de legitime artikler fejlagtigt blev identificeret som paper mill-artikler (falske positive).
Eksponentiel stigning
Modellen blev derefter anvendt til screening af 2.647.471 kræftforskningsartikler fra PubMed publiceret mellem 1999 og 2024. 261.245 af disse artikler blev identificeret som paper mill-artikler, svarende til 9,87 procent af den samlede litteratur. Antallet og andelen af paper mill-artikler steg markant over tid, fra omkring 1 procent af de årlige publikationer i begyndelsen af 00’erne til over 15 procent af de årlige publikationer i begyndelsen af 2020’erne.
Analysen viser også, at paper mill-artikler ikke kun forekommer i såkaldte predatory journals og andre suspekte tidsskrifter. Andelen af paper mill-artikler steg også i tidsskrifter med høj impact factor. I den øverste decil af tidsskrifter målt på impact factor var andelen meget lav i begyndelsen af 2000’erne, men steg gradvist og oversteg 10 procent i 2022.
”Det er ret overraskende, for når artiklerne har været igennem peer review, som det jo er tilfældet i de store tidsskrifter, så har man i udgangspunktet tiltro til dem,” siger Camilla Qvortrup.
Hvert tredje studie fra Kina kan være falskt
Forskerne har også undersøgt, hvilke lande paper mill-artikler kommer fra. På listen over de 25 lande med den største andel af paper mill-artikler indtager Kina en klar førsteplads.
Blandt artikler med en førsteforfatter fra en kinesisk institution blev hele 36 procent af artiklerne udpeget som paper mill-artikler. Nummer to og tre på listen over lande med den største andel paper mill-artikler var Iran og Saudi-Arabien, hvor henholdsvis 20 og 16 procent af artiklerne blev udpeget som falske. Til sammenligning var andelen under to procent i Tyskland og USA, som ligger nummer 21 og 22 på listen. Danmark figurerer ikke på listen over de 25 lande med den højeste andel af paper mill-artikler.
Malene Støchkel Frank hæfter sig især ved Kinas placering på listen.
”Det er ret tankevækkende, at andelen af falske studier er så høj i Kina. Det viser, at vi skal være ekstra kritiske over for kinesisk forskning,” siger Malene Støchkel Frank og fortsætter:
”Vi har altid været skeptiske i den forstand, at vi aldrig direkte overfører kinesiske studier til europæisk praksis. Dels fordi patientpopulationen er anderledes, men også fordi det er uklart, hvordan forskningen foregår i Kina. Hvilke restriktioner er der, hvilke lovmæssige krav er der, og hvordan fungerer det i det hele taget? I de senere år har vi set en eksplosion af forskning på det kinesiske marked, blandt andet i forhold til udvikling af medicin. Det følger vi selvfølgelig interesseret med i, men altid med kritiske briller.”
Betydning for den kliniske praksis
Spørgsmålet er, om falske artikler kan have påvirket, hvordan danske patienter behandles i praksis. Det mener Camilla Qvortrup ikke.
”Ved de store randomiserede studier, der ændrer praksis, er protokollerne tilgængelige, og der er datamonitoreringskomiteer og andre kvalitetskontroller. Derfor mener jeg, vi kan være sikre på, at det foregår ordentligt,” siger Camilla Qvortrup.
Hun påpeger også, at kliniske studier af ny medicin bliver reproduceret undervejs i de forskellige studiefaser.
”Man starter med at lave et mindre fase I-studie, som viser et signal, og hvis det så bliver bekræftet i først fase II og senere fase III, så er der sket en reproduktion. Så jeg mener ikke, der er grund til bekymring om, hvorvidt vi behandler patienterne rigtigt,” siger Camilla Qvortrup.
Studiet viser, at det primært er den prækliniske forskning – altså grundforskningen – der er plaget af paper mill-artikler.
Vil AI forværre problemet?
Det er uklart, hvilken betydning generativ AI har haft for udbredelsen af paper mill-artikler. Den eksponentielle stigning i antallet af paper mill-artikler skete før introduktionen af modeller som ChatGPT og Claude og peakede i 2022, hvorefter andelen af paper mills faldt en smule i 2023 for derefter at stige lidt igen i 2024. Forskerne bag studiet fremlægger tre hypoteser, der kan være med til at forklare den udvikling:
At forlag og forskermiljøet er begyndt at modarbejde paper mills; at paper mills har skiftet til nye skabeloner efter fremkomsten af kunstig intelligens; og at der er forsinkelser i PubMeds indeksering af artikler fra de seneste år.
Malene Støchkel Frank mener, at det kan udvikle sig til en kamp mellem modellerne:
”AI-modellerne gør det på den ene side lettere at producere falsk forskning, og på den anden side gør de det muligt – som vi ser i studiet her – at identificere den falske forskning. Det er en slags modellernes krig,” siger hun.
”Konklusionen må være, at det er vigtigt, at vi arbejder på modeller, der kan gennemskue den falske forskning, for vi mennesker er ikke dygtige nok til at gennemskue det i den skala, som modellerne kan. Det er stadig vigtigt, at vi som læger og forskere er uddannede til at kunne gennemskue den enkelte artikel, men vi har også brug for modellernes hjælp.”
