Kunstig intelligens fejlvurderede hjertestop: Forskere kritiserer algoritme med tusindvis af falske alarmer

En algoritme, der skulle hjælpe 112-medarbejdere med at opdage hjertestop, er nu blevet droppet i både Region Hovedstaden og Region Nordjylland. Den blev præsenteret som en succes – men i virkeligheden slog den ofte falsk alarm, og flere forskere og beredskabsledere undrer sig over, at den nogensinde blev sat i drift.

Det fremgår af to artikler fra Ingeniøren og Version2.

Algoritmen skulle lytte med på opkald til alarmcentralen og lære, hvordan det løs, når man ringede ind på grund af et hjertestop. Det skulle hjælpe personalet i den anden ende med at spotte hjertestop og redde flere liv.

Thomas Reimann, der i dag er direktør i Hovedstadens Akutberedskab, bekræfter over for Ingeniøren, at omkring 80 procent af de 112-opkald, som hjertestop-algoritmen flagede som hjertestop slet ikke var hjertestop. Det var blandt andet derfor, regionen besluttede at stoppe brugen af systemet i slutningen af 2023.

Region Nordjylland tog algoritmen ud af drift i maj 2024. Vagtcentralchef Jan Lindberg siger til Ingeniøren: »Når det sker, mister medarbejderne tilliden til systemet, og så ender det bare med at blive et forstyrrende element i hverdagen.«

Forskere: Det burde have fået alarmklokkerne til at ringe

Forskere kritiserer også selve forskningsartiklen bag algoritmen. Et af problemerne er, at udviklerne lægger mest vægt på såkaldt recall – altså hvor mange af de sande hjertestop algoritmen faktisk opdager – men ikke nævner de mange falske alarmer, som systemet også laver. Det får flere eksperter til at reagere.

"Jeg er overrasket over, at man er sluppet af sted med et så stort fokus på recall, når enhver med moderat uddannelse inden for data science vil vide, at man ikke kan tale om recall i isolation," siger Leon Derczynski, lektor i data science og machine learning ved IT Universitetet, til Ingeniøren.

Stig Nikolaj Blomberg var en del af det forskningsprojekt, der i samarbejde med AI-firmaet Corti udviklede algoritmen.

Men da modellen rent faktisk blev pilottestet på 112, opstod der problemer. Modellen generede en del falske positiver, forklarer Stig Nikolaj Blomberg, der i dag er chefkonsulent i Region Sjælland, hvor han arbejder med sundhedsdigitalisering.

"Jeg foreslog, at vi tog den ud af produktion, men det kunne jeg ikke trænge igennem med. Det var en politisk profileret sag og en god historie, som ledelsen havde interesse i at køre videre med. Det var mit bud som forsker, at man skulle stoppe det, fordi vi havde evidens for, at det var uden effekt," siger Stig Nikolaj Blomberg til Version2.

Tidligere direktør: "Det kan jeg slet ikke genkende"

Freddy Lippert, som tidligere var direktør i Hovedstadens Akutberedskab, siger til Version2: "Det kan jeg slet ikke genkende. Det undrer mig, at han siger det. Det var ikke hans holdning dengang."

Om den manglende effekt siger han: "Det kan jeg ikke svare på lige nu. Jeg kan sige, vi lavede et forskningsprojekt over tid, fik nogle resultater og så, at der var plads til forbedringer. Derefter gik man videre med projektet, blandt andet i forbindelse med stroke."

Han tilføjer: "Det kan jeg ikke svare på her og nu. Men det står i forskningsresultaterne, når de bliver publiceret. Systemet var bedre til at genkende hjertestop, men det er ikke det samme som at det reddede liv."