Prognostisia (tulevaisuuden tapahtuman todennäköisyyttä ennustavia) ja diagnostisia (nykyhetkellä esiintyvän sairauden/tilan todennäköisyyttä ennustavia) ennustemalleja (prediction models) kehitetään ja julkaistaan valtavia määriä kaikilla lääketieteen aloilla.
Vain harva malli todetaan toimivaksi muissa olosuhteissa (ulkoinen validointi), ja ani harva päätyy koskaan kliiniseen käyttöön. Vielä harvemmasta on olemassa tietoa siitä, miten niiden käyttö vaikuttaa hoitoon tai sen tuloksellisuuteen. Van Calster ja kumppanit (1) listasivat syitä.
Yksi selitys tälle ilmiölle löytyy tieteelliseen kulttuuriin kuuluvasta uutuusarvon tavoittelusta. Uutta esittelevää tutkimusta on helpompi saada rahoitettua ja julkaistua kuin vanhaa, huolellisesti toistavaa, varmistavaa ja hienosäätävää tutkimusta.
Usein itse mallit ovat kuitenkin itsessään puutteellisia. Esimerkiksi käytössä oleva aineisto on usein liian pieni suhteessa siihen, miten monimutkaista (esimerkiksi koneoppivaa) mallia sen perusteella pyritään kehittämään. Tällöin signaalia ei kyetä tunnistamaan, ja päädytään mallintamaan lähinnä aineiston satunnaista kohinaa. Lisäksi aineistosta puuttuu usein tietoja tai tiedon laatu on muuten heikkoa tai se on puutteellisesti kuvattu.
Menetelmät ja niiden kuvaus ovat usein myös puutteellisia. Alan parhaiden käytäntöjen tuntemus on monesti riittämätöntä. Esimerkiksi jatkuvien muuttujien muuttaminen kaksiluokkaisiksi, mikä ainoastaan vähentää informaatiota, on edelleen yleistä. Lisäksi ei aina ole selvää, mitä tarkalleen ottaen ollaan ennustamassa tai millä aikavälillä.
Usein sekä tutkimusten että itse ennustemallien raportointi on niin puutteellista, ettei muiden tutkijoiden ole mahdollista testata mallin toimivuutta eri aineistoissa. Tämä herättää mielestäni kysymyksen, onko mallin tarkoituskaan edetä koskaan laajempaan käyttöön. Kaupallisiin malleihin liittyy usein myös heikompi avoimuus, myytävää mallia ei kannata jakaa ilmaiseksi.
Ennustemallit toimivat yleensä parhaiten juuri siinä aineistossa, jossa ne on kehitetty. Mallien siirtäminen toisiin olosuhteisiin on usein erittäin haastavaa. Järjestelmät, potilaat, ammattilaiset, toimintatavat ja kulttuurit ovat hyvin erilaisia ja muuttuvat jatkuvasti. Siksi mallit täytyy aina validoida (eli todeta tuottavan luotettavia ennustuksia) kulloisissakin olosuhteissa, seurata niiden suoriutumista ja päivittää niitä säännöllisesti.
Ilman ennustemallin käytön vaikutusten arviointia ei voida tietää, miten mallin käyttö muuttaa terveydenhuollon toimintaa ja hyödyttääkö se potilaitamme. Lisäksi mallien käyttöön voi liittyä lukuisia käytännön haasteita, kuten se, että malli on vaikeasti tulkittava, edellyttää koulutusta, vaikeasti kerättävän tiedon käyttöä tai erillisen ohjelmiston käyttöä.
On hyvin harvinaista, että ennustemalli otetaan onnistuneesti laajaan kliiniseen käyttöön ja että sen luotettavuudesta ja hyödyllisistä vaikutuksista potilaiden hoidossa on vahvaa näyttöä. Tutkijoiden mukaan tämän tavoitteen saavuttaminen edellyttää aikaa, monitieteellistä asiantuntemusta ja yhteistyötä, huolellista suunnittelua sekä läpinäkyvyyttä.
Eero Raittio
dosentti, EHL