Tieteellisen tiedon uskottavuus perustuu suurelta osin sen toistettavuuteen.
Esimerkiksi se, että vesi kiehuu sadassa celsiusasteessa merenpinnan tasolla vallitsevassa ilmanpaineessa, on suhteellisen helppo todentaa oikeaksi yksinkertaisella koejärjestelyllä uudelleen ja uudelleen. On kuitenkin osoittautunut, että tieteellisten tutkimusten tulokset eivät toistu odotetusti. Jo vuosia eri tieteenaloilla on puhuttu niin sanotusta toistettavuuskriisistä (1).
Viime vuoden lopulla julkaistiin kahdeksan vuotta kestäneen projektin (2) tuloksia syöpäbiologian alalta. Siinä pyrittiin toistamaan 193 koetta yhteensä 53 tutkimuksesta, jotka oli julkaistu korkea-arvoisissa julkaisusarjoissa vuosina 2010–2012. Vuosien uurastuksen jälkeen tutkijajoukko pystyi toistamaan vain 50 koetta 23 eri tutkimuksesta. Muut yritykset kariutuivat esimerkiksi siksi, että alkuperäisen tutkimuksen menetelmät oli raportoitu epäselvästi eivätkä tekijät halunneet auttaa tutkimuksensa tuloksien toistamispyrkimyksissä. Kuvaavaa on, että yhtäkään 193 kokeesta ei pystytty toistamaan kysymättä erikseen lisätietoja alkuperäisen tutkimuksen tekijöiltä.
Mitä sitten osoittivat onnistuneesti toistettujen kokeiden tulokset? Näissä vaikutusten suuruus oli merkittävästi pienempi kuin alkuperäisissä tutkimuksissa oli raportoitu. Jos alkuperäisessä tutkimuksessa havaittiin positiivinen tulos (esimerkiksi että lääkeaine hidastaa syöpäsolujen kasvua), vain 40 % toistetuista tutkimuksista vahvisti alkuperäisen tutkimuksen löydöksen. Jos alkuperäisessä tutkimuksessa havaittiin negatiivinen tulos (esimerkiksi että lääkkeellä ei ole suotuisia vaikutuksia), peräti 80 % toistetuista tutkimuksista tuki alkuperäisen tutkimuksen löydöksiä. Alkuperäisten tutkimusten tulokset olivat siis poikkeavan myönteisiä (julkaisuharha).
Samansuuntaisia tuloksia on saatu myös psykologiassa. Eikä mikään viittaa siihen, oikeastaan päinvastoin (3), että hammaslääketieteessä toistettavuus olisi paremmassa jamassa.
Positiivisemmin ilmaistuna toistettavuuskriisiä ja sen saamaa huomiota on kuvattu uskottavuuden vallankumoukseksi. Siinä keskiössä ovat laadukas tutkimusten suunnittelu, toteutus ja raportointi sekä tieteen avoimuuden ja tieteellisen julkaisemisen tapojen ja prosessien (esimerkiksi vertaisarvioinnin) kehittäminen. Eräs seuraus on ollut tieteen tutkimuksen (metascience tai metaresearch) merkittävä vahvistuminen. Siinä tiedettä ja sen prosesseja tutkitaan tieteellisin menetelmin tuottaen tietoja tieteentekijöille ja sidosryhmille tieteen uskottavuuden edistämiseksi, mitä on jonkin verran tehty myös hammaslääketieteessä (4). Toisaalta hammaslääketieteen piirissä toistettavuuden tutkimus on ollut vähäistä.
Tiede on tällä hetkellä varsin tehotonta. Suurin osa tieteestä tehdään yhteiskunnan varoilla. Tämän vuoksi tiedeyhteisöllä ja yksittäisellä tutkijalla on vastuu resurssien käytöstä, kuten kaikilla terveydenhuollon ammattilaisilla on vastuu yhteiskunnan ja sen yksilöiden rahoittaman terveydenhuollon resurssien käytöstä.
Mitä voimme yksilöinä ja yhteisönä tehdä tieteen uskottavuuden edistämiseksi? Käsittelen tätä seuraavassa Lääke & tiede -palstan kirjoituksessani Hammaslääkärilehden 17.6. ilmestyvässä numerossa 8/2022.
Kirjallisuutta
1 Reito A, Raittio L, Helminen O. Tutkimustulokset eivät toistu – missä syy? Duodecim 2020; 136: 1155–63.
2 Reproducibility Project: Cancer Biology. www.cos.io/rpcb.
3 Dental Research Waste in Design, Analysis, and Reporting: A Scoping Review. doi:10.1177/0022034520962751.
4 Meta-research publications in dentistry: a review. doi:10.1111/eos.12748.