Lauluja leivästä – Osa 2.

Edellisessä kirjoituksessa tarkasteltiin sitä, mistä niin sanotusti tutkimustyön leipä on peräisin ja millaisia reittejä se kulkee. Tarkastelimme myös syitä sille, miksi usein on vähiten huono vaihtoehto tehdä firmojen kanssa tutkimusyhteistyötä, mikäli niiden tuotteista/palveluista halutaan tietoa. Tärkein kysymys jäi koskematta: voidaanko tutkimuksiin luottaa, jos mukana on yksityinen rahoittaja?

Tämän osan aiheena on juuri tämä Tärkein Kysymys. Käydään siis sen pidemmittä puheitta kimppuun, kuin sika laulattavaan limppuun!

TIETEEN TÄMÄNHETKINEN TASO

Olen aikaisemmin kirjoittanut tutkimusten luotettavuudesta yleisellä tasolla. Totesin, että luotettavan ja laadukkaan tieteen tekeminen on helvetin vaikeaa. Vinouttavia tekijöitä ja virhelähteitä on lukuisia. Olennaista on kuitenkin muistaa, että tieteellinen prosessi tuottaa päivittäin oikeita, luotettavia ja käyttökelpoisia tutkimustuloksia. Niistä koostetaan synteesi, jota vasta voidaan kutsua tieteelliseksi tiedoksi.

Yhdysvaltain arvostetuin tieteellinen organisaatio, National Academy of Sciences (NAS) järjesti viime vuonna kokouksen, missä pohdittiin tieteen tämänhetkistä oletettua “kriisitilaa”. Tätä termiä tai sen johdannaisia käytetään useissa yhteyksissä kuvaamaan tieteellisen tutkimuksen huonoa tasoa. Tarkemmin ottaen väite on se, etteivät tutkijat saa toistettua toistensa tuloksia. Puhutaan mm. “replikaatiokriisistä’. Mutta onko tällaisesta kriisistä oikeasti näyttöä, vai perustuuko se vain subjektiivisiin mielikuviin? Osa NAS:n kokouksen esityksistä on kirjoitettu tieteellisen artikkelin muotoon ja ne julkaistiin hiljattain PNAS-lehdessä.

Useat artikkelit lievittävät huolia merkittävästi. Itse asiassa puolueeton tutkimuksen tutkimus ei anna vahvoja merkkejä siitä että nyt oltaisiin jotenkin poikkeuksellisen huonossa jamassa. Historiallinen tarkastelu puolestaan huomauttaa, että tiedeyhteisön sisällä on aina ollut niitä jotka ovat olleet huolissaan tutkimuksen tasosta. Toinen artikkeli argumentoi vakuuttavasti, että samalla kun olemme kovin huolissamme tieteen tasosta, se tuottaa jatkuvasti merkittäviä läpimurtoja.

Tieteen tekemisessä on siis kiistatta ongelmia mutta kuten aikaisemmin totesin, ratkaisu on lisää, parempaa tiedettä – ei koskaan vähemmän. Väärätkin tulokset kuuluvat tieteeseen ja niistäkin opitaan. Tiede elää jatkuvasta sisäisestä kritiikistä ja tulosten repimisestä kappaleiksi kaikista mahdollisista suunnista. Tieteellisen tutkimuksen tutkimus on tieteen tapa katsoa ja korjata itseään. Kiteytin ajatukseni fraasiin “ken vitsaa säästää, se tiedettä vihaa“. Seison tämän takana edelleen.

Huolehtiminen on hyvä asia – tarpeeton panikointi ei. Tieteellä menee varsin lujaa ja se on edelleen paras tapa tuottaa uutta tietoa.

VINOUTTAVA RAHA

On selvää, että taloudelliset motiivit ovat yksi mahdollinen tiedettä vinouttava virhelähde. Mutta ilman mitään käsitystä vinouman suuruusluokasta, huoli jää pelkäksi sanahelinäksi. Kaivataan siis parempaa tietoa. Mikä on rahoituslähteen vinouttava vaikutus kvantitoituna, eli kovina numeroina mitattuna? Jos luku on suuri, tiedämme että kyse on suuresta ongelmasta, ja päinvastoin.

Tanskalais-kanadalais-australialainen (teollisuudesta riippumaton) tutkimusryhmä tarttui hiljattain tähän kysymykseen ja päätti koostaa aiheesta järjestelmällisen kirjallisuuskatsauksen ja meta-analyysin. Tämä oli todellinen tutkimusten tutkimusten tutkimus! Ryhmä nimittäin veti yhteen aikaisempia meta-analyysejä ja järjestelmällisiä katsauksia (yht. 75kpl), jotka kattoivat yhteenlaskettuna yli 1500 tutkimusta lääkkeistä ja lääketieteellisistä laitteista. Tulokset julkaistiin vuonna 2017 Cochrane Collaborationin arvostetussa julkaisusarjassa. Tutkimuskysymys oli se, vaikuttaako rahoituslähde (julkinen vs. yksityinen) tutkimustulosten raportointiin. Tulos oli odotetusti, että kyllä se vaikuttaa! Tarkkaan ottaen, firman raha lisää suotuisan tuloksen todennäköisyyttä n. 30%. Tämä on katsojasta riippuen joko hyvä tai huono tulos. Jos ajatellaan, että n. 70% tutkimuksista on julkaistu hyvän tavan mukaan huolimatta firman rahoituksesta, ei se minun mielestäni mitenkään kovin hälyttävä tulos ole. Parantamisen varaa on, mutta asiat voisivat olla todellakin paljon huonommin. Totta puhuakseni, ennen tuota tutkimusta olisin voinut veikata numeron jopa suuremmaksi.

Jos taas 30% on mielestäsi huono tulos, tutkimus lievittää huolia toisellakin tapaa. Lukuarvon lisäksi, tutkijat katsoivat niitä tarkkoja mekanismeja, millä tämä firmoja suosiva taipumus muodostuu. He toteavat, että suurin osa on näkyvillä sille, joka vain tarkkaan katsoo. Jos esimerkiksi tutkimuksessa vertaillaan kahta lääkettä, kilpailijan lääkkeeseen saatetaan lipsauttaa vähän turhan pieni annos. Jos taas tulokset eivät muuten mairittele, niitä kaunistellaan sopivilla sanavalinnoilla. Ja niin edelleen.

Tämä on erinomainen uutinen, sillä se tarkoittaa sitä että positiivinen “spinnaus”, eli tulosten vääristely ei suinkaan ole piilossa. Yksityinen rahoittaja antaa syyn lukea paperi vähän kriittisemmällä silmällä mutta suoralta kädeltä tuomitsemiseen ei näyttäisi olevan aihetta. Toisaalta on tämä huono uutinen niille, jotka haluavat aina refleksinomaisesti etsiä rahoituslähteen tai jonkun muun tekosyyn jättää koko tutkimus lukematta.

Tästä palataan jälleen samaan pointtiin, minkä tein aikaisemmin: pikaisen tuomion sijaan tutkimukset on aina luettava huolellisesti ja arvioitava niiden menetelmien ja muiden ansioiden perusteella – EI rahoittajan.

On myös huomattavaa, että kaikki firmojen osallisuus ei ole pelkästään huonoa. Tässä tutkimuksessa havaittiin mm. se, että firmojen rahoittamat tutkimukset olivat tietyillä mittareilla mitattuna laadukkaampia, kuin julkisesti kustannetut tutkimukset. Tämäkin käy järkeen, sillä firmoilla on kannustimia tehdä mahdollisimman luotettavaa tutkimusta. Valvovat viranomaiset voivat olla melko vaativia ja toisaalta tulee hillittömän kalliiksi haudata vuosia kestäneen tuotekehittelyn tulokset vain siksi että joku alustava tutkimus olikin toteutettu huonosti ja johti harhaan. Osa tuloksesta selittyneekin sillä, että firmat myös valitsevat tarkkaan ne aiheet, mihin lähtevät mukaan. Ne niin sanotusti lyövät vetoa vain voittavista hevosista ja jättävät muut rauhaan. Lopputulos voi senkin vuoksi näyttää vinoutuneelta. Tämä ei kuitenkaan selitä koko ilmiötä.

Mutta ne olivat lääke- ja laitehommia ne. Terveyteen liittyy myös ravitsemus ja tietenkin sen taustalla häärivä BIG FOOD.

Samankaltainen tutkimus julkaistiin 2016 liittyen firmojen osallisuuteen ravitsemustutkimuksessa (huom! mukana myös ravintolisäteollisuus). Siihenkin löytyi 12 yhteenvetotutkimusta, joissa yksittäisiä alatutkimuksia oli 17-2539(!). Hieman vaikeammin tulkittava lopputulos oli, että firmojen mukanaolo nostaa niitä suosivan tuloksen todennäköisyyttä pauttiarallaa saman verran, kuin lääkepuolella, eli n. 30%. Arviossa on kuitenkin niin suuri hajonta, ettei tämä saavuta tilastollista merkitsevyyttä. Pitäisin kuitenkin arviota suuruusluokaltaan oikean kokoisena.

Molempien jättitutkimusten perusteella voidaan siis sanoa, että selkeä enemmistö tutkimuksista on puolueetonta vaikka mukana olisi yksityinen rahoittaja. Ja jos on syytä epäillä tuloksia, mahdollinen vilunki löytynee tarkalla lukemisella.

Nämä tutkimukset ovat siinä mielessä erittäin kovatasoisia, että aineisto on valtava ja tilastollinen- yms käsittely huolellista. On kuitenkin mahdollista, että massan alle jää tärkeitä nyansseja. Olisi esimerkiksi kiintoisaa tietää eroaako tulos sen mukaan, onko kyse täysin firman rahoittamasta tutkimuksesta vai yhdistelmärahoituksesta jonkun muun tahon kanssa. Kuten aikaisemmassa osassa todettiin, on eettis-taloudellisia perusteita tehdä firmojen kanssa yhteistyötä. Olisi kutenkin kiinnostavaa tietää, onko muitakin syitä. Itse ainakin suhtaudun kriittisimmin sellaisiin tutkimuksiin, jotka ovat selkeästi firman sisäistä työtä.

Terveysaiheisiin liittyy toki muitakin näkökulmia. Vastaavaa tutkimustyötä on tehty myös erilaisten ympäristöaltistusten parissa. Näissä kirjallisuus ei kuitenkaan ole aivan niin kattava, kuin lääke- ja ravitsemuspuolella. Tuloksetkin ovat jokseenkin hankalammin tulkittavissa.

Yksi katsaus selvitti, miten erään kasvintorjunta-aineen toksikologisia ominaisuuksia käsittelevien tutkimusten rahoitus vaikuttaa lopputulokseen. Siinä huomattiin, että firman rahoitus lisää suotuisten tulosten määrää n. 30 prosenttiyksikköä. Hämmästyttävän johdonmukainen tulos! Se kuitenkin rajoittui vain koe-eläintöihin.

Toisessa tutkimuksessa katsottiin, miten laboratorio-olosuhteissa totetettavien kännykkäsäteilytutkimusten tulokset riippuvat rahoittajasta. Tämän etuna oli se, että rahoitus oli jaettu neljään osaan: täysin firman rahoittama, julkinen, näiden sekoitus sekä “ei ilmoitettu”. Jos tutkimus oli tehty täysin BigKännykän rahalla, 4/12 (33%) raportoi jonkinlaisia mitattavia vastineita, kun taas muuten rahoitetuissa töissä prosentti vaihteli välillä 64-75%. Kun katsottiin, miten tutkijat itse tulkitsivat tuloksiaan, vain yhdessä yksityisrahoitteisista tutkimuksista kerrottiin että joku vaikutus voi olla, kun taas muissa prosentti vaihteli n. 50% molemmin puolin. Tutkimuksen rajoituksena on se, ettei se ota huomioon lainkaan laboratorion ulkopuolella tehtyjä töitä, joiden tutkijat toteavatkin olevan lähes yksinomaan julkisesti rahoitettuja.

Nämäkin tutkimukset siis palaavat samoihin teemoihin: on vähiten huono vaihtoehto, että firmojen kanssa tehdään yhteistyötä. Toisaalta jokainen tutkimus on tulkittava sen omien ansioiden sekä laajemman kirjallisuuden kokonaisuudessa.

RAHA RATKAISEE – PAITSI SILLOIN KUN EI

Yksi valtavan iso seikka tässä keskustelussa häiritsee minua ylitse muiden: ajatellaan, että raha olisi ainoa motiivi, joka vinouttaa ihmisen mielipidettä. Vielä pahempaa on ajatus, että raha nähdään keskeisenä motiivina ylipäätään tehdä mitään. Oikeastaan tämä on aika surullinen näkemys, sillä se viittaa siihen ettei tällaisen syytöksen esittäjä ole ehkä koskaan saanut kokea mitään niin tärkeäksi että haluaisi tehdä sitä ei-taloudellisista syistä. Tai ainakaan ei pysty kuvittelemaan että joku muu olisi.

Olen kirjoittanut jo kymmenittäin facebook-postauksia ja blogikirjoituksia kaikista niistä tavoista, millä ihmisen ajattelu on vinoutunutta, eivätkä tutkijatkaan ole poikkeus. Tiede on kyllä rakenteiltaan tehty sellaiseksi että inhimillisten virheiden osuus minimoituisi, mutta ei siitä suinkaan kokonaan pois päästä.

Jälleen kerran, tässäkin asiassa tarvitaan lisää ja parempaa tiedettä.

Hiljattain BMJ:ssä julkaistiin tärkeä keskustelu siitä, miten ei-taloudellisia sidonnaisuuksia tulisi käsitellä – vai tulisiko lainkaan. Ei-taloudellisten sidonnaisuuksien julkistamisen puolestapuhujat argumentoivat, että nämä ovat todella tärkeä juttu ja ne tulisi tuoda julki. On esimerkiksi näyttöä siitä, että arvostus on monille asiantuntijoille rahaa tärkeämpi motiivi. Ilmainen lentolippu tai hotellimajoitus voi olla nuorelle tutkijatohtorille iso juttu mutta kokenut veteraani ei niistä enää jaksa riemastua. Kuten ei myöskään pienistä luentopalkkioista. Sen sijaan jos napsahtaa kutsu vaikkapa jonkun arvostetun lehden toimituskuntaan, se alkaa jo tuntua (näistä ei muuten yleensä saa rahaa, vaan kyse on eräänlaisesta ylimääräisestä arvovaltaisesta vapaaehtoistyöstä).

Tässä siis muistutan kirjoitussarjan keskeisestä teemasta: mekanismien suhteen on oltava tarkkana. Mikä on sidonnaisuuden vaikutusmekanismi? Jos sidonnaisuus on vaikkapa palkkio luennosta, jonka aiheena on tutkijan oma erikoisala ja jonka valmisteluun hän on käyttänyt mahdollisesti jopa vapaa-aikaansa, onko todella syytä epäillä että tämä vaikuttaa hänen puolueellisuuteensa? Entäpä jos kyse on puhtaasti tutkimusrahasta, mistä hän ei ole henkilökohtaisesti hyöytynyt tippaakaan?

Erillisessä JAMAn kirjoituksessa mennään jopa niin pitkälle, että ehdotetaan ravitsemustutkijoiden ilmoittavan omat ruokavalionsa sidonnaisuutena. Jos karppaat ja teet hiilihydraatteihin liittyvää tutkimusta, voinko luottaa sanaasi? Taloudellisia motiiveja ei välttämättä ole mutta ideologisia ehkä senkin edestä. Tai jos olet vegaani, voinko luottaa siihen että teet puolueetonta tutkimusta eläinperäisten tuotteiden terveysvaikutuksista?

BMJ:ssä julkaistussa kommentaarissa toppuutellaan innostusta ja todetaan, ettei ole näyttöä tutkijoiden ruokavalion merkittävästä vinouttavasta vaikutuksesta (mikä ei tietenkään tarkoita sitä, etteikö vaikutusta voisi olla – sitä ei vain ole vielä tutkittu). Toisaalta kirjoituksessa muistutetaan myös siitä, ettei niitä sidonnaisuuksia voi loputtomiin ilmoittaa ihan siitä syystä, että niitä on liian paljon. Johonkin se raja on vedettävä.

Samoilla linjoilla on myös terveyslainsäädännön professori Marc Rodwin, joka kirjoitti vastineen edellä siteerattuun BMJ:n artikkeliin. Hänen mielestään sidonnaisuuksien käsitteen laajentaminen ei-taloudellisiin asioihin vieläpä sumentaa koko termin tehden siitä vähemmän käyttökelpoisen.

Keskustelussa nousee esiin vielä yksi tärkeä huomio. Provokatiivisia “Hei, katsokaa miten korruptoitunutta tiede on!” -tyyppisiä kirjoituksia julkaisevat ihmiset saattavat itse asiassa ollakin itse melko puolueellisia. Tämä tunnetaan nimellä White Hat bias’, eli Valkoisen hatun vinouma. Nimi tulee klassisista länkkäreistä, missä sankareilla on valkoiset hatut ja pahiksilla mustat. Sankarit yrittävät pelastaa tieteen ja esiintyvät oikeamielisinä totuuden puolestapuhujina. Ikävä kyllä heillä on myös oma agenda, joka jälleen vinouttaa hyvänkin tarkoituksen.

Tyylipuhdas esimerkki tästä on brittiläinen julkkiskardiologi Aseem Malhotra, joka pääsi hiljattain aina EU:n parlamenttiin saakka puhumaan lääke- ja ruokateollisuuden korruptoivasta voimasta. Hän esiintyi huolestuneena lääkärinä, joka pelkää puolueettoman tiedon puolesta. Samalla kuitenkin pääsi unohtumaan, ettei hän ole itse tehnyt lainkaan alkuperäistutkimusta ja on luonut toisinajattelijan maineen karppauksen puolestapuhujana. Lisäksi hän on kirjoittanut siitä kirjan, minkä myyntiä tällaiset tempaukset tehostavat kummasti. Kas siinäpä valkoista stetsonia kerrakseen.

Tämä ei tietenkään tarkoita sitä, että jos on kirjoittanut aiheesta kirjan, olisi se nimenomaan syy vinoutuneeseen mielipiteeseen. Syy-seuraussuhde voi mennä myös niin päin, että uskoo asiaansa niin vahvasti, että päätyy lopulta kirjoittamaan siitä kirjan. Näin on todennäköisesti käynyt myös Malhotran tapauksessa (ainakin toivon niin). Ongelma on kuitenkin kaksoisstandardina tunnettu virhepäätelmä. Valkoisen hatun alta ei yleensä nähdä sitä, että toinen osapuoli voi yhtälailla vilpittömästi uskoa asiaansa.

Shokkipaljastus: jopa lääkkeitä tai ei-karppausruokavaliota voi puolustaa uskoen vilpittömästi niiden pelastavan ihmishenkiä. Eroava mielipide ei aina ole ostettu.

Keskustelu ei-taloudellisista sidonnaisuuksista on tärkeää. Itselläni ei ole asiasta kovin vahvaa mielipidettä – se vielä heilahtelee uusien kirjoitusten myötä tutustuessani erilaisiin näkökulmiin. Olen kyllä sitä mieltä, että esimerkiksi kirjat ja nykyään blogikirjoitukset tulisi ilmoittaa ideologisena sidonnaisuutena. Tämä on sellaista yhteiskunnallista vaikuttamista, mitä tutkijoilta toisaalta edellytetään mutta mikä myös pitää sisällään jonkinlaisen ideologisen kannanoton.

Terveyskeskustelun kannalta olennaista on kuitenkin se, että KUKAAN ei ole vinoumista tai sidonnaisuuksista vapaa. Taloudellinen sidonnaisuus ei takaa puolueellisuutta eikä riippumattomuus puolueettomuutta. Tämä koskee niin oikeita lääkäreitä sekä tutkijoita, kuin kaikenkarvaisia vaihtoehtotietäjiäkin. JOKU maksaa myös heidän palkan ja JOKU löytyy aina toisesta päästä kun “follow the money”.

Kun tämä viidakko on mitä on, onkin viisainta keskittyä ensisijaisesti siihen, mitä väitetään ja millä perustein.

YHTEENVETO

Tämä kirjoitussarja on polveileva ja monitahoinen. Sillä on kuitenkin loppujen lopuksi varsin selkeä johtopäätös: tutkimukset tulee arvioida ensisijaisesti niiden laadun, ei rahoittajan perusteella. Ja yksittäiset tutkijat tulee arvioida heidän tekemänsä työn, ei sidonnaisuuksien perusteella. Kaikesta tulee muodostaa looginen synteesi kokonaiskirjallisuuden perusteella. Niin tutkijoilla, kuin heidän kriitikoillakin on vinoumia jos johonkin suuntaan. Raha on niistä vain yksi eikä läheskään aina tärkein.

Usein eri tahojen intressit ovat vastakkaiset; lihateollisuus sponsoroi karppaustutkimuksia ja BigPasta hiilaritutkimuksia. Niiden vaikutus on kuitenkin paljon pienempi, kuin yleisesti luullaan. Valtaosa tutkimuksista kertoo asiat niin kuin ne ovat, ilman rahoittajan puolesta spinnailua. Ja kun useiden tutkijoiden kollektiivi tulee saman kokonaiskirjallisuuden perusteella samansuuntaisiin johtopäätöksiin, kyse on hyvin todennäköisesti luotettavasta tiedosta. Heillä kun työnkuvaan kuuluu lukea tutkimukset tarkkaan.

Tieteellisessä kirjallisuudessa on sisäistä jännitettä erilaisten näkemysten, etujen ja vinoumien kesken. Lopputuloksena ne takaavat tieteeseen sisäänrakennetun kriittisen ilmapiirin ja itseään korjaavuuden. Kun tutkimuksia lukee johdonmukaisesti eri suunnista, on mahdollista kaivaa esiin luotettavin tieto.

Leipä ei siis ole mitenkään erityisen laulattavaa ruokaa. Ja vaikka joku tutkija vähän omaan korvaan epävireisesti lauleleekin, on syytä kuunnella sanoja. Leivän alkuperä tulee tärkeysjärjestyksessä vasta kaukana perässä.

TL;DR:

  • Jos tutkimuksessa on mukana yksityinen rahoittaja, puolueellisen tuloksen riski kasvaa n. 30%
  • Firman etu muodostuu keinoin, mitkä tulevat esiin kun tutkimuksen lukee tarkoin
  • Raha ei ole ainoa eikä yleensä tärkein ihmisen mielipidettä vinouttava tekijä. Koskee niin oikeita-, kuin vaihtoehtoisiakin asiantuntijoita
  • Tärkeintä on lukea tutkimukset tarkkaan ja tulkita ne kokonaisuuden viitekehyksessä
  • Aina on hedelmällisintä käydä keskustelua lähtien ensisijaisesti siitä, mitä väitetään ja miten sen perustellaan – ei sidokset edellä

10 Comments

  1. Kyllä tämäkin lunasti odotuksen. Mainio kirjoitus.

    Tavallisessa “kahvipöytä” keskustelussa tai eri mielipidepalstoilla kuka tahansa voi olla minuun nähden asiantuntija. Käytännössä siinä tilanteessa ei ole kovin helppoa todistaa asiaa puoleen eikä toiseen.

    Sen vuoksi on tärkeää että on tietoa myös näistä tiedon / tieteen hankita tavoista ja siinä esiintyvistä harhoista. Näistä ei tosiaan minun silmään ole kovinkaan paljoa osunut kirjoituksia.

    Eli taas kerran; kiitos mainiosta aiheesta tarkasta ja silti ymmärrettävästä tekstistä.

  2. Taisi nyt mennä prosenttilaskut ”Vinouttava raha” -kappaleessa vähän jännästi.
    Jos kaupallinen raha nostaa suotuisan tuloksen todennäköisyyttä 30%, niin ei kai se tarkoita sitä, että 30% tutkimuksista olisi julkaistu huonon tavan mukaisesti? En minä ainakaan moista päätelmää saa aikaan. Jos nousu olisi 30 %-yksikköä, niin sitten tuollaisessa johtopäätöksessä olisi enemmän mieltä, mutta siltikin se on kyllä huono väite. Tai sitten tiedossasi on tarkempia tuloksia, joita et tekstissäsi avannut.
    Kyse lienee eniten siitä, että epäsuotuisia tuloksia jätetään julkaisematta.
    Joten jos meillä on 200 tutkimusta, jotka jakautuvat tuloksen puolesta 50/50 suotuisiin ja epäsuotuisiin tuloksiin, ja näistä jätetään julkaisematta se osuus, jolla saadaan 30% nousu suotuisissa tuloksissa epäsuotuisiin verrattuna tulee julkaistuksi 100 suotuisaa tulosta ja 77 epäsuotuisaa. (1,3 * 77 = 100). Julkaisematta jää siis 23 tulosta, mikä on 11,5 % kaikista tutkimuksista. Siis todellinen huonojen julkaisukäytäntöjen määrä lienee jotain aivan muuta kuin tuo 30% ja se riippuu vahvasti muista matemaattisista argumenteistä (julkisen tahan tuottamien tutkimusten suhdeluvut ym.) sekä tietysti siitä kuinka paljon on tahallisesti virheellisiä julkaisuja ja kuinka paljon julkaisematta jättämisiä.

    Vai ymmärränkö minä ajatuksesi tuossa jotenkin väärin?

    Muuten, jälleen kerran, oivallinen teksti. Kiitos näistä.

    1. Hmm.. Ehkä välillä käytin huonoja sanavalintoja. Tällaiseen populaarikirjoitukseen on vähän hankala muotoilla, mitä tarkoittaa käytännössä tuo RR 1.3. Kysehän on nimenomaan julkaistuista tutkimuksista ja niiden luotettavuudesta. Tässä kirjoituksessa en ottanut kantaa siihen, että epäsuotuisia tuloksia jätetään kokonaan julkaisematta. Näkisin kuitenkin, että tätä tapahtuu enimmäkseen firmojen omassa tutkimustyössä, mikä on jälleen yksi syy tehdä yhteistyötä riippumattomien tutkijoiden kanssa. Lisäksi tällä nk. “pöytälaatikkovaikutuksella” on ensisijaisesti vaikutusta tieteen tehokkuuteen (vasta toissijaisesti luotettavuuteen). Rahaa ja aikaa palaa turhaan kun ihmiset joutuvat tutkimaan samoja asioita tietämättä että joku muu on niitä jo tutkinut.. Ehkäpä tuostakin pitäisi kirjoittaa ihan oma kirjoituksensa…

      Varmaan siis parempiakin sanavalintoja olisi ollut mutta tuota puolustan vielä lisäksi sillä, että “huonoon tapaan” kuuluu nimenomaan mm. tulosten kaunistelu sekä tutkimusasetelmaan liittyvät puutteet. Jos tutkimus on suunniteltu siten että se puoltaa firman etuja, sekin on mielestäni luokiteltavissa huonoksi tutkimustavaksi.

      1. Ah, kyse on siis Risk Ratiosta. (olisi varmaan pitänyt lukea tuo linkitetty lähde ennen kun avaa suunsa)
        Siinä tapauksessa väitteessä on enemmän pohjaa, mutta mitä minä asiasta ymmärrän, niin kun Risk Ratiohan lasketaan ilmaantuvuusosuuksista (positiivisten tulosten osuus kaikista julkaisuista), niin julkaisematta jättäminen vaikuttaa kyllä minusta siihenkin.

        Tiivistelmässä ollut maininta puolueellisen tuloksen riskin kasvusta on minusta hyvä ja selkeä, itse en kuitenkaan vetäisi siitäkään sellaista loppupäätelmää, että 30% julkaisuista on julkaistu huonon tavan mukaisesti. Uskaltaisin veikata blogisi lukijoiden olevan järjestään sen verran akateemisia, että ymmärtävät riskin käsitteen, ja tarve sen suuremmalle kansantajuistamiselle saattaa olla aika vähäinen. Mielestäni kuitenkin lähimpänä totuutta, jos tuon tason yksinkertaistamiseen halutaan mennä, voisi olla maininta, että 70 % myönteisen tuloksen saaneista on julkaistu hyvän tavan mukaan, jolloin puhuttaisiin juurikin siitä samasta, mihin ko. RR ottaa kantaa.

        Noh, minulla on kuitenkin vielä aika vähäisesti kokemusta näiden lukujen pyörittämisestä ja itselläni menee kyllä pää helposti pyörälle erilaisten esiintyvyys- ja vaikutussuureiden kanssa. Pahoittelen, jos olen nyt kovasti sotkenut asioita koettaessani ymmärtää.

        1. Ei se mitään, hyvä se on kun kysyt! Toivon mukaan lukijani eivät ole vain akateemisia, sillä haluaisin kovasti kirjoitella mahdollisimman suurelle yleisölle.. Sen takia on tärkeää miettiä, miten sanansa valitsee. Mutta siis, tässä tapauksessa tutkimusasetelma rakennettiin ymmärtääkseni siten että samaa asiaa tutkivat tutkimukset laitettiin ikään kuin samalle viivalle ja katsottiin, miten tulos eroaa rahoittajasta riippuen. Mukana ei siis ollut julkaisematta jätettyjen tutkimusten muodostamaa harhaa.

        2. Itse ensin kurtistelin kulmiani samalle luvulle, mutta päässälaskun seurauksena totesin johtopäätöksen oikeasti.

          Ajatellaan 100 tutkimuksen joukkoa. 70% on riippumattomia, eli ne tuottavat oikean lopputuloksen, ja niiden jakauma on silloin 35 negatiivista, 35 positiivista (jos ajatellaan todennäköisyys 50%:ksi).

          30 tutkimusta on niin korruptoituneita, että ne antavat aina positiivisen.

          Näin lopputulos on 65 positiivista, 35 negatiivista. Verrattuna objektiiviseen tutkimukseen (50/50) lopputulos on siis 30% enemmän positiivisia tuloksia.

          🙂

  3. Jos yksityisen rahoittajan tutkimuksista 90 % (90/100) on kukkua ja julkisen rahoittajan tutkimuksista 70% (70/100), niin tästä saadaan riskisuhde 1,3 eli kukun riski kasvaa suhteellisesti noin 30% yksityisen rahoittajan tutkimuksissa verrattuna julkiseen rahoittajan tutkimuksiin.

    Tarkoittaako edelläoleva, että …” n. 70% tutkimuksista on julkaistu hyvän tavan mukaan huolimatta firman rahoituksesta…”?

  4. Paulille sen verran, että pidä vaan tekstin sisältö kansantajuisena.
    Meitä ei akateemisia on lukijoissa varmasti aika paljon. Tällä blogilla on paljon suurempi tiedon siirtovaikutus kun mekin ollaan kartalla.

    Ja näinhän se on tähän asti ollutkin.

Vastaa

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *

This site uses Akismet to reduce spam. Learn how your comment data is processed.