Julkisten tutkimuslaitosten vaikutusten arviointi: Käytäntöjä, kokemuksia ja haasteita

Tämän käsikirjan tavoitteena on tarjota julkisille tutkimuslaitoksille menetelmiä ja työkaluja niiden vaikutusten ja vaikuttavuuden arviointiin. Työkalujen ja menetelmien lisäksi käsikirjassa tarkastellaan vaikutus- ja vaikuttavuusarvioinnin haasteita, vahvuuksia ja mahdollisuuksia sekä annetaan tätä kautta suuntaviivoja tulevaisuuden evaluoinneille. Käsikirjassa vaikutus- ja vaikuttavuusarviointia tarkastellaan sekä yleisesti että yksityiskohtaisesti VTT:llä toteutettujen arviointien ja arviointikäytäntöjen perusteella. Käsikirjan alussa kuvataan t&k-arvioinnin ja julkisten tutkimuslaitosten arvioinnin taustoja kiinnittämällä huomiota erityisesti evaluointien motiiveihin ja rationaliteetteihin. Vaikutusarviointien motiivit voidaan karkeasti ottaen jakaa kahteen ryhmään: ulkoisiin ja sisäisiin motiiveihin. Ulkoiset syyt liittyvät lähinnä tehokkuusvaatimuksiin sekä vaatimuksiin pitää julkiset tutkimuslaitokset vastuullisina rahoittajilleen ja viime kädessä koko yhteiskunnalle. Sisäiset syyt kytkeytyvät enemmän organisaatioiden, ohjelmien ja politiikkojen kehittämistarpeisiin. Käsikirjan toisessa ja kolmannessa osiossa kuvataan työkalupakki julkisten tutkimuslaitosten vaikutusten ja vaikuttavuuden arvioimiseksi. Työkalupakki sisältää evaluoinnissa hyödynnettäviä vaikutus- ja vaikuttavuuskäsitteitä ja kriteerejä sekä esimerkkejä erilaisista empiirisistä aineistoista ja niiden yhdistelmistä. Käsikirjassa korostetaan sitä, että evaluoinneissa tulee hyödyntää laaja-alaisia sosioekonomisia vaikutuksia, jotta niissä todella päästään käsiksi julkisten tutkimuslaitosten rooliin ja merkitykseen yhteiskunnassa. Raportissa tuodaan esiin myös se, ettei mikään tietty empiirinen aineisto tai tutkimusmenetelmä ole parempi tai huonompi suhteessa muihin. Aineistojen ja menetelmien sopivuus on aina riippuvainen asetetuista evaluointikysymyksistä. Aineistojen ja menetelmien valinnan tuleekin pohjautua evaluoinnille asetettujen kysymysten ja tavoitteiden huolelliseen pohdintaan. Käsikirjassa esitetään vaikutus- ja vaikuttavuusarvioinnin malli, joka sisältää seitsemän eri vaihetta. Nämä ovat evaluointikysymysten täsmentäminen; evaluointimenetelmien valinta; tarkasteltavan organisaation, ohjelman, politiikan tms. tavoitteiden täsmentäminen; vaikutusmekanismien ja vaikutuksia estävien ja edistävien tekijöiden tunnistaminen; kontekstitekijöiden täsmentäminen; tavoitteiden ja vaikutusten vertaaminen toisiinsa sekä viimeisenä evaluoinnin ja sen tulosten hyödyntäminen erityisesti suhteessa evaluoinnille asetettuihin tavoitteisiin.