Julkisten tutkimuslaitosten vaikutusten arviointi

Käytäntöjä, kokemuksia ja haasteita

Soile Kuitunen, Kirsi Hyytinen

Research output: Book/ReportReportProfessional

5 Citations (Scopus)

Abstract

Tämän käsikirjan tavoitteena on tarjota julkisille tutkimuslaitoksille menetelmiä ja työkaluja niiden vaikutusten ja vaikuttavuuden arviointiin. Työkalujen ja menetelmien lisäksi käsikirjassa tarkastellaan vaikutus- ja vaikuttavuusarvioinnin haasteita, vahvuuksia ja mahdollisuuksia sekä annetaan tätä kautta suuntaviivoja tulevaisuuden evaluoinneille. Käsikirjassa vaikutus- ja vaikuttavuusarviointia tarkastellaan sekä yleisesti että yksityiskohtaisesti VTT:llä toteutettujen arviointien ja arviointikäytäntöjen perusteella. Käsikirjan alussa kuvataan t&k-arvioinnin ja julkisten tutkimuslaitosten arvioinnin taustoja kiinnittämällä huomiota erityisesti evaluointien motiiveihin ja rationaliteetteihin. Vaikutusarviointien motiivit voidaan karkeasti ottaen jakaa kahteen ryhmään: ulkoisiin ja sisäisiin motiiveihin. Ulkoiset syyt liittyvät lähinnä tehokkuusvaatimuksiin sekä vaatimuksiin pitää julkiset tutkimuslaitokset vastuullisina rahoittajilleen ja viime kädessä koko yhteiskunnalle. Sisäiset syyt kytkeytyvät enemmän organisaatioiden, ohjelmien ja politiikkojen kehittämistarpeisiin. Käsikirjan toisessa ja kolmannessa osiossa kuvataan työkalupakki julkisten tutkimuslaitosten vaikutusten ja vaikuttavuuden arvioimiseksi. Työkalupakki sisältää evaluoinnissa hyödynnettäviä vaikutus- ja vaikuttavuuskäsitteitä ja kriteerejä sekä esimerkkejä erilaisista empiirisistä aineistoista ja niiden yhdistelmistä. Käsikirjassa korostetaan sitä, että evaluoinneissa tulee hyödyntää laaja-alaisia sosioekonomisia vaikutuksia, jotta niissä todella päästään käsiksi julkisten tutkimuslaitosten rooliin ja merkitykseen yhteiskunnassa. Raportissa tuodaan esiin myös se, ettei mikään tietty empiirinen aineisto tai tutkimusmenetelmä ole parempi tai huonompi suhteessa muihin. Aineistojen ja menetelmien sopivuus on aina riippuvainen asetetuista evaluointikysymyksistä. Aineistojen ja menetelmien valinnan tuleekin pohjautua evaluoinnille asetettujen kysymysten ja tavoitteiden huolelliseen pohdintaan. Käsikirjassa esitetään vaikutus- ja vaikuttavuusarvioinnin malli, joka sisältää seitsemän eri vaihetta. Nämä ovat evaluointikysymysten täsmentäminen; evaluointimenetelmien valinta; tarkasteltavan organisaation, ohjelman, politiikan tms. tavoitteiden täsmentäminen; vaikutusmekanismien ja vaikutuksia estävien ja edistävien tekijöiden tunnistaminen; kontekstitekijöiden täsmentäminen; tavoitteiden ja vaikutusten vertaaminen toisiinsa sekä viimeisenä evaluoinnin ja sen tulosten hyödyntäminen erityisesti suhteessa evaluoinnille asetettuihin tavoitteisiin.
Original languageFinnish
PublisherVTT Technical Research Centre of Finland
Number of pages55
ISBN (Electronic)951-38-6211-9
ISBN (Print)951-38-6210-0
Publication statusPublished - 1 Dec 2004
MoE publication typeNot Eligible

Publication series

NameVTT Tiedotteita - Research Notes
PublisherVTT
No.2230
ISSN (Print)1235-0605
ISSN (Electronic)1455-0865

Fingerprint

Innovation
Specifications
Economics

Keywords

  • Effectiveness
  • Evaluation
  • Methodologies for impact assessment
  • Public research organizations
  • R&D impacts
  • Social impacts
  • Technology policy

Cite this

Kuitunen, S., & Hyytinen, K. (2004). Julkisten tutkimuslaitosten vaikutusten arviointi: Käytäntöjä, kokemuksia ja haasteita. VTT Technical Research Centre of Finland. VTT Tiedotteita - Meddelanden - Research Notes, No. 2230
Kuitunen, Soile ; Hyytinen, Kirsi. / Julkisten tutkimuslaitosten vaikutusten arviointi : Käytäntöjä, kokemuksia ja haasteita. VTT Technical Research Centre of Finland, 2004. 55 p. (VTT Tiedotteita - Meddelanden - Research Notes; No. 2230).
@book{710ad3eac0974fe09392ecfae5f73327,
title = "Julkisten tutkimuslaitosten vaikutusten arviointi: K{\"a}yt{\"a}nt{\"o}j{\"a}, kokemuksia ja haasteita",
abstract = "T{\"a}m{\"a}n k{\"a}sikirjan tavoitteena on tarjota julkisille tutkimuslaitoksille menetelmi{\"a} ja ty{\"o}kaluja niiden vaikutusten ja vaikuttavuuden arviointiin. Ty{\"o}kalujen ja menetelmien lis{\"a}ksi k{\"a}sikirjassa tarkastellaan vaikutus- ja vaikuttavuusarvioinnin haasteita, vahvuuksia ja mahdollisuuksia sek{\"a} annetaan t{\"a}t{\"a} kautta suuntaviivoja tulevaisuuden evaluoinneille. K{\"a}sikirjassa vaikutus- ja vaikuttavuusarviointia tarkastellaan sek{\"a} yleisesti ett{\"a} yksityiskohtaisesti VTT:ll{\"a} toteutettujen arviointien ja arviointik{\"a}yt{\"a}nt{\"o}jen perusteella. K{\"a}sikirjan alussa kuvataan t&k-arvioinnin ja julkisten tutkimuslaitosten arvioinnin taustoja kiinnitt{\"a}m{\"a}ll{\"a} huomiota erityisesti evaluointien motiiveihin ja rationaliteetteihin. Vaikutusarviointien motiivit voidaan karkeasti ottaen jakaa kahteen ryhm{\"a}{\"a}n: ulkoisiin ja sis{\"a}isiin motiiveihin. Ulkoiset syyt liittyv{\"a}t l{\"a}hinn{\"a} tehokkuusvaatimuksiin sek{\"a} vaatimuksiin pit{\"a}{\"a} julkiset tutkimuslaitokset vastuullisina rahoittajilleen ja viime k{\"a}dess{\"a} koko yhteiskunnalle. Sis{\"a}iset syyt kytkeytyv{\"a}t enemm{\"a}n organisaatioiden, ohjelmien ja politiikkojen kehitt{\"a}mistarpeisiin. K{\"a}sikirjan toisessa ja kolmannessa osiossa kuvataan ty{\"o}kalupakki julkisten tutkimuslaitosten vaikutusten ja vaikuttavuuden arvioimiseksi. Ty{\"o}kalupakki sis{\"a}lt{\"a}{\"a} evaluoinnissa hy{\"o}dynnett{\"a}vi{\"a} vaikutus- ja vaikuttavuusk{\"a}sitteit{\"a} ja kriteerej{\"a} sek{\"a} esimerkkej{\"a} erilaisista empiirisist{\"a} aineistoista ja niiden yhdistelmist{\"a}. K{\"a}sikirjassa korostetaan sit{\"a}, ett{\"a} evaluoinneissa tulee hy{\"o}dynt{\"a}{\"a} laaja-alaisia sosioekonomisia vaikutuksia, jotta niiss{\"a} todella p{\"a}{\"a}st{\"a}{\"a}n k{\"a}siksi julkisten tutkimuslaitosten rooliin ja merkitykseen yhteiskunnassa. Raportissa tuodaan esiin my{\"o}s se, ettei mik{\"a}{\"a}n tietty empiirinen aineisto tai tutkimusmenetelm{\"a} ole parempi tai huonompi suhteessa muihin. Aineistojen ja menetelmien sopivuus on aina riippuvainen asetetuista evaluointikysymyksist{\"a}. Aineistojen ja menetelmien valinnan tuleekin pohjautua evaluoinnille asetettujen kysymysten ja tavoitteiden huolelliseen pohdintaan. K{\"a}sikirjassa esitet{\"a}{\"a}n vaikutus- ja vaikuttavuusarvioinnin malli, joka sis{\"a}lt{\"a}{\"a} seitsem{\"a}n eri vaihetta. N{\"a}m{\"a} ovat evaluointikysymysten t{\"a}sment{\"a}minen; evaluointimenetelmien valinta; tarkasteltavan organisaation, ohjelman, politiikan tms. tavoitteiden t{\"a}sment{\"a}minen; vaikutusmekanismien ja vaikutuksia est{\"a}vien ja edist{\"a}vien tekij{\"o}iden tunnistaminen; kontekstitekij{\"o}iden t{\"a}sment{\"a}minen; tavoitteiden ja vaikutusten vertaaminen toisiinsa sek{\"a} viimeisen{\"a} evaluoinnin ja sen tulosten hy{\"o}dynt{\"a}minen erityisesti suhteessa evaluoinnille asetettuihin tavoitteisiin.",
keywords = "Effectiveness, Evaluation, Methodologies for impact assessment, Public research organizations, R&D impacts, Social impacts, Technology policy",
author = "Soile Kuitunen and Kirsi Hyytinen",
year = "2004",
month = "12",
day = "1",
language = "Finnish",
isbn = "951-38-6210-0",
series = "VTT Tiedotteita - Research Notes",
publisher = "VTT Technical Research Centre of Finland",
number = "2230",
address = "Finland",

}

Kuitunen, S & Hyytinen, K 2004, Julkisten tutkimuslaitosten vaikutusten arviointi: Käytäntöjä, kokemuksia ja haasteita. VTT Tiedotteita - Meddelanden - Research Notes, no. 2230, VTT Technical Research Centre of Finland.

Julkisten tutkimuslaitosten vaikutusten arviointi : Käytäntöjä, kokemuksia ja haasteita. / Kuitunen, Soile; Hyytinen, Kirsi.

VTT Technical Research Centre of Finland, 2004. 55 p. (VTT Tiedotteita - Meddelanden - Research Notes; No. 2230).

Research output: Book/ReportReportProfessional

TY - BOOK

T1 - Julkisten tutkimuslaitosten vaikutusten arviointi

T2 - Käytäntöjä, kokemuksia ja haasteita

AU - Kuitunen, Soile

AU - Hyytinen, Kirsi

PY - 2004/12/1

Y1 - 2004/12/1

N2 - Tämän käsikirjan tavoitteena on tarjota julkisille tutkimuslaitoksille menetelmiä ja työkaluja niiden vaikutusten ja vaikuttavuuden arviointiin. Työkalujen ja menetelmien lisäksi käsikirjassa tarkastellaan vaikutus- ja vaikuttavuusarvioinnin haasteita, vahvuuksia ja mahdollisuuksia sekä annetaan tätä kautta suuntaviivoja tulevaisuuden evaluoinneille. Käsikirjassa vaikutus- ja vaikuttavuusarviointia tarkastellaan sekä yleisesti että yksityiskohtaisesti VTT:llä toteutettujen arviointien ja arviointikäytäntöjen perusteella. Käsikirjan alussa kuvataan t&k-arvioinnin ja julkisten tutkimuslaitosten arvioinnin taustoja kiinnittämällä huomiota erityisesti evaluointien motiiveihin ja rationaliteetteihin. Vaikutusarviointien motiivit voidaan karkeasti ottaen jakaa kahteen ryhmään: ulkoisiin ja sisäisiin motiiveihin. Ulkoiset syyt liittyvät lähinnä tehokkuusvaatimuksiin sekä vaatimuksiin pitää julkiset tutkimuslaitokset vastuullisina rahoittajilleen ja viime kädessä koko yhteiskunnalle. Sisäiset syyt kytkeytyvät enemmän organisaatioiden, ohjelmien ja politiikkojen kehittämistarpeisiin. Käsikirjan toisessa ja kolmannessa osiossa kuvataan työkalupakki julkisten tutkimuslaitosten vaikutusten ja vaikuttavuuden arvioimiseksi. Työkalupakki sisältää evaluoinnissa hyödynnettäviä vaikutus- ja vaikuttavuuskäsitteitä ja kriteerejä sekä esimerkkejä erilaisista empiirisistä aineistoista ja niiden yhdistelmistä. Käsikirjassa korostetaan sitä, että evaluoinneissa tulee hyödyntää laaja-alaisia sosioekonomisia vaikutuksia, jotta niissä todella päästään käsiksi julkisten tutkimuslaitosten rooliin ja merkitykseen yhteiskunnassa. Raportissa tuodaan esiin myös se, ettei mikään tietty empiirinen aineisto tai tutkimusmenetelmä ole parempi tai huonompi suhteessa muihin. Aineistojen ja menetelmien sopivuus on aina riippuvainen asetetuista evaluointikysymyksistä. Aineistojen ja menetelmien valinnan tuleekin pohjautua evaluoinnille asetettujen kysymysten ja tavoitteiden huolelliseen pohdintaan. Käsikirjassa esitetään vaikutus- ja vaikuttavuusarvioinnin malli, joka sisältää seitsemän eri vaihetta. Nämä ovat evaluointikysymysten täsmentäminen; evaluointimenetelmien valinta; tarkasteltavan organisaation, ohjelman, politiikan tms. tavoitteiden täsmentäminen; vaikutusmekanismien ja vaikutuksia estävien ja edistävien tekijöiden tunnistaminen; kontekstitekijöiden täsmentäminen; tavoitteiden ja vaikutusten vertaaminen toisiinsa sekä viimeisenä evaluoinnin ja sen tulosten hyödyntäminen erityisesti suhteessa evaluoinnille asetettuihin tavoitteisiin.

AB - Tämän käsikirjan tavoitteena on tarjota julkisille tutkimuslaitoksille menetelmiä ja työkaluja niiden vaikutusten ja vaikuttavuuden arviointiin. Työkalujen ja menetelmien lisäksi käsikirjassa tarkastellaan vaikutus- ja vaikuttavuusarvioinnin haasteita, vahvuuksia ja mahdollisuuksia sekä annetaan tätä kautta suuntaviivoja tulevaisuuden evaluoinneille. Käsikirjassa vaikutus- ja vaikuttavuusarviointia tarkastellaan sekä yleisesti että yksityiskohtaisesti VTT:llä toteutettujen arviointien ja arviointikäytäntöjen perusteella. Käsikirjan alussa kuvataan t&k-arvioinnin ja julkisten tutkimuslaitosten arvioinnin taustoja kiinnittämällä huomiota erityisesti evaluointien motiiveihin ja rationaliteetteihin. Vaikutusarviointien motiivit voidaan karkeasti ottaen jakaa kahteen ryhmään: ulkoisiin ja sisäisiin motiiveihin. Ulkoiset syyt liittyvät lähinnä tehokkuusvaatimuksiin sekä vaatimuksiin pitää julkiset tutkimuslaitokset vastuullisina rahoittajilleen ja viime kädessä koko yhteiskunnalle. Sisäiset syyt kytkeytyvät enemmän organisaatioiden, ohjelmien ja politiikkojen kehittämistarpeisiin. Käsikirjan toisessa ja kolmannessa osiossa kuvataan työkalupakki julkisten tutkimuslaitosten vaikutusten ja vaikuttavuuden arvioimiseksi. Työkalupakki sisältää evaluoinnissa hyödynnettäviä vaikutus- ja vaikuttavuuskäsitteitä ja kriteerejä sekä esimerkkejä erilaisista empiirisistä aineistoista ja niiden yhdistelmistä. Käsikirjassa korostetaan sitä, että evaluoinneissa tulee hyödyntää laaja-alaisia sosioekonomisia vaikutuksia, jotta niissä todella päästään käsiksi julkisten tutkimuslaitosten rooliin ja merkitykseen yhteiskunnassa. Raportissa tuodaan esiin myös se, ettei mikään tietty empiirinen aineisto tai tutkimusmenetelmä ole parempi tai huonompi suhteessa muihin. Aineistojen ja menetelmien sopivuus on aina riippuvainen asetetuista evaluointikysymyksistä. Aineistojen ja menetelmien valinnan tuleekin pohjautua evaluoinnille asetettujen kysymysten ja tavoitteiden huolelliseen pohdintaan. Käsikirjassa esitetään vaikutus- ja vaikuttavuusarvioinnin malli, joka sisältää seitsemän eri vaihetta. Nämä ovat evaluointikysymysten täsmentäminen; evaluointimenetelmien valinta; tarkasteltavan organisaation, ohjelman, politiikan tms. tavoitteiden täsmentäminen; vaikutusmekanismien ja vaikutuksia estävien ja edistävien tekijöiden tunnistaminen; kontekstitekijöiden täsmentäminen; tavoitteiden ja vaikutusten vertaaminen toisiinsa sekä viimeisenä evaluoinnin ja sen tulosten hyödyntäminen erityisesti suhteessa evaluoinnille asetettuihin tavoitteisiin.

KW - Effectiveness

KW - Evaluation

KW - Methodologies for impact assessment

KW - Public research organizations

KW - R&D impacts

KW - Social impacts

KW - Technology policy

UR - http://www.scopus.com/inward/record.url?scp=84884721601&partnerID=8YFLogxK

M3 - Report

SN - 951-38-6210-0

T3 - VTT Tiedotteita - Research Notes

BT - Julkisten tutkimuslaitosten vaikutusten arviointi

PB - VTT Technical Research Centre of Finland

ER -

Kuitunen S, Hyytinen K. Julkisten tutkimuslaitosten vaikutusten arviointi: Käytäntöjä, kokemuksia ja haasteita. VTT Technical Research Centre of Finland, 2004. 55 p. (VTT Tiedotteita - Meddelanden - Research Notes; No. 2230).