Jotta oman työn tuloksista voisi saada tuloksia, täytyy niitä mitata. Ja jotta mittaaminen onnistuu, tavoitteen pitää olla hyvin määritelty ja fiksusti rajattu. Tiesitkö, että hyvin muotoiltu tavoite voi olla mittari jo itsessään? Tässä koulutuksessa perehdyt erilaisiin tavoitteisiin ja mittareihin. Opit lisäksi valitsemaan omaan toimintaan ja resursseihin sopivat tavat mitata tavoitteita.
Johdanto
Jotta toiminnalla voidaan osoittaa olevan tuloksia ja vaikutuksia, sille tulee olla määritelty mitattavissa olevat tavoitteet. Mittari on keino osoittaa, että toiminnasta saadaan aikaan se muutos, jota tavoitellaan. Tavoitteiden ja mittareiden täytyy sopia yhteen, jotta mittarit oikeasti kertovat, minkälainen muutos toiminnasta seuraa.
Arvioinnin yhteydessä näkeekin usein käytettävän sanontaa ”mittaa sitä, mistä välität ja välitä siitä, mitä mittaat.” Toiminnasta seuraa monia hyviä asioita myös mitattavan maailman ulkopuolella, mutta sekä toiminnan tavoitteiden asettelussa että niiden toteutumisen mittaamisessa on hyvä keskittyä olennaiseen ja valita kerralla vain muutama mitattava asia.
Tässä koulutuksessa saat perustiedot siitä, mitä ovat tavoitteet ja mittarit, ja miten voit soveltaa niitä käytännössä.
Mittaa sitä, mistä välität ja välitä siitä, mitä mittaat.
Tavoite keskittyy muutokseen: tuloksiin ja vaikutuksiin
Tavoite kertoo muutoksesta, jonka toivotaan tapahtuvan kohderyhmässä. Muutosta voivat ilmentää esimerkiksi seuraavat asiat:
Vapaaehtoiset ovat saaneet koulutuksesta uusia tietoja ja taitoja, joita he voivat soveltaa toiminnassa.
Järjestön päivätoimintaan osallistuva nuori kykenee huolehtimaan oma-aloitteisesti paremmin itsestään (esimerkiksi menemään nukkumaan ajoissa).
60 % toimintaan osallistuneista työttömistä henkilöistä on työllistynyt kuuden kuukauden sisällä toiminnan päättymisestä.
Uusi lainsäädäntö on hyväksytty Eduskunnassa.
Kun lähdet miettimään toiminnalle tavoitteita, mieti ensisijaisesti muutosta, jonka haluat toiminnan saavan aikaan. Toiminta on keino tai väline saavuttaa tavoite. Mieti tekemisen ”yli” asettaessasi tavoitteita. Älä esimerkiksi sano: ”Tavoitteena on järjestää 20 viikon ajan päivätoimintaa, jossa nuoret tapaavat ja oppivat ylläpitämään toimintakykyään”. Sen sijaan aseta tavoite näin: ”Tavoitteena on nuoren toimintakyvyn parantaminen. Sen edistämiseksi järjestämme kuntouttavaa päivätoimintaa 20 viikon ajan. Tuloksena vähintään 65 % mukana olleista nuorista kertoo elämänhallintansa parantuneen.”
Ota kuitenkin huomioon myös toiminta laatiessasi toiminnalle tavoitteita. Toiminnan laajuuden tulee olla sovitettu tavoitteen laajuuteen. Yksi tapaamiskerta tuskin voi parantaa nuoren elämänhallintaa, mutta 20 tapaamiskertaa jo voi. Kertatapaamisiin perustuvan toiminnan toivottu tavoite voisi olla esimerkiksi ”65 % osallistujista aikoo soveltaa tapaamisessa saamiaan hyvinvointivinkkejä omassa arjessaan”.
Tavoitteita on eritasoisia
Hyvän mitta -aineistossa tavoitteet jaetaan kolmelle tasolle: yleisen tason, strategisen tason ja toiminnan tason tavoitteisiin.
Yleisen tason tavoitteet ovat lähinnä retorisia. Sellainen voi olla esimerkiksi ”torjumme ilmastonmuutosta” tai ”edistämme nuorten elämänhallintaa ja hyvinvointia”.
Strategisen tason tavoitteet liittyvät sekä toiminnan visioon että sen toivottuihin tuloksiin ja vaikutuksiin. Strategiaan tai visioon liittyvä tavoite voi olla esimerkiksi, että ”sote-alueella seuraavan 10 vuoden aikana kaatumisista johtuvien sairaalakäyntien määrä puolittuu, josta seuraa budjettisäästöä 5 %.” Tätä edeltävä tulos voisi olla, että ”kunnassamme 90 % yli 65-vuotiaista on ottanut tarjotut kenkien liukuesteet käyttöönsä” ja vaikutus, että ”kolmen vuoden päästä terveyskeskuksessa käyvistä yli 65-vuotiaista yli 50 % ulkoilee myös talvisaikaan vähintään neljästi viikossa.”
Toimenpiteiden tason tavoitteet ovat sellaisia, että ne edistävät tavoitteiden syntymistä. Esimerkiksi tavoitteena voi olla, että yllä mainitut kenkien liukuesteet on saatu jaettua. Toiminnan tavoitteet liittyvät myös toiminnan aikaansaamiin tuotoksiin, eli leirien, kurssien tai toimintamallien muodostamiin kokonaisuuksiin. Liukueste-esimerkissä tuotostavoite voisi olla, että ”liukuesteiden jakelujärjestelmä on toimiva ja vakiinnutettu”. Mallissa on tuolloin otettu huomioon esimerkiksi hankinta, jakelukanavat roolituksineen ja järjestelmän ylläpito.
Millainen on hyvä tavoite?
On tärkeää, että mitattava tavoite on tarpeeksi yksiselitteinen, jolloin sitä ei voi tulkita liian monella tavalla. Toinen tärkeä asia on, että tavoite on saavutettavissa toiminnan avulla. Tavoitteita asetettaessa ei ole syytä olla liian kunnianhimoinen, paitsi vision tasolla. Hyvä tavoite ei myöskään ole sellainen, joka saavutetaan tekemättä mitään.
Englanninkielinen SMART-lyhenne auttaa kuvaamaan tavoitetta. Hyvä tavoite on
Specific eli konkreettinen ja tarkka.
Measurable eli mitattava.
Attainable eli saavutettava.
Relevant eli merkityksellinen.
Time bound eli aikasidonnainen.
Tavoite voi jo itsessään sisältää mittarin,jolloin sen todentaminen helpottuu. Tavoite voi esimerkiksi olla: ”Kuusi kuukautta koulutuksen jälkeen 75 % osallistujista on hakenut työtä ja yli 50 % työllistynyt.” Näin asetetussa tavoitteessa on mitattavat tunnusluvut valmiina ja tulokset on helppo selvittää esimerkiksi kyselyiden tai puhelinsoittojen avulla.
Osoita tavoitteiden saavuttaminen mittareiden avulla
Mittari on väline, jolla voidaan seurata valittua ilmiötä ja siinä tapahtuvaa muutosta. Esimerkkinä työnhakutaitojen lisäämiseksi kehitetyn koulutuksen aikaansaamasta muutoksesta voi olla, että 75 % osallistujista on hakenut töitä.
Mittarin synonyyminä käytetään joskus sanoja ”tunnusluku” tai ”indikaattori”, mutta mittarit voivat olla myös laadullisia. Hyvinvoinnista puhuttaessa mittareilla seurataan muutoksia ihmisten elämäntilanteessa, kokemuksessa ja käyttäytymisessä. Jos seurataan lisäksi esimerkiksi toiminnallisten tavoitteiden toteutumista, julkaisun kaltaisen tuotoksen kohdalla tuotostavoite on saavutettu, kun julkaisu on valmiina. Tulostavoite asetetaan ja mitataan siitä näkökulmasta, mitä julkaisulla halutaan saada aikaan.
Mittaaminen on tapa, jolla tavoitteiden saavuttaminen voidaan osoittaa. Tavoitteet ja mittarit tuleekin suunnitella yhtä aikaa. Mittarit sovitetaan tavoitteisiin eikä päinvastoin.
Mittaaminen ja mittarit ovat siis keino ja väline todentaa tuloksia ja arvioida omaa toimintaa. Tästä syystä mittaaminen on myös systemaattista toimintaa. Tietoa tulee kerätä suunnitellusti ja vähän vähältä toiminnan ohessa. Kullekin tavoitteelle on syytä valita rajallinen määrä mittareita. Yleensä puhumme 1-3 mittarista.
Monipuoliset mittarit
Toiminnan mittaamiseksi kannattaa valita monipuolisesti eri mittareita. Ne voivat olla määrällisiä tai laadullisia, ja ne voivat kertoa toiminnasta eri tasoilla. Mittari voi olla esimerkiksi toistettava väittämäsarja tai kysely, tarkistuslista tai jokin laadullinen mittari. Tapoja kerätä arviointiaineistoa erilaisten mittareiden avulla esitellään tämän oppaan luvussa Arviointitiedon kerääminen ja hyödyntäminen.
Mittareiden tasoina pidetään Hyvän mitta -aineistossa seuraavia:
Prosessimittarit ohjaavat toimintaa ja varmistavat sen laatua. Niiden avulla saadaan tietoa siitä, miten prosessit toimivat. Prosessimittarit voivat myös osoittaa tarvetta organisoida tekeminen uudella tavalla. Määrittele näitä erityisesti toiminnan tason tavoitteilla. Nämä mittarit perustuvat organisaation sisäiseen dataan. Tällöin voidaan mitata esimerkiksi henkilötyövuosia, tilojen käyttökustannuksia, osallistujamääriä tai vapaaehtoistunteja. Voidaan esimerkiksi pohtia, että jos jonkin toiminnan kohdalla osallistujamäärät ovat jatkuvasti alhaisia tai että niissä on voimakasta vuodenaikojen mukaista vaihtelua, onko toiminta tarpeellinen tai pitäisikö se ajoittaa vaikka vain talvikaudelle.
Tulosmittarit kertovat tavoitteisiin määritellyn muutoksen suunnasta ja koosta. Ne koskevat tietoa, jota kerätään kohderyhmältä seuraten muutoksia heidän elämässään. Tulosmittari vastaa tavoitteen toteutumista. Mieti, miten mitata muutoksen laajuutta, syvyyttä ja pysyvyyttä.
Lisäksi on olemassa yhteiskunnallisen muutoksen tasoa mittaavia vaikuttavuusmittareita, jotka mittaavat laajempaa muutosta yhteiskunnassa. Tällainen on esimerkiksi kouluterveyskysely. Yksittäinen järjestö ei kuitenkaan toteuta tätä mittaamisen tasoa.
Sovella käytännössä
Varaa runsaasti aikaa tavoitteiden ja mittareiden valinnalle ja sanoittamiselle. Tämä on tärkeää siksi, että niiden avulla osoitatte toimintanne onnistuneisuuden ja löydätte uudet kehittämiskohteet. Toinen syy on, että tämä aihe koetaan toiminnan suunnittelussa usein haastavaksi. Tekemällä kuitenkin oppii. Hyvä idea voisi olla etsiä sparrausapua oman järjestön sisältä tai naapurista.
Miksi toteutamme tätä toimintaa? Arvioinnin tärkein tehtävä on toiminnan kehittäminen eli tavoitteiden tulisi kuvastaa toimintanne tarvetta ja ajatusta.
Mitä muutoksia pitäisi tapahtua, jotta pääsemme tavoitteeseen? Muutos voi olla esim. oppimista, käyttäytymistä tai vaikka lainsäädännön uudistus.
Minkälaisia muutoksia kohderyhmämme elämässä on toimintamme seurauksena? Kuka muu vaikuttaa ryhmän elämään?
Voimmeko tarkastella kohderyhmäämme yhtenä joukkona, vai pitäisikö sieltä erotella pienempiä joukkoja? Esimerkiksi ”kaikki nuoret” on usein liian laaja kohderyhmä. Olisiko hyödyllistä saada tietoa esimerkiksi eri ikäisten toimintaan osallistuneiden kokemuksista? Tai erotella vasta toimintaan mukaan tulleiden vastaukset pitempään mukana olleiden tuloksista?
Minkälaista muutosta tavoittelemme? Kuinka montaa henkeä muutos koskee? Missä ajassa toivomme muutoksen tapahtuvan?
Kun mittaat, on hyvä keskittyä ensisijaisesti tavoitteiden todentamista koskevaan mittaamiseen. Mieti, millä resursseilla mittaat, jos esimerkiksi aikaa ja työntekijöitä on vähän.
Kannattaa kuitenkin seurata myös ennakoimattomia muutoksia. Ne saattavat tuoda esiin toiminnan ikäviä seurauksia tai lisää ymmärrystä siihen, miksi toiminta ei saavuta tavoitteitaan.
Vinkkejä hyvään ja luotettavaan mittaamiseen:
Hyvä mittari mittaa sitä, mitä on tarkoitus ja tarpeeksi tarkasti. Mieti, mikä on esimerkiksi kyselyssä vähimmäismäärä kysymyksiä, joilla tarvittava tieto saadaan kerättyä niin, ettei katvealueita jää.
Käytä yleisesti hyväksyttyjä ja standardoituja mittareita, jos mahdollista. Se säästää aikaa ja näistä mittareista tiedetään jo, että ne mittaavat sitä, mihin ne on kehitetty. Niitä käyttäessäsi voit usein hyödyntää myös saatavilla olevaa vertailuaineistoa.
Kerää tietoa useammalta sidosryhmältä ja useammalla tavalla. Näin tiedon luotettavuus lisääntyy.
Ota mukaan eritasoisia sekä laadullisia ja määrällisiä mittareita, jotta saat kattavan kuvan toiminnan onnistumisesta.
Mieti, miten mitaten saat tietoa muutoksesta. Kannattaako mitata vain toiminnan päättyessä, vai tulisiko olla alkukartoitus, jälkiarviointi ja/tai väliarviointi? Kannattaako mukaan ottaa verrokkiryhmä, joka esimerkiksi ei osallistu koulutukseen? Miten muuten voit lisätä mittaamisen luotettavuutta?
Ole suunnitelmallinen ja järjestelmällinen. Mittaaminen vaatii suunnittelua ja sitä, että kaikilla on yhteinen käsitys siitä, mitä ja miten mitataan. Tulosten lisäksi kannattaa arvioida myös mittareita: Mittaavatko ne sitä, mihin niitä käytetään?
Pohdi ja opi
Mitkä ovat teidän järjestönne ydintavoitteita? Millä tavalla voisitte saada niistä tietoa?
Perehtykää valmiisiin mittareihin, voisiko jokin niistä sopia teille?
Olemme hyödyntäneet tässä osiossa seuraavia aineistoja, joiden avulla voit syventää osaamistasi.
Visio, tavoite, toiminta, resurssit, tuotos, tulos ja vaikutus – mitä ihmettä! Vaikuttavuuden käsitteet tutustuttaa sinut arvioinnin sanastoon. Kun peruskäsitteet ovat hallussa, pääsee oman toiminnan ja sen arvioinnin suunnittelu käyntiin.
Hyvä tavoite on parhaimmillaan mittari jo itsessään! Tässä koulutuksessa opit muodostamaan selkeän ja mitattavan tavoitteen. Koulutus tutustuttaa myös erilaisiin mittareihin ja auttaa valitsemaan omaan työhön sopivat.
Miten tietoa kannattaa kerätä ja säilyttää? Entä mitä kaikkea on syytä ottaa huomioon, kun analysoit kerättyä tietoa? Koulutuksessa perehdytään arviointikokonaisuuden suunnittelemiseen ja käydään läpi analysoimisen perusteet.
Arviointitiedon tärkein käyttötarkoitus on oman järjestön kehittäminen. Sen lisäksi tietoa voi hyödyntää myös monella muulla tavalla, mm. tiedolla johtamisen työkaluna. Koulutuksessa perehdytään arviointitiedon monipuolisiin käyttötarkoituksiin.
Tietoa toiminnan tuloksista kaipaavat kaikki rahoittajista tuleviin vapaaehtoisiin. Millä kaikilla tavoilla oman työn tuloksista voi kertoa? Ota haltuun vaikuttavan viestinnän perusteet.
Arvioinnissa johtamisen ja koordinoimisen rooli on suuri. Miten arviointiin osallistetaan koko yhteisö? Koulutuksessa käydään läpi vaikuttavuusarvioinnin toteuttamista omassa järjestössä.
Järjestökoulutuksen keskeinen tulos on oppiminen. Syntyneen oppimisen lisäksi voidaan arvioida monia muitakin koulutuksen osa-alueita. Miten voimme saada tietoa oppimisen vaikutuksista? Perehdy järjestökoulutuksen arvioinnin perusteisiin.
Miten arviointi, ennakointi ja tulevaisuustyö liittyvät toisiinsa? Arvioinnin avulla voidaan pohtia mm sitä, ovatko tulokset kestävällä pohjalla ja palvelevatko ne järjestöä vielä vuosien päästä. Toisaalta ennakoinnin tuloksia voidaan hyödyntää tavoitteiden ja mittarien asettamisessa. Koulutus tutkii tätä yhteyttä.