Toimiva arviointi on suunnitelmallista ja johdonmukaista. Vaikuttavuuden ja arvioinnin johtaminen ja koordinointi ovat tässä suuressa roolissa. Koulutuksessa käydään läpi mittaamisen organisointia omassa järjestössä sekä tutustutaan mittareiden ja strategisten tavoitteiden suhteuttamiseen.
Johdanto
Vaikuttavuustyön ja arvioinnin johtamisessa on samalla kyse tiedolla johtamisesta eli siitä, että päätökset ja toimenpiteet johdetaan oikea-aikaisesta ja luotettavasta tiedosta. Toimintaa pitää myös koordinoida, jotta koko järjestö saadaan osallistettua prosessiin ja tieto saadaan koottua ja hyödynnettyä oikein.
Arviointia tulee johtaa sen systemaattisuuden varmistamiseksi. Tällä tavoin huolehditaan siitä, että tekeminen on säännöllistä ja koordinoitua, moninäkökulmaista, ja että siinä otetaan huomioon järjestön tai yhdistyksen kaikki tasot. Arviointi kuuluu kaikille, myös vapaaehtoisille. Sillä voi olla myös sitouttava vaikutus.
Arviointi on itsessään arvioinnin ja kehittämisen kohde. Järjestössä tulee säännöllisesti tarkastella prosessia ja esimerkiksi käytettyjä mittareita: tuottavatko ne sellaista tietoa, jota voimme hyödyntää?
Prosessit kuntoon
Kuvallisesti arvioinnin prosessi voidaan esittää seuraavasti:
Tästä kuviosta voi nähdä, että arviointi vaatii suunnitelman, jossa arvioinnille on määritelty tavoitteet, teot, aikataulut, vastuuhenkilöt ja se, missä tieto säilytetään (huomioi GDPR) ja miten sitä käsitellään. Arviointi vaatii resursseja eli tietoa, osaamista, aikaa ja mahdollisesti rahaa esimerkiksi sähköisten välineiden käyttölisensseihin.
Suunnittelussa on olennaista eritellä erityyppinen arviointi ja pohtia sen tarkoitusperiä. Toiminnan kehittäminen on arvioinnin tärkein tehtävä, mutta tekemiseen, aikataulutukseen ja muihin asioihin vaikuttavat myös rahoittajien ja muiden toimijoiden tarpeet.
Mittareiden valintaan ja tekemiseen vaikuttavat myös se, mitä arvioidaan: toimintaa, sisäisiä prosesseja (esim. henkilöstön osaamista tai tietoteknisiä ratkaisuja), järjestön tuottamia palveluita tai muuta.
Suunnitelman laadintaan palataan alla.
Osallista ja motivoi: arviointi osaksi kaikkea johtamista järjestössä
Puhumme arvioinnin johtamisessa usein tiedolla johtamisesta. Järjestötoiminnassa taustalla vaikuttaa vahvasti aatteellisuus, jolloin toiminnassa ja johtamisessa on otettava huomioon myös koko yhteisön tunteet. Kerättyyn arviointitietoon on kuitenkin syytä suhtautua toiminnassa objektiivisesti, jos toimintaa halutaan kehittää. Kriittisillä hetkillä auttaa, jos ihmiset kokevat tulevansa kuulluiksi ja nähdyiksi.
Tässä tärkeää on osallistaminen, sitouttaminen ja motivointi. Ihmisten mukaan saaminen ja motivointi vaativat sen ymmärtämistä miksi arvioidaan, mitä arvioidaan sekä miten arvioidaan. Arvioinnista on tärkeää kommunikoida: Milloin tuloksia tarkastellaan? Mitä tästä seuraa? Mihin arviointi liittyy?
Käytännössä motivoinnissa auttaa se, että arviointiprosessiin ja sen suunnitteluun osallistetaan kaikki, joita asia koskee. Tämä koskee myös arvioinnin kohteita, esimerkiksi palveluiden käyttäjiä. Arvioinnin olisi syytä tuoda heidänkin äänensä kuuluviin. Järjestötoiminnan yhteisöllisen luonteen takia on hyvä tehdä mahdollisimman paljon yhdessä. Myös tulosten tulkinnassa on hyvä osallistaa kaikkia, jota arviointi koskee.
Osallistaminen tuo myös motivointiin ja muuhun johtamiseen liittyviä haasteita. Koska kaikilla ei ole yhtäläisesti aikaa, motivaatiota ja valmiuksia olla prosessissa mukana. On tärkeää miettiä, millaista tukea mukana oleville ihmisille on tarjolla. Tämäkin vaatii resursointia.
Resurssien puute koetaankin usein haasteeksi arvioinnissa. Eräs tärkeä johtamiseenkin liittyvä ajatus on, että arviointia tehdään toiminnan laajuuden mukaan. Pienimuotoista toimintaa ei tarvitse arvioida yhtä laajasti kuin esimerkiksi useamman sadan tuhannen euron arvoista hanketta. Koordinoimisessa ja johtamisessa on olennaista pohtia, miten olemassa olevat resurssit ja rutiinit saadaan yhdistettyä tiedon keräämiseen. Esimerkkinä tästä toimivat automatisoidut kyselyt valmiista pohjista ja yhteiset taulukot, joihin kerätty tieto voidaan viedä. Koska naapurijärjestössäkin kamppaillaan saman haasteen parissa, vertaisuus voi auttaa: voisiko teillä olla arviointiyhteistyötä?
Johtamista on myös arvioinnin luotettavuudesta vastaaminen. Arviointitiedon keräämiseen, tallentamiseen, analysointiin ja levittämiseen käytettyjen menetelmien tulee olla luotettavia, uskottavia ja avoimia. Tässäkin auttaa yhdenmukaisuus ja systemaattisuus tavoitteiden asettamisessa, menetelmissä, käsityksissä tiedon hyödyntämisestä ja yhteisessä tekemisessä. Yhteiset tavoitteet lisäävät arvioinnin luotettavuutta – ja luottamusta arviointiin.
Sovella käytännössä
Laadi järjestöllesi arviointisuunnitelma. Suunnitelman avulla voitte taata, että jokaisesta toiminnosta saadaan säännönmukaisesti tietoa. Kaikki tieto yhdessä auttaa saamaan kokonaiskuvan toiminnasta esimerkiksi toimintakertomuksen laatimisen aikaan strategiakauden vaihtuessa.
Ennen käytännön suunnitelman laatimista puhukaa arvoista ja periaatteista. Mitä hyvää arvioinnin tulisi tuottaa? Millaisin periaattein teemme sitä?
Tämän jälkeen laatikaa suunnitelma. Se auttaa tarkentamaan tiedonkeruun prosessia, sitouttamaan ihmiset tiedonkeruuseen, hahmottamaan tiedon keräämisen merkitystä sekä arvioimaan ja kehittämään tiedonkeruun prosessia. Määritelkää suunnitelmaan tavoitteiden lisäksi seuraavat asiat:
Mitä mitataan?
Millä mittareilla?
Kuka kerää?
Mikä on tiedonkeruun prosessi?
Millä aikavälillä tietoa kerätään?
Miten usein ja millä tavalla kerättyä tietoa analysoidaan?
Omaksukaa arvioiva ote työhönne. Se tarkoittaa suunnitelman noudattamisen lisäksi sitä, että tieto kerätään jatkuvasti vähä vähältä myös omia havaintoja hyödyntäen. Se voi tarkoittaa myös tiedon yhteistä jakamista ja reflektointia, arvioinnin eettisiä periaatteita noudattaen.
Hyödyntäkää arviointietoa päätöksenteossa, sekä jokapäiväisessä toiminnassa että luottamusjohdon linjauksissa. Tämä tarkoittaa sitä, että arviointitietoa raportoidaan ja siitä seuraa perusteltuja päätöksiä, jotka muuttuvat näkyviksi toiminnassa.
Järjestön tarina
Suomen Nuorisoseurat ja kulttuurin harrastamisen koettujen vaikutusten arviointi
“Olemme lähteneet Suomen Nuorisoseurat -järjestössä toiminnan arvioinnin kehittämisessä liikkeelle uuden strategiamme siivittäminä. Kaikessa tekemisessä lähdetään liikkeelle vaikuttavuusketjusta: mikä on nykytila, mihin halutaan muutosta ja miksi, millaisia tavoitteita sille asetetaan, millaisin toimenpitein siihen päästään ja miten onnistumista mitataan. Mittaamme kaikkea tekemistämme, aina pitkäkestoisista asioista yksittäisten koulutusten tai tapahtumien palautteen keräämiseen ja sen analysointiin. Kaikkien nuorten toimintojen arvioinneissa on käytössä Osaamiskeskus Kentaurissa kehitetty osallisuusmittari, joka tuottaa meille arvokasta tietoa siitä, miten ”omaksi” nuoret kokevat toimintamme. Nuoret ovat itse myös mukana analysoimassa dataa, jota keräämme.
Keskeisin iso muutos on ollut kulttuuriharrastamisen koettujen vaikutusten mittariston käyttöönotto, minkä kehittämisessä olimme mukana. Mittaristoprojektia luotsasi Kansalaisfoorumi, joka myös kokosi ensimmäisen selvityksen tulokset kaikista osallistuneista järjestöistä yhdeksi julkaisuksi syyskuussa 2022. Me tulemme jatkossa toteuttamaan selvityksen omassa järjestössämme joka vuosi siten, että jäsenseuramme saavat selvityksen datan myös seurakohtaisesti käyttöönsä. Tässä mittaristossa meillä on mukana jo aiemmin mainittu Kentaurin osallisuusmittari ja vuonna 2024 otamme mukaan myös mahdollisesti muita olennaisia uusia mittareita.
Kaikkien osallistuminen arviointiin on tärkeää. Tätä tukeaksemme olemme korostaneet vahvasti arvioinnin merkitystä, jotta voimme ensinnäkin kehittää toimintaamme tietoon pohjautuen. Tiedolla johtaminen onkin yksi ensi vuoden toimintamme painopisteistä. Tämän lisäksi toiminnan vaikutuksista on helpompi viestiä, kun taustalla on dataa siitä, miten toiminta on kohderyhmien mielestä koettu. Tähän koko henkilöstömme on sitoutunut. Jäsenseurojemme näkökulmasta on tärkeää nostaa esiin paikallistason tekemisen merkitystä, joka on heillekin helpompaa, jos on näyttöä siitä, miten vaikuttavaa toiminta on. Satsaammekin vahvasti siihen, että voimme auttaa paikallisia seuroja toiminnan arvioinnissa ja sen esiintuomisessa.”
Annina Laaksonen
Pääsihteeri, Suomen Nuorisoseurat ry
Pohdi ja opi
Miten teillä johdetaan arviointia? Onko se esimerkiksi jokaisen hankepäällikön oma asia, vai onko järjestössänne yhteisiä periaatteita ja tavoitteita arvioinnille?
Miten teillä arviointitieto kulkeutuu päätöksentekoon?
Olemme hyödyntäneet tässä osiossa seuraavia aineistoja, joiden avulla voit syventää osaamistasi.
Järjestöjen arvioinnin ja seurannan kehitys. Selvitys STEA-rahoitteisten järjestöjen arviointivalmiuksista sekä RAY- ja STEA-seurannan kehityksestä vuosina 1995-2022. Kuntoutussäätiö.
Visio, tavoite, toiminta, resurssit, tuotos, tulos ja vaikutus – mitä ihmettä! Vaikuttavuuden käsitteet tutustuttaa sinut arvioinnin sanastoon. Kun peruskäsitteet ovat hallussa, pääsee oman toiminnan ja sen arvioinnin suunnittelu käyntiin.
Hyvä tavoite on parhaimmillaan mittari jo itsessään! Tässä koulutuksessa opit muodostamaan selkeän ja mitattavan tavoitteen. Koulutus tutustuttaa myös erilaisiin mittareihin ja auttaa valitsemaan omaan työhön sopivat.
Miten tietoa kannattaa kerätä ja säilyttää? Entä mitä kaikkea on syytä ottaa huomioon, kun analysoit kerättyä tietoa? Koulutuksessa perehdytään arviointikokonaisuuden suunnittelemiseen ja käydään läpi analysoimisen perusteet.
Arviointitiedon tärkein käyttötarkoitus on oman järjestön kehittäminen. Sen lisäksi tietoa voi hyödyntää myös monella muulla tavalla, mm. tiedolla johtamisen työkaluna. Koulutuksessa perehdytään arviointitiedon monipuolisiin käyttötarkoituksiin.
Tietoa toiminnan tuloksista kaipaavat kaikki rahoittajista tuleviin vapaaehtoisiin. Millä kaikilla tavoilla oman työn tuloksista voi kertoa? Ota haltuun vaikuttavan viestinnän perusteet.
Arvioinnissa johtamisen ja koordinoimisen rooli on suuri. Miten arviointiin osallistetaan koko yhteisö? Koulutuksessa käydään läpi vaikuttavuusarvioinnin toteuttamista omassa järjestössä.
Järjestökoulutuksen keskeinen tulos on oppiminen. Syntyneen oppimisen lisäksi voidaan arvioida monia muitakin koulutuksen osa-alueita. Miten voimme saada tietoa oppimisen vaikutuksista? Perehdy järjestökoulutuksen arvioinnin perusteisiin.
Miten arviointi, ennakointi ja tulevaisuustyö liittyvät toisiinsa? Arvioinnin avulla voidaan pohtia mm sitä, ovatko tulokset kestävällä pohjalla ja palvelevatko ne järjestöä vielä vuosien päästä. Toisaalta ennakoinnin tuloksia voidaan hyödyntää tavoitteiden ja mittarien asettamisessa. Koulutus tutkii tätä yhteyttä.