Tunnistamaan erilaisia tapoja arvioida koulutusta.
Valitsemaan omaan koulutukseen sopivia arviointitapoja.
Järjestökoulutuksen keskeinen tulos on oppiminen. Syntyneen oppimisen lisäksi voidaan arvioida monia muitakin koulutuksen osa-alueita. Miten voimme saada tietoa oppimisen vaikutuksista? Koulutuksessa perehdyt järjestökoulutuksen arvioinnin perusteisiin.
Johdanto
Järjestössä tapahtuva koulutus ja oppiminen edistävät kaikkea toimintaa. Niillä on siis merkittävä välinearvo, jolloin niitä tulisi myös arvioida. Koulutus sitoo paljon erilaisia resursseja. Se on kuitenkin merkittävä tekijä järjestön tulevaisuuden rakentamisessa, mikä lisää tarvetta arvioida sitä.
Laadukas järjestökoulutus syntyy monien tekijöiden yhteisvaikutuksesta. Tarvitaan onnistunutta koulutusta ja innostuneita vetäjiä, aktiivisia jäseniä ja toimivia yhteistyösuhteita. Lisäksi oppijoiden erilaisuuden ymmärtäminen ja sen hyödyntäminen tuottavat laatua. Harvemmin järjestö kuitenkin arvioi esimerkiksi koulutusyhteistyön sujumista. Järjestökoulutuksen oletetaan yleensä jo itsessään oletusarvoisesti tuottavan parempaa toimintaa, jolloin laadun hallinta jää usein puolitiehen.
Koulutus tuottaa tuloksia ja vaikutuksia
Koulutustoiminnan keskeinen tulos on oppiminen. Vaikutuksiksi se muovautuu yleensä siinä vaiheessa, kun yksilö ottaa oppimansa asiat käyttöön järjestön toiminnassa tai omassa elämässään. Järjestöissä ei kouluteta useinkaan oppimisen itsensä vuoksi. Järjestöissä kerätään koulutuksista paljon palautetta, mutta usein tämä palaute kertoo varsin vähän oppimisesta ja erityisesti opittujen asioiden siirtämisestä käytäntöön. Palaute koskee yleensä koulutuksen järjestelyjä. Voisiko palaute keskittyä erityisesti siihen, miten koulutuksen osallistujat ajattelevat koulutuksen oppimisen vaikuttavan heidän toimintaansa?
Koulutuksen arviointi on toki muutakin kuin oppimisen arviointia. Siinäkin voidaan arvioida prosesseja, kustannustehokkuutta jne. Palaa osioon, jossa käsitellään tavoitteita ja mittareita. Sen antia voi soveltaa myös järjestökoulutuksen suunnitteluun ja arviointiin.
Klassinen tapa mallintaa koulutuksen arviointia
Koulutuksen arvioinnissa hyödynnetään usein Kirkpatrickin klassista nelijakoa arviointitiedon tasoista. Kaikkia neljää tasoa olisi hyvä hyödyntää arvioitaessa koulutuksen onnistumista. Tasot ovat:
Reaktiot: mielipiteet ja kokemukset koulutuksesta (kerätään usein palautelomakkeella). Tieto palvelee järjestössä koulutuksen suunnittelijaa ja kouluttajaa, jotka voivat tiedon avulla panostaa hyvin toimiviin koulutusmenetelmiin ja oppimisen kannalta suotuisiin järjestelyihin.
Oppiminen: koettu oppiminen. Menikö oppi perille? Herättikö koulutus halun oppia lisää? Tieto kerätään esim. lomakkeella tai palautekeskustelussa. Tämä tieto palvelee esim. kouluttajaa (mitkä menetelmät toimivat parhaiten?) ja oppijaa (oman oppimisen ja siihen liittyvien tarpeiden tiedostaminen), mutta siitä on järjestölle hyötyä esim. resursoinnin kannalta. Koulutus, joka ei tuota oppimista, on hyödytöntä.
Toiminnan muutokset eli taidot ja käyttäytyminen. Opitun siirtäminen käytäntöön: mitä ja miten? Tietoa voidaan saada esim. palautekeskustelujen, havainnoinnin, itsearvioinnin ja haastattelujen avulla. Sitä voidaan yleensä kerätä vasta koulutuksen loppuvaiheessa tai sen jälkeen. Tieto palvelee erityisesti järjestöä, koska opitun siirtäminen käytäntöön on järjestökoulutuksen avainkysymys.
Tulokset ja vaikutukset. Saadaan jälkikäteen. Mitä vaikutuksia? Mikä oikeasti muuttui? Tiedon keruussa tarvitaan monia menetelmiä yhtä aikaa, esim. kyselyitä, haastatteluja jne. Tieto palvelee erityisesti koulutuksen kehittämistä kokonaisuutena tai osana jotakin hanketta. Tästä voidaan johtaa käytännön toimia koulutussuunnitteluun jne.
Järjestöt keräävät eniten ensimmäisen tason tietoa, mutta se ei yksin riitä kertomaan koulutuksen vaikutuksista, vaikka tieto palveleekin esim. koulutusten käytännön järjestelyjä. Erityisesti tarvittaisiin lisää kolmos- ja nelostason tietoa: miten koulutus oikeasti vaikuttaa toimintaan?
Opiskelijan arviointi osana koulutuksen arviointia
Opiskelijan etenemistä ja arviointia voidaan hyödyntää opiskelijan ohjauksen lisäksi koulutuksen tuloksellisuuden arvioinnissa. Yksittäinen opiskelijakin tarvitsee palautetta etenemisestään. Arviointi voi auttaa oppijaa tiedostamaan uusia opiskelutarpeita päästäkseen omiin tavoitteisiinsa, ja samalla tulemaan tietoiseksi jo olemassa olevasta osaamisestaan. Tämä voi motivoida häntä esimerkiksi tulemaan vapaaehtoistoimintaan.
Osaamismerkit, todistukset ja muut tavat arvioida opiskelijan osaamista voivat toimia myös koulutuksen onnistumisen mittapuuna. Esimerkiksi suoritettujen osaamismerkkien määrä voi kertoa, että niitä edeltänyt koulutus on saanut aikaan sekä oppimista että innostusta hakea merkkejä.
Toinen tapa mitata sekä opiskelijan että koulutuksen edistymistä ovat ennen/jälkeen -testaamiset. Niiden tuottamaa kuvaa muutoksesta on helppoa myös raportoida eteenpäin. Opiskelija-arvioinnissa voi hyödyntää myös esimerkiksi vertaispalautteita, havainnointia (esimerkiksi kouluttajakoulutuksen jälkeen) tai muita tiedonkeruun menetelmiä.
Sovella käytännössä
Mieti koulutukselle tavoitteita ja mittareita samoin kuin muulle toiminnalle. Ota huomioon tavoitteenasettelussa, että koulutus on usein mahdollistaja, jonka ansiosta esimerkiksi vapaaehtoiset osaavat tehtävänsä.
Mieti, missä vaiheessa ja miten keräät osallistujilta palautetta. Välittömästi kerättyyn palautteeseen saat usein enemmän vastauksia, mutta se kertoo vain välittömistä tunnelmista. Jos haluat tietää, miten tieto siirtyy käytäntöön, palaute tulisi kerätä myöhemmin. Tällöin vastauksia on usein vaikeaa saada.
Harkitse osallistujien sitouttamista esimerkiksi raadiksi, joka kokoontuu ryhmähaastatteluun, kun koulutuksesta on kulunut jo jonkin aikaa. Tällöin saat motivoituneen ryhmän kanssa tietoa toiminnan muutoksesta ja sen syy-seuraussuhteista.
Koulutuspalautetta voi kerätä monin tavoin. Tutustu osioon Arviointitiedon kerääminen ja sovella menetelmiä haluamallasi tavalla.
Järjestön tarina
Mieli ry ja koulutuksessa saadun osaamisen tuominen arkityöhön
“MIELI ry on kasvanut viime vuosina, ja tarve edistävälle ja ehkäisevälle mielenterveystyölle on kasvanut. Tämä muutos on tullut nopeasti ja johtanut siihen, että sisäiset prosessit eivät ole ehtineet kehittyä samassa suhteessa, eikä resursseja arviointiprosessien laajamittaiseen kehittämiseen ole ollut riittävästi. Arviointityötä haastaa myös suoraan arviointityöhön suunnattavien resurssein vähäisyys, mutta myös moninainen, erilaisista rahoituslähteistä ja lyhyistä hankkeista koostuva toiminta.
Viime vuosina resursseja on kuitenkin onnistuttu kohdentamaan koulutustoiminnan vaikutusten arvioinnin kehittämiseen. Tavoitteena on tämän kehittämistyön myötä luoda arvioinnin malleja, joiden avulla voisimme tulevaisuudessa toteuttaa laajempaa toiminnan arviointia yhä ketterämmin ja tavoitteellisemmin myös muissa MIELI ry:n ehkäisevän ja edistävän mielenterveystyön muodoissa.
Koulutusten arviointiprosesseissa yhtenä keskeisenä tavoitteena on ymmärtää yhä syvemmin sitä, mitä vaikuttavuus koulutuksissamme tarkoittaa, miten koulutuksesta saatu osaaminen on tuotu arkityöhön, ja mitä muita vaikuttavuuteen rinnastettavia asioita voisimme arvioinnissa sivuta (esim. resurssi- ja kustannustehokkuus). Toimenpiteinä on tehty muun muassa palautteen keräämisen tapojen yhtenäistämistä, ideoitu pistemäisten, kohdennettujen kyselyiden rinnalle laadullista arviointia erityisesti pidemmistä koulutuksista, sekä selkiytetty palautteen keruun prosesseja laajoille osallistujamassoille. Koulutuspalautteen keruu tehdään kootusti toiminnanohjausjärjestelmän kautta, jolloin palautetietoa voidaan tarkastella rinnan muun tiedon kanssa (kuten koulutustoteutusten määrät, osallistujien tausta, paikkakunnat jne.).
Näiden kehittämistoimenpiteiden lisäksi eri yksiköissä on toteutettu kohdennettuja arviointiprosesseja. Esimerkiksi koulu- ja oppilaitostyön koulutuksiin osallistuneille on tehty kuusi kuukautta koulutukseen osallistumisen jälkeen systemaattista seurantaa opitun siirtymisestä työn käytänteisiin. Lisäksi arviointia on toteutettu opinnäytetyöyhteistöinä eri yksiköissä.”
Niina Lilja
Koulutuspäällikkö, Mieli ry
Pohdi ja opi
Miten teillä arvioidaan koulutusta? Välittömän palautteen, oppimistulosten vertailun tai muutokseen keskittyvän jälkipalautteen avulla?
Millainen koulutuksen arviointi palvelisi teitä parhaiten?
Olemme hyödyntäneet tässä osiossa seuraavia aineistoja, joiden avulla voit syventää osaamistasi.
Visio, tavoite, toiminta, resurssit, tuotos, tulos ja vaikutus – mitä ihmettä! Vaikuttavuuden käsitteet tutustuttaa sinut arvioinnin sanastoon. Kun peruskäsitteet ovat hallussa, pääsee oman toiminnan ja sen arvioinnin suunnittelu käyntiin.
Hyvä tavoite on parhaimmillaan mittari jo itsessään! Tässä koulutuksessa opit muodostamaan selkeän ja mitattavan tavoitteen. Koulutus tutustuttaa myös erilaisiin mittareihin ja auttaa valitsemaan omaan työhön sopivat.
Miten tietoa kannattaa kerätä ja säilyttää? Entä mitä kaikkea on syytä ottaa huomioon, kun analysoit kerättyä tietoa? Koulutuksessa perehdytään arviointikokonaisuuden suunnittelemiseen ja käydään läpi analysoimisen perusteet.
Arviointitiedon tärkein käyttötarkoitus on oman järjestön kehittäminen. Sen lisäksi tietoa voi hyödyntää myös monella muulla tavalla, mm. tiedolla johtamisen työkaluna. Koulutuksessa perehdytään arviointitiedon monipuolisiin käyttötarkoituksiin.
Tietoa toiminnan tuloksista kaipaavat kaikki rahoittajista tuleviin vapaaehtoisiin. Millä kaikilla tavoilla oman työn tuloksista voi kertoa? Ota haltuun vaikuttavan viestinnän perusteet.
Arvioinnissa johtamisen ja koordinoimisen rooli on suuri. Miten arviointiin osallistetaan koko yhteisö? Koulutuksessa käydään läpi vaikuttavuusarvioinnin toteuttamista omassa järjestössä.
Järjestökoulutuksen keskeinen tulos on oppiminen. Syntyneen oppimisen lisäksi voidaan arvioida monia muitakin koulutuksen osa-alueita. Miten voimme saada tietoa oppimisen vaikutuksista? Perehdy järjestökoulutuksen arvioinnin perusteisiin.
Miten arviointi, ennakointi ja tulevaisuustyö liittyvät toisiinsa? Arvioinnin avulla voidaan pohtia mm sitä, ovatko tulokset kestävällä pohjalla ja palvelevatko ne järjestöä vielä vuosien päästä. Toisaalta ennakoinnin tuloksia voidaan hyödyntää tavoitteiden ja mittarien asettamisessa. Koulutus tutkii tätä yhteyttä.