Ottamaan käyttöön erilaisia tapoja kerätä arviointitietoa.
Arvioimaan erilaisten arviointitiedon keruumenetelmien ominaisuuksia suhteessa oman toiminnan tavoitteisiin ja mittareihin.
Analysoimaan keräämääsi arviointitietoa.
Millä kaikilla tavoilla arviointitietoa voi hankkia? Entä mitä pitää ottaa huomioon, kun siitä tehdään tulkintoja? Tässä koulutuksessa perehdyt erilaisiin tiedonkeräämistapoihin ja arviointikokonaisuuden suunnittelemiseen. Koulutus käy läpi analysoimisen perusteet.
Johdanto
Kun tavoitteet ja mittarit ovat selvillä, on syytä miettiä, miten mittaamisessa tarvittava tieto kerätään ja miten tieto analysoidaan. Esimerkiksi jos mittarina käytetään osallistujien vastauksia ja osallistujia on paljon, tieto hankitaan yleensä kyselyn avulla. Millainen määrä tietoa on tarkoituksenmukainen?
Aineiston kerääminen on suunnitelmallista työtä, joka on syytä miettiä valmiiksi jo hankkeen tai muun toiminnan alussa. Siihen kuuluu myös eettisiä kysymyksiä.
Kun tietoa hyödynnetään, on kyse arvioinnista. Se vaatii tarkkaa aineiston analyysiä. Tässä osiossa opit myös siitä.
Määrittele ensin tiedon tarve
Kun tulosten ja vaikutusten todentamista ja arviointia palvelevaa tietoa lähdetään keräämään, ensiksi tulee pohtia, mitä varten tietoa tarvitaan. Järjestön oman toiminnan kehittämisen tulisi olla lähtökohtana kaikelle tiedon keruulle. Muiden tiedon hankinnan tarpeiden tulisi tukea tätä. Erilaiset tiedon tarpeet vaativat erilaista lähestymistä tiedon keräämiseen.
Ulkoisella rahoituksella toteutetuissa hankkeissa ja muussa toiminnassa rahoittajan tarpeilla on tärkeä merkitys. Rahoittajakin tarvitsee tietoa rahoittamansa toiminnan onnistumisesta. Tämän takia heille raportoimisessa korostuu usein tuloksiin ja vaikutuksiin liittyvä tieto. Toiminnan aikana tarpeellista, kehittävää arviointia järjestö tekee erityisesti itselleen. Arviointitietoa kerätään myös kumppanuuksien rakentamiseen sekä vapaaehtoisten rekrytointiin ja muuhun brändityöhön.
Kerää vain sitä tietoa, jota tarvitset!
Yhteistä kaikelle tiedon keruulle on kuitenkin se, että taustalla on tavoitteiden saavuttamisen todentaminen. Ilman niitä ei ole arvioinnin kohteita ja mittareita. Kukin mittari määrittelee sen, miten tietoa kerätään ja miten sitä analysoidaan. Jos esimerkiksi tavoitteena on nuoren itsetunnon vahvistaminen, mittarina voi olla, että sadasta mukana olleesta nuoresta 85 kokee itsetuntonsa kehittyneen. Tätä on helpointa kysyä lyhyen kyselyn avulla, mutta syy-seuraussuhteet selviävät usein vasta haastatellen.
Järjestöjen resurssit kerätä tietoa ovat rajalliset. Siispä keskity keräämään tietoa, jonka avulla voidaan tietää, toteutuivatko tavoitteet ja miksi. Kerää vain sitä tietoa, jota tarvitset! Pitkiin kyselyihin et saa vastauksia, mutta tarvitse tarpeeksi tietoa, jotta voit kehittää toimintaa.
Tiedon keräämisen tapoja
Tavoitteiden saavuttamisen todentaminen yhdistää usein sekä määrällistä että laadullista tietoa.Määrällinen tieto on numeerista. Sitä saadaan esim. seuraamalla osallistujamääriä, tilastoimalla ja isommista kyselyistä. Laadullinen tieto on näkemyksiä, kokemuksia, mielipiteitä ym. Sitä voidaan käsitellä numeerisesti tai laadullisesti luokitellen esimerkiksi teemojen mukaan.
Kyselyt, fiilismittarit, janatym. Mittaavat kokemusta ja mielipiteitä usein numeerisesti. Ne voidaan toteuttaa paperilla, sähköisesti tai muilla tavoilla. Ne sisältävät usein valinta-/monivalintakysymyksiä, aukkokysymyksiä, mielipidejanoja ja myös avokysymyksiä, joiden avulla saadaan laadullista tietoa.
Samankaltaista tietoa kuin kyselyn avulla keräten voidaan saada eri tavoin. Tilaisuudessa voidaan paikan päällä toteuttaa fiilismittareita, janoja tai muita tapoja saada tietoa. Tällöin tärkeää on muistaa laskea itse esimerkiksi, kuinka moni osallistuja oli tyytyväinen tilaisuuteen.
Plussat: Kysely voidaan tehdä nopeasti isolle joukolle. Sillä saadaan helposti esitettävää tietoa, ja määrällisen ja laadullisen tiedon yhdistäminen on helppoa.
Miinukset: Tunnusluvut (esim. keskiarvo) eivät aina tuo näkyviin näkemysten kirjoa ja hyödyllisiä kehittämisideoita. Kysymysten laatiminen ja analysointi vaativat osaamista. Lisäksi kyselyiden avulla voi olla vaikeaa saada tarpeeksi vastauksia.
Haastattelu voidaan toteuttaa joko yhden henkilön kanssa tai ryhmässä paikan päällä, puhelimitse tai verkossa. Arvioinnissa haastattelut ovat usein puolistrukturoituja (osin ennalta laadittuja). Haastattelu voi olla myös strukturoitu, jossa vastaaja vastaa tarkkaan kysymyslistaan. Haastattelu voi myös olla strukturoimaton, jossa edetään teemojen mukaan vapaasti.Kysymystyyppejä voivat olla esim. suorat, ohjaavat, selventävät, tulevaisuus-, asteikko-, ym. kysymykset.Haastattelu kannattaa tallentaa. Se voidaan litteroida osin tai kokonaan. Lisäksi tulee tehdä muistiinpanoja ja havaintoja.
Plussat: Syitä ja seurauksia koskeva tieto saadaan haastatteluissa hyvin esiin ja käyttäjän ääni saadaan kuuluviin. Ryhmähaastatteluissa vuorovaikutus voi nostaa esiin asioita, joita yksilöhaastattelussa ei nousisi mieleen.
Miinukset: Menetelmä on työläs ja vaatii osaamista haastattelijalta (hienotunteisuus, ei johdattele ym.). Haastattelut tuottavat paljon dataa, jonka luokittelu ja analysointi vaativat paljon aikaa.
Havainnointi ja seuranta tuottavat suoraa dataa esimerkiksi käyttäjätilastoista. Yksinkertaisimmillaan havainnointi on omien havaintojen kirjaamista. Se voi olla myös esim. vierailuita tilaisuuksiin, joista kirjataan havainnot joko ennalta päätetyn mallin mukaan (strukturoitu) tai vapaammin (strukturoimaton). Havainnoija voi olla etäinen, aktiivinen (osallistuu, mutta roolista ollaan tietoisia) tai täysivaltainen (on mukana toiminnossa, muut eivät ole tietoisia). Seuranta taas on tiedon keräämistä esimerkiksi tilastoista tietyllä aikavälillä.
Plussat: Havainnointi ja seuranta tuottavat ensi käden tietoa arvioitavasta asiasta ja usein autenttisessa ympäristössä. Seurannasta saadaan objektiivista numeerista dataa ja sitä voi tehdä muun työn ohessa, jolloin siitä saadaan systemaattista.
Miinukset: Havainnointi on työläs menetelmä. Lisäksi havainnoijan tulee tiedostaa oma roolinsa: Voiko hän haitata toiminnallaan havainnoinnin kohteita ja siten vaikuttaa arviointiin?Seurannan haasteena on kerätyn tiedon joustamattomuus. Esimerkiksi pelkkien kävijämäärien tilastointi ei kerro siinä näkyvän vaihtelun syistä ja seurauksista. Sen rinnalle tarvitaan muutakin tietoa.
Kokeile myös muita tiedonkeruun menetelmiä. Monet niistä tuottavat laadullista ja ennakoimatonta dataa. Niitä voi myös soveltaa eri tavalla erilaisten ryhmien parissa. Kuten laadullisen tiedon kohdalla usein on, näiden käyttö vaatii hyvää valmistautumista ja sinnikkyyttä aineiston luokittelussa ja analysoinnissa.
Palautekeskustelu on paitsi työn kehittämisen, myös tiedon keruun menetelmä. Siinä saadaan tietoa esim. prosesseista.
Fokusryhmät ovat lähellä ryhmähaastatteluita, mutta sisältävät yleensä paljon äänestämistä ym. numeerisen datan keruuta.
Taiteelliset/luovat menetelmät, joissa osallistujat esim. piirtävät tuntemuksiaan. Saatu aineisto voi lisätä syvästi ymmärrystä arvioitavasta asiasta.
Osallistavat menetelmät, esim. janat, fiilismittarit, peukut, säämerkit ym. Näitä voi keksiä lisää itse!
Kun lähdet analysoimaan aineistoa
Aineistoa kertyy tiedon keruun yhteydessä usein hyvin paljon, joten sen läpikäyntiin ja analysointiin kannattaa varata aikaa. Jos arviointia tekee useampi henkilö, tulee sopia etukäteen, miten esim. haastattelut koodataan, jotta analyysi on luotettava. Tässä kohtaa on syytä olla avoin ja avata myös tämän tekemisen periaatteita raportoinnissa.
Kun analyysistä edetään arviointiin, silloin pohditaan sitä, mitä aineisto kertoo arvioinnin kohteesta, miksi niin on ja miten tiedon varassa kannattaa toimia. Eli silloin pohditaan, saavutettiinko tavoitteet ja miksi/miksi ei. Tässä prosessissa tulee nostaa esiin kaikki tarkoituksenmukainen tieto, myös kriittinen. On myös huomattava, että arvioijalla voi olla omia ennakkokäsityksiä. Ne tulisi haastaa. Mitä aineisto sanoo? Tietoa kannattaa käsitellä yhdessä, jotta yhden henkilön omat käsitykset aineistosta eivät vaikuttaisi johtopäätöksiin liikaa.
Arvioijan taitoihin kuuluu myös etiikka
Arvioinnin tärkein periaate on, että se ei saa haitata ketään. Tiedonkeruun menetelmät ja muu toiminta tulee sovittaa sen mukaan, keitä arvioinnista on osallisena. Esimerkiksi nuorisojärjestöissä on mukana alaikäisiä lapsia ja nuoria. Mitä nuorempia he ovat, sitä enemmän on syytä huolehtia, että huoltajalta on saatu lupa, ja että tietoa kerätään huomioiden vastaajan ikä ja kehitystaso.
Toinen tärkeä eettinen kysymys on tiedon keruun laajuus. Kysy vain arvioinnin kannalta oleellisia kysymyksiä. Vältä esim. hyvin intiimien asioiden kysymistä (tähän vaikuttaa myös GDPR-asetus). Muista samalla suojella vastaajaa: pidä esimerkiksi huolta siitä, että heidän nimettömyyttään suojellaan, jos näin on sovittu. Tämä on erityisen tärkeää tilanteissa, joissa kaikki tuntevat toisensa. Onko esimerkiksi vaara, että paperilomakkeeseen kirjatun palautteen antaja voidaan tunnistaa käsialastaan?
Ota huomioon GDPR-setuksen vaatimukset, jotka koskevat esimerkiksi vastaajien tietojen ja vastausten säilyttämistä. Hankkeiden rahoittajalla voi lisäksi olla omia vaatimuksiaan tietojen säilyttämisestä. Arkaluonteisia tietoja yksilöstä voidaan käsitellä vain poikkeustapauksissa. Yleensä järjestöjen arviointiin liittyvä tiedonkeruu ei kuulu näihin poikkeustapauksiin.
Sovella käytännössä
Kaikki lähtee suunnitelmasta. Onhan teillä pohdittu tiedon keruun menetelmät ja reunaehdot jo ennalta? Onhan kaikilla mittaamista ja arviointia tekevillä henkilöillä yhtenäinen käsitys siitä, mitä, miten ja milloin mitataan?
Esimerkiksi voidaan ottaa koulutushanke, jossa on kolme kouluttajaa. Jos he kaikki keräävät kurssistaan palautetta, mutta yksi vastaa parin viikon viipeellä, saatu palaute voi olla hyvin erilaista. Silloin vastaaja on ehkä ehtinyt jo reflektoida oppimaansa, mutta jotain on voinut myös unohtua.
Mieti aivan ensiksi arvioinnin käyttötarkoitus. Suunnittele arvioinnin toiminnot sen jälkeen.
Miten saat osallistujat vastaamaan kyselyihin? Tiedämme, että se on koko ajan vaikeampaa, mutta alla on muutama vinkki:
Ota käyttöön Mentimeter ym. välineet, niin saat kerättyä paikan päällä numeerista tietoa. Samoja välineitä voit hyödyntää myös ryhmähaastatteluissa tai fokusryhmissä. Ne voivat lisätä tunnetta vastausten nimettömyydestä, ja lisätä siten ryhmäpainetta äänestää kuten muutkin ryhmäläiset. Varmista, miten voit hyödyntää dataa arvioinnissa.
Verkon kyselytyökalut (Google Forms, Webropol ym.) auttavat laskemaan erilaisia tunnuslukuja.
Pidä kyselyt mahdollisimman lyhyinä, niin saat todennäköisimmin niihin vastauksia.
Usein paras tieto esimerkiksi koulutuksen hyödynnettävyydestä saadaan vasta jälkikäteen, mutta silloin vastaajia on vaikeaa tavoittaa. Muista sitouttaa heidät jälkipalautteeseen jo matkan varrella kertomalla tästä heille.
Analysoi numeerista aineistoa. Aineistosta kerrotaan usein seuraavia asioita:
Erilaisia mielipiteitä edustaneiden vastaajien osuus (joko lukumäärä tai prosenttiosuus. Jälkimmäinen kannattaa vasta, kun vastaajia on yli 30)
Keskiarvo, mediaani (= keskimmäinen vastaus), keskihajonta (kertoo, miten lähellä keskiarvoa vastaukset keskimäärin ovat)
Jos vastauksia on paljon, voidaan esim. taustamuuttujien mukaan tehdä ristiintaulukointia.
Kun käytössä on erilaisia standardoituja mittareita, voit vertailla saatuja tunnuslukuja niiden keskimääräisiin tuloksiin, tai esimerkiksi omasta toiminnasta aiemmin saatuihin arvioihin.
Pohtikaa ennalta, mihin tulokseen olette tyytyväisiä. Jotkut työkalut mahdollistavat tavoitetason lisäämisen mukaan, jolloin vertailu helpottuu.
Moni kyselytyökalu pystyy laskemaan keskiarvot. Jos on tarve tarkempaan analyysiin, SPSS:n kaltaiset tilastonhallinnan ohjelmistot ovat hyödyllisiä.
Vinkkejä kyselyihin: Neliportainen asteikko viisiportaisen sijaan ”pakottaa” vastaajan ottamaan kantaa mitattavaan asiaan. Yleensä kyselyissä on havaittu, että neutraalin vastauksen valitseminen on hyvin helppoa, mutta se ei kerro työn tuloksellisuudesta. Analyysivaiheessa on hyvä jättää en osaa sanoa -vastaukset pois ainakin keskiarvovertailuista, sillä ne vääristävät silloin usein tuloksia. vastausten jakaumissa ne voi esittää, jos se on tarpeen (voi esimerkiksi olla, että vastaajat kokevat jonkin asian vaikeana, eivätkä siksi osaa ottaa siihen kantaa.)
Analysoi laadullista aineistoa.Huomaat pian, että laadullista tietoa kertyy paljon. Käytä aikaa sen luokitteluun.
Tapoja luokitella aineistoa:
Yksinkertaisimmillaan suoraan paperiin yliviivaustussilla tai tukkimiehen kirjanpitoa.
Jossain kyselytyökaluissa on tiedon louhinnan mahdollistavia työkaluja.
Sanapilviä ym. voi myös rakentaa avuksi.
Joskus laadullista aineistoa voi myös luokitella numeerisesti, mutta usein laadullisia vastauksia ei esitetä täysin numeron tarkkuudella.
Yleisin tapa analysoida laadullista tietoa arvioinnissa on teemoittelu:Mitä aineistosta nousee?Mitkä teemat toistuvat?Missä näkemykset eroavat?
Usein vastauksissa toistuvien teemojen lisäksi kannattaa katsoa myös niistä poikkeavia vastauksia. Yksittäisen vastauksen ei saa antaa vaikuttaa liikaa johtopäätöksiin, mutta niissä voi olla hyviä kehittämisideoita.
Vastauksien tueksi raporttiin kannattaa nostaa suoria lainauksia aineistosta, mutta säästeliäästi.
Muista suojata vastaajien nimettömyyttä. Mieti, miten koodaat vastaajat ja miten mainitset heidät lainausten yhteydessä (esim. ”Vapaaehtoisten edustaja”, ”36-50-vuotias nainen Uudeltamaalta”, ”H13” (haastateltu 13).
Järjestön tarina
Ensi- ja turvakotien liitto ja systemaattisen tiedonkeruun toteuttaminen
“Ensi- ja turvakotien liittoon (ETKL) kuuluu keskusjärjestö ja 31 jäsenyhdistystä eri puolilla Suomea. Suurimmat toimintamuodot ovat naisiin kohdistuvan väkivallan ja perheväkivallan eri osapuolten kanssa työskentely, Ero lapsiperheessä -työ, haastavassa elämäntilanteessa olevien vauvaa odottavien ja vauvaperheiden tukeminen sekä vakavasti päihdeongelmaisia odottavia äitejä ja vauvaperheitä kuntouttava Pidä kiinni -hoitojärjestelmä. Tietoon perustuvan arvioinnin mahdollistamiseksi olemme viime vuosina kehittäneet systemaattisesti tiedonkeruuta toiminnasta ja sen tuloksista.
ETKL:n jäsenyhdistyksistä lähes kaikki käyttävät yhteistä asiakastietojärjestelmää, jonka kautta saadaan tietoa asiakasprosessista ja asiakasprofiileista, ja voidaan siis seurata asiakasmäärien kehityksen lisäksi esim. toiminnan sisältöä, asiakkuuksien kestoa tai sitä, minkälaisesta tilanteesta asiakkaat tyypillisesti tulevat avun piiriin. Nämä tiedot auttavat arvioimaan organisaation toimintaa ja sen kohdentumista sekä prosessien kulkua.
Vuosina 2018–2022 kehitettiin ETKL:n yhteinen Vaikuttavuus esiin – eli VE-mittari, jolla kerätään tietoa asiakkaiden kokemuksesta omasta hyvinvoinnistaan ja toimintakyvystään. Mittari on integroitu asiakastietojärjestelmään, josta se on mahdollista lähettää asiakkaalle puhelimeen täytettäväksi. Viisi kysymystä annetaan asiakkaalle vastattavaksi asiakkuuden alussa, keskellä ja lopussa – lisäksi järjestelmä lähettää seurantakyselyn kuukauden päästä asiakkuuden päättymisen jälkeen. Tämän kautta saamme tietoa siitä hyvinvoinnin muutoksesta, joka asiakkailla tyypillisesti tapahtuu sen aikana, kun he ovat toiminnassamme.
Vuoden 2023 alusta otettiin käyttöön kaikille yhteinen sähköinen palautelomake, jossa on viiden yhteisen kysymyksen lisäksi muutama toimintamuotokohtainen kysymys sekä mahdollisuus lisätä myös yhdistyskohtaisia kysymyksiä. Yhteisten kysymysten kautta saamme tietoa asiakkaiden tyytyväisyydestä toimintaan ja heidän kokemuksistaan siitä, miten he ovat tulleet kohdatuiksi. Kevätkaudella on ollut käytössä palautelomake aikuisille, ja syyskaudella otetaan käyttöön palautelomakkeet myös lapsille ja yhteistyökumppaneille. VE-mittarin tapaan myös asiakkaiden palautelomake integroidaan asiakastietojärjestelmään, jolloin tiedonkeruu hoituu yhdestä ja samasta paikasta.”
Sari Laaksonen
Kehitysjohtaja, Ensi- ja turvakotien liitto ETKL
Onko järjestössäsi mittaamista ja arviointia tekevillä henkilöillä yhtenäinen käsitys siitä, mitä, miten ja milloin mitataan? Miten tästä voisi saada tietoa?
Pohdi, millä mallilla arviointitiedon kerääminen on omassa järjestössäsi. Millaisia vastausprosentit ovat? Minkälaisilla tavoilla voisitte kehittää arviointitiedon keräämistä omassa järjestössäsi? Olisiko olemassa kevyempiä malleja, joita voisitte kokeilla?
Olemme hyödyntäneet tässä osiossa seuraavia aineistoja, joiden avulla voit syventää osaamistasi.
Visio, tavoite, toiminta, resurssit, tuotos, tulos ja vaikutus – mitä ihmettä! Vaikuttavuuden käsitteet tutustuttaa sinut arvioinnin sanastoon. Kun peruskäsitteet ovat hallussa, pääsee oman toiminnan ja sen arvioinnin suunnittelu käyntiin.
Hyvä tavoite on parhaimmillaan mittari jo itsessään! Tässä koulutuksessa opit muodostamaan selkeän ja mitattavan tavoitteen. Koulutus tutustuttaa myös erilaisiin mittareihin ja auttaa valitsemaan omaan työhön sopivat.
Miten tietoa kannattaa kerätä ja säilyttää? Entä mitä kaikkea on syytä ottaa huomioon, kun analysoit kerättyä tietoa? Koulutuksessa perehdytään arviointikokonaisuuden suunnittelemiseen ja käydään läpi analysoimisen perusteet.
Arviointitiedon tärkein käyttötarkoitus on oman järjestön kehittäminen. Sen lisäksi tietoa voi hyödyntää myös monella muulla tavalla, mm. tiedolla johtamisen työkaluna. Koulutuksessa perehdytään arviointitiedon monipuolisiin käyttötarkoituksiin.
Tietoa toiminnan tuloksista kaipaavat kaikki rahoittajista tuleviin vapaaehtoisiin. Millä kaikilla tavoilla oman työn tuloksista voi kertoa? Ota haltuun vaikuttavan viestinnän perusteet.
Arvioinnissa johtamisen ja koordinoimisen rooli on suuri. Miten arviointiin osallistetaan koko yhteisö? Koulutuksessa käydään läpi vaikuttavuusarvioinnin toteuttamista omassa järjestössä.
Järjestökoulutuksen keskeinen tulos on oppiminen. Syntyneen oppimisen lisäksi voidaan arvioida monia muitakin koulutuksen osa-alueita. Miten voimme saada tietoa oppimisen vaikutuksista? Perehdy järjestökoulutuksen arvioinnin perusteisiin.
Miten arviointi, ennakointi ja tulevaisuustyö liittyvät toisiinsa? Arvioinnin avulla voidaan pohtia mm sitä, ovatko tulokset kestävällä pohjalla ja palvelevatko ne järjestöä vielä vuosien päästä. Toisaalta ennakoinnin tuloksia voidaan hyödyntää tavoitteiden ja mittarien asettamisessa. Koulutus tutkii tätä yhteyttä.