Fiksua muutoksen mittaamista: Onko koulutuksien hyötyjen mittaamisessa kupla?

Haaste

Koulutuksien hyvyyttä markkinoidaan usein tyyliin ”olemme hyviä, koska saamamme palaute on 4.8/5″. Maksajat ovat usein tyytyväisiä, jos osallistujat ovat antaneet hyvän palautteen koulutustapahtumasta. Koulutuksen asiakaskokemus sekoitetaan helposti koulutuksesta saataviin hyötyihin.

Kylmä ja tutkittu totuus on, että koulutuspalaute (asiakaskokemus) ei kerro yhtään mitään oppimisesta, koulutuksen vaikuttavuudesta tai sen hyödyistä (Kessler 2009).

Jotta investointi ei mene hukkaan, on koulutuksen ostajien tärkeä tiedostaa koulutuksen asiakaskokemuksen, osaamisen kehittymisen, arjen vaikuttavuuden ja hyötyjen väliset riippuvuudet sekä miten näitä voidaan mitata.

Kirkpatrickin porrasmalli valmennuksen ja koulutuksen mittaamiseen

Globaalisti osaamisen kehittämisen vaikutuksia jäsennetään yleisimmin paljon tutkitulla Kirkpatrickin porrasmallilla.

Reaktiot-tasolla mitataan asiakaskokemusta itse koulutustapahtumasta. Reaktiomittaus kertoo, ovatko osallistujat viihtyneet koulutuksessa ja ovatko he kokeneet sen sisällön tarkoituksenmukaiseksi. Reaktiomittauksen tuloksilla ei ole merkittävää korrelaatiota oppimistulosten kanssa. Maalaisjärkikin sen sanoo, että joskus hyvän kouluttajan on vietävä asiakas epämukavuusalueelleen, jolloin reaktiomittaus voi olla pakkasella mutta oppiminen ja vaikuttavuus plussan puolella.

Oppiminen-tasolla mitataan uusien asioiden oppimista. Oppimista voidaan mitata erilaisilla testeillä ja kokeilla, joista voidaan antaa vaikka sertifikaatteja. Oppiminen on välttämätöntä koulutuksen vaikuttavuuden saavuttamiseksi, mutta hyvillä oppimistuloksillakaan ei ole merkittävää korrelaatiota koulutuksen vaikuttavuuteen käytännön arjessa.

Vaikuttavuus-tasolla mitataan koulutuksen tukemia arjessa tapahtuvia muutoksia. Vaikuttavuusmittauksen tuloksilla on vahva korrelaatio tavoiteltavien hyötyjen kanssa. Onhan se ymmärrettävää, että jos arjessa alataan toimia fiksummalla tavalla, saadaan parempia tuloksia. Pitkissä koulutusohjelmissa vaikuttavuutta voidaan mitata jo koulutuksen aikana, jolloin ohjelman sisältöä voidaan optimoida vaikuttavuuden maksimoimiseksi ajoissa.

Hyödyt-tasolla mitataan numeerisia tulosmittareita, esimerkiksi euroja. Käytännössä hyötymittarit tulevat usein jälkijunassa ja reagointi niiden pohjalta on liian myöhäistä. Hyötymittarien pohjalta voidaankin sitten jo arvioida ROI:ta.

Opit ja mahdollisuudet

Kiteytettynä muutamia oppeja:

• Asiakaskokemus (reaktiomittaus) kertoo lähinnä oliko mukava koulutustapahtuma
• Jos halutaan maksimoida hyötyjä, kannattaa panostaa vaikuttavuuden mittaamiseen arjessa
• Vaikuttavuutta kannattaa mitata mahdollisimman varhain, jotta koulutusten suuntaa ja sisältöä voidaan optimoida ja saavuttaa parempia tuloksia

Takavuosina vaikuttavuusarviointia on yritetty tehdä työläillä kysely / haastattelu -kombinaatiolla. Näissä on panos/tuotos -suhde ollut huono, koska menetelmä on hidas sekä tulokset tulevat liian myöhään niiden hyödyntämiseksi.

Lyhyesti: Koulutuksen vaikuttavuuden mittaaminen arjessa on tärkeää, koska oikein tehtynä se lisää reflektiota ja vuorovaikutusta hyötyjen saavuttamiseksi.

Hyvän vaikuttavuusmittauksen pitäisi:

• Olla osallistujien näkökulmasta osa koulutusprosessia
• Lisätä osallistujien reflektiota arjessa ja tuottaa luotettavaa tietoa vaikuttavuudesta koulutuksen toteutuksen tueksi
• Kiihdyttää vuorovaikutusta koulutuksen hyötyjen optimoimiseksi tarjoamalla näkyvyys vaikuttavuuteen reaaliajassa osallistujalle, koulutuksen toteuttajalle ja koulutuksen tilaajalle

Tällainen vaikuttavuusmittari lanseerataan uudessa HENRY Akatemiassa syksyllä 2019.