Simulaatiovalmennusinterventioiden vaikuttavuuden mittaamiseen kehitettiin mittari

Taitoja hyvinvointipalveluita tuottaville pk-yrityksille simulaation keinoin -tutkimus- ja kehittämishankkeessa (2017-2019) kehitettiin Simulaatiovalmennus-konseptin lisäksi mittari simulaatiovalmennusinterventioiden vaikuttavuuden mittaamiseen. Koulutusinterventioiden vaikuttavuuden arviointi on tärkeää pyrittäessä kehittämään työelämässä toimivien ammattilaisten osaamista ja haluttaessa tietää, missä määrin koulutusinterventioista on heille hyötyä.

Simulaatiovalmennusinterventioiden vaikuttavuutta voidaan tarkastella sekä asetettujen tavoitteiden saavuttamisen näkökulmasta että myös kohderyhmän kokemusten näkökulmasta. Simulaatiovalmennusinterventioihin osallistuneet pk-yritysten edustajat voivat arvioida interventioiden vaikuttavuutta oman ammatillisen osaamisensa kehittymiseen sekä sisällöllisestä että menetelmällisestä näkökulmasta.

Mittarin kehittäminen

Mittarin kehittäminen on tärkeää tieteellisessä tutkimuksessa, sillä sen avulla pyritään tuottamaan luotettavaa tietoa, joka vaikuttaa myös tiedon yleistettävyyteen ja hyödynnettävyyteen (Burns & Grove 2009, Pittman & Bakas 2010). Hoitotieteellisessä tutkimuksessa mittareita käytetään esimerkiksi tietojen, asenteiden ja käyttäytymisen tutkimiseen (Waltz & Jenkins 2001, Rattray & Jones 2007).

Kirjallisuuskatsaus mittarin kehittämisen lähtökohtana

Mittarin kehittämisen lähtökohdaksi toteutettiin systemaattinen kirjallisuuskatsaus, jonka avulla oli tarkoitus löytää aiemmin ilmiön mittaamiseen kehitetyt mittarit tai niiden puuttuessa osoittaa uuden mittarin kehittämisen tarve. Kirjallisuuskatsausta varten haku kohdistettiin Ebscon tietokantoihin (Academic Search Elite, CINAHL, ERIC, Business Source Ultimate) hakusanoilla ”knowledge”, ”skills”, ”simulation-based learning, ”measurement” ja ”scale”.” Haku tuotti 69 osumaa, mutta yhdessäkään tutkimuksessa ei kuvattu sellaista mittaria, jota olisi voitu hyödyntää sellaisenaan simulaatiovalmennusinterventioiden vaikuttavuuden mittaamisessa. Haun tuloksena löytyneitä tieteellisiä artikkeleita voitiin kuitenkin hyödyntää mittarin rakentamisessa. Mittari kehitettiin systemaattisen kirjallisuuskatsauksen ja yrityksissä toteutettujen osaamiskartoitusten sekä hanketoimijatiimin yhteisen reflektion pohjalta.

Mittarin sisältö- ja rakennevaliditeetin arviointi

Mittarin sisältövaliditeettiin edistettiin siten, että jo ennen mittarin esitestausta kyselylomakkeen luomisessa hyödynnettiin hanketyöntekijätiimin ja hankkeen ohjausryhmän asiantuntemusta. Jokainen hanketyöntekijä ja ohjausryhmän jäsen sai tehdä muutosehdotuksia kysymyksiin niin mittarin alkuvaiheen rakentamisessa kuin ennen loppukyselyä. Operationalisoinnin tukena käytettiin asiantuntijapaneelia (Kankkunen & Vehviläinen-Julkunen 2018).

Syksyllä 2017 mittarin esitestasi kymmenen henkilöä, joista kaksi oli pk-yritysten edustajia ja 8 hankkeen ohjausryhmän jäseniä. He arvioivat lomakkeen ymmärrettävyyttä, kysymysten tarpeellisuutta, muotoilua, järjestystä ja loogisuutta sekä vastausvaihtoehtojen mielekkyyttä ja toisensa poissulkevuutta.

Mittarin rakennevaliditeetin arvioinnissa käytettiin eksploratiivista faktorianalyysiä (Pittman & Bakas 2010). Mittarin reliabiliteetti mitattiin Cronbachin alpha -kertoimella. Cronbachin alpha-arvot olivat v. 2017 aineiston osalta faktoreittain 0,87-0,93 ja v. 2019 aineiston osalta 0,81-0,93, joten reliabiliteetti voidaan arvioida sisäisen johdonmukaisuuden osalta hyväksi. Tilastollisen merkitsevyyden rajana oli p-arvo <0.05 ja erittäin merkitsevän rajana p-arvo <0.01. (Heikkilä 2014).

Mittarin soveltuvuus simulaatiovalmennusinterventioiden vaikuttavuuden arvioimiseen

Mittari soveltui hyvin simulaatiovalmennusinterventioiden vaikuttavuuden arvioimiseen. Mittari on kuvattu englanninkielisessä artikkelissa (Salminen-Tuomaala ym. 2019). Jatkossa on tarkoitus jatkaa mittarin validointia erilaisissa sosiaali- ja terveysalan organisaatioissa. Myöhemmin mittarin sovellettavuutta ja hyödyllisyyttä voidaan testata myös eri tieteenalojen organisaatioissa, joissa toteutetaan esimerkiksi asiakaspalvelua, johtamista tai tiimityötä kehittäviä simulaatiointerventioita.

Lähteet
Burns N. & Grove S.K. 2009. The practice of nursing research appraisal, synthesis and generation of evidence. Saunders Elsevier, St. Louis.
Heikkilä T. 2014. Tilastollinen tutkimus. 9.painos. Edita Publishing Oy. Helsinki.
Kankkunen P. & Vehviläinen-Julkunen K. 2018. Tutkimus hoitotieteessä. Sanoma Pro Oy.
Pittman J. & Bakas T. 2010. Measurement and instrument design. Journal of Wound, Ostomy and Continence Nursing 37(6), 603-607.
Rattray J. & Jones M.C. 2007. Essential elements of questionnaire design and development. Journal of Clinical Nursing 16(2), 234-243.
Salminen-Tuomaala M., Kangasluoma E., Paavola K., Perälä S. & Uitto S. 2019. Health and social welfare professionals’ self-rated competence and feedback following a simulation-based coaching intervention in small and medium-sized enterprises. Clinical Nursing Studies 7(4), 1-11.
Scholters V.A., Terwee C.B. & Poolman R.W. 2011. What makes a measurement instrument valid and reliable ? Injury 42(3), 236-240.
Waltz C & Jenkins L. 2001. Measurement of Nursing Outcomes: Volume 1: Measuring Nursing Performance in Practice, Education, and Research. Springer Publishing Company, New York.

Mari Salminen-Tuomaala
TtT, yliopettaja, SeAMK Sosiaali- ja terveysala
mari.salminen-tuomaala(a)seamk.fi