Piritta Seitamaa-Hakkarainen: Protokolla-analyysi

Ääneenajattelumenetelmä

Seitamaa-Hakkarainen, Pirita 1999. Ääneenajattelumenetelmä.

fi_image68

Keskeisiä piirteitä

fi_image69

Protokolla-analyysin eli ääneenajattelumenetelmän avulla tutkitaan yksilön ajattelu- ja ongelmanratkaisun taustalla olevia tiedonkäsittelyprosesseja. Protokolla-analyysi on ääneen ajattelun tutkimisen menetelmä: se tarkoittaa yksinkertaisemmillaan sitä, että koehenkilö esittää ääneen kaikki ajatuksensa tehtävän alusta sen loppuun (Ericsson & Simon, 1984, 1993).

Menetelmän kehittäjät, A. Newell ja H. Simon (1972; myös Ericsson & Simon 1984, 1993) korostavat, että ääneen ajattelussa syntyvän kielellisen raportin perusteella voidaan tehdä päätelmiä niistä älyllisistä eli kognitiivisista tiedonkäsittelyprosesseista, joiden välityksellä kokeeseen osallistuva yksilö ratkaisuunsa päätyi. Ääneenajattelumenetelmän keskeisenä kriteerinä on että koehenkilöt ajattelevat ääneen samanaikaisesti tehtäväratkaisun kanssa (Ericsson & Simon, 1984, 1993; Chi,1997).

Protokolla-analyysin avulla kuvataan ja eritellään ihmisen ongelmanratkaisuprosessia tiedon etsintänä ja käyttönä. Ääneenajattelumenetelmää käytetäänkin yleisesti tutkimuksissa, joissa pyritään ymmärtämään ihmisen älyllisiä eli kognitiivisia toimintoja: oppimista, tiedonhankintaa ja tiedon käyttöä, sekä suunnittelua ja päätöksentekoa. Protokolla-analyysin lähtökohtana on ajatus ettei pelkkä tehtäväsuoritusten lopputulos anna riittävästi tietoa ongelmanratkaisusta ja sen edellyttämistä henkisistä prosesseista, vaan tarvitaan tarkempaa tehtävästä suoriutumisen perustana olevien tiedonkäsittelymekanismien ja tietosisältöjen analyysia (Chi, 1997).

Chi (1997) lähestyy ääneenajattelumenetelmää tapana tuottaa ja analysoida kielellistä aineistoa. Hänen mukaansa protokolla-analyysi on sukua kvalitatiiviselle sisällön analyysille siinä mielessä, että tutkija pyrkii erilaisten sisällöllisten luokittelujen avulla analysoimaan tutkittavaa kohdetta kuvaavia rakenteita (ks. myös Seitamaa-Hakkarainen, 1997; Anttila, 1996). Chi (1997) korostaa kuitenkin, että protokolla-analyysissä käytetään ennen kaikkea ääneen ajattelussa muodostunutta kielellistä aineistoa, kun kvalitatiivisessa sisällön analyysissa (engl. content analysis) puolestaan voidaan käyttää hyvin erilaisia myös ei-kielellisiä (esim. kuva-analyysi tai videoanalyysi) aineistoja.

Taustaa

Ihmisen tiedonkäsittelyn ja ongelmanratkaisun tutkimisen perusongelma on se, että emme voi saada luotettavaa tietoa ihmisen sisäisestä tiedonkäsittelytapahtumista. Tietoa ihmisen sisäisestä todellisuudesta on yritetty hankkia 1920 -luvulta lähtien introspektion eli itsetarkkailun (koehenkilöt tarkkailevat omaa ajatteluaan) avulla (esim. hahmopsykologian koulukunta) tai retrospektiivisin menetelmin (koehenkilöitä palauttavat jälkeenpäin mieleensä ongelmanratkaisun keskeisiä vaiheita). Nämä yrityksen kaatuivat kuitenkin siihen, etteivät kokeet olleet toistettavissa eivätkä tulokset yhdenmukaisia ja luotettavia. Behavioristit puolestaan ratkaisivat asian määrittelemällä ihmisen mielen ”mustaksi laatikoksi”, josta ei voi saada tieteellisesti luotettavaa tietoa ja jota sen vuoksi ei voi tutkia.

Protokolla-analyysin syntyminen liittyi kiinteästi tietokoneiden kehitykseen. Alan uranuurtajia olivat Herbert Simon ja hänen työtoverinsa (ks. Newell & Simon, 1972), jotka tekivät ihmisen ongelmanratkaisun tutkimuksia 1950 –luvulta lähtien. Heidän tarkoituksensa oli kehittää menetelmä, jonka avulla voitaisiin saada luotettavaa tietoa ihmisen sisäisestä tiedonkäsittelystä. He esittävät, että ongelmanratkaisun aikana ääneen ajatellen tuotettu kielellinen materiaali antaa usein varsin tarkan kuvan ajattelun etenemisestä. Lisäksi ääneen ajattelun tuottamaa aineistoa voidaan käyttää hyväksi sellaisten tietokonesimulaatioiden luomiseksi, joiden avulla voidaan testata tiedonkäsittelyprosessien luonteesta tehtyjä teoreettisia olettamuksia. Ääneenajattelumenetelmän tuottaman tiedon varassa Newell ja Simon loivat tietokoneohjelman (General Problem Solver), jonka avulla voidaan mallintaa ongelmanratkaisuprosessin yleistä kulkua. Teorian perustana oli etevien ongelmanratkaisijoiden, kuten esimerkiksi shakinpelaajien, tiedonkäsittelyn tutkiminen. Ongelmanratkaisuteoria kuvaa ongelman ratkaisuyrityksiin liittyviä kognitiivisia toimintoja, tietotiloja ja päätöksentekoa eli ongelmaratkaisun kulkua, jotka yhdessä muodostavat nk. ongelma-avaruuden. Tätä teoreettista lähtökohtaa kutsutaan tiedonkäsittelyn psykologiaksi (engl. human information processing) (Newell & Simon, 1972).

Nykyinen kognitiotieteellinen tutkimus (engl. cognitive science) on siirtynyt Newellin ja Simonin (1972) luomasta yleisten heurististen ongelmanratkaisustrategioiden tutkimuksesta (engl. domain general knowledge) erittelemään eri tiedon ja taidon alojen asiantuntijoiden korkeatasoisen suorituksen taustalla olevia tehtäväkohtaisia tietorakenteita (engl. domain specific knowledge) sekä asiantuntemuksen kehitystä ääneenajattelutehtävien kriteerit.

Sovellutusalueita

fi_image70

Protokolla-analyysia tutkimusmenetelmänä on eniten kehitetty ja käytetty kognitiotieteessä ja kognitiivisessa oppimistutkimuksessa. Menetelmää on sovellettu myös kasvatustieteellisessä tutkimuksessa sekä suunnittelu- ja muotoilututkimuksessa. Siitä huolimatta, että ääneenajattelumenetelmää käytetään monilla eri tieteenaloilla, on sen tieteellisenä perustana kuitenkin vahvimmin kognitiotieteelliseen lähtökohtaan perustuva tiedonkäsittelyprosessien tutkimus ja teorianmuodostus. Kognitiivinen tutkimus on tuottanut arvokasta tietoa niistä tietorakenteista (engl. knowledge structures), jotka ovat edellytyksenä taitavalle toiminnalle ja ominaista asiantuntijoiden tiedonkäsittelylle.

Ääneenajattelumenetelmää sovelletaan erityisesti asiantuntemukseen suuntautuneissa tapaustutkimuksissa. Ääneenajattelumenetelmä on hyvin työläs tutkimusmenetelmä, joten koehenkilöiden määrä ei useinkaan ole suuri. Tutkimuksen kohteena on eri tiedon ja taidon aloilla tarvittavan erityistiedon (engl. domain specific knowledge) tutkimus, jotka on asiantuntijoiden korkeatasoisen suorituksen perustana. Asiantuntijuustutkimuksessa tapaustutkimuksen lähtökohtana on hankkia yksityiskohtaista ja rikasta aineistoa, joka antaa tietoa asiantuntijoiden ajattelusta ja toiminnasta todellisissa tai mahdollisimman luonnonmukaisissa ongelmanratkaisutilanteissa.(Ks. Ääneenajattelutehtävien kriteerit)

Ääneenajattelumenetelmän avulla tutkitaan esimerkiksi kuinka lääkärit tekevät diagnooseja (mm. Patel & Groen, 1991), miten fyysikot ratkaisevat ongelmia ja miten arkkitehdin tai muun suunnittelijan suunnittelutyö etenee (mm. Akin, 1986; Akin & Lin, 1995; Seitamaa-Hakkarainen, 1997). Esimerkiksi lääkärin tehdessä diagnoosia potilaastaan, hän ei voi nojautua ainoastaan kirjatietoon, sillä hänen on hyvin nopeasti otettava huomioon monta eri tekijää: tehtävä potilaan antamien hyvinkin epäselvien kuvausten tai moninaisten oireyhtymien perusteella päätöksensä ja arvioitava myös hoidon mahdollinen vaikutus. Lääkärillä on oppikirjatiedon lisäksi käytännössä syntyneitä organisoituneita tietorakenteita, jota hän diagnoosia tehdessään soveltaa hahmotettuaan ongelman pääpiirteet ja jäsenneltyään ratkaisunsa. Ääneenajattelumenetelmän soveltaminen antaa tietoa juuri tällaisesta korkeatasoisesta ammatillisesta tiedosta, jota asiantuntija käyttää työssään. Asiantuntijan ajattelun protokollatutkimuksen tavoitteena on usein asiantuntijajärjestelmien kehittäminen ja simulointi tietokoneella. On kehitetty mm. tietokoneohjelmia, jotka pystyvät tekemään diagnooseja, joskin vielä suppealla erikoisalueella (MYCIN).

Ääneenajattelukokeen toteuttaminen

fi_image72

Ääneenajattelumenetelmää käytettäessä on erityisen tärkeää, että koehenkilöä ei pyydetä selittämään toimintaansa, vaan ajattelemaan ääneen aivan kuin olisi yksin huoneessa (Ks. Ääneenajattelukokeen ohje). Ääneen ajattelua voidaan myös harjoitella muutamalla tehtävällä (esimerkiksi päässälaskutehtävän suoritus ääneen ajatellen) ennen varsinaista aineistonkeruuta.

Ääneenajatteluaineiston keruuvaihe:

  • Valitaan ongelmanratkaisutehtävät huolellisesti ja harkiten niin, että ne edustavat tutkimuksen tavoitteiden kannalta mielekkäitä tai koehenkilöiden asiantuntijuuden kannalta aitoja ongelmia (Ääneenajattelutehtävien kriteerit)
  • Tutkimustilannetta varten varataan rauhallinen tila, jossa koehenkilö voi keskeytyksettä ratkaista annetut tehtävät
  • Ongelmaratkaisuprosessi kannattaa sekä videoida että myös äänittää erillisille ääninauhalle. Teknisten laitteiden toimivuus on syytä tarkastaa testata useampaan kertaan.
  • Koehenkilö perehdytetään ääneenajattelumenetelmään ohjeen sekä harjoituksen avulla
  • Koko tutkimustilanne äänitetään ja videoidaan
  • Tutkija pysyy tutkimustilanteen aikana taustalla ja vastaa vain laitteiden toimivuudesta sekä kehottaa koehenkilöä jatkamaan ääneen ajattelua mikäli syntyy liian pitkiä taukoja.

Ääneenajatteluaineiston jatkokäsittelyvaihe:

  • Ääneenajatteluprotokollia on hyvä kuunnella useampaan kertaan, jotta hahmotetaan mikä on aineiston oleellinen sisältö (helpottaa litterointia)
  • Ääneenajatteluaineisto puretaan (litteroidaan) nauhalta tekstiksi. Tutkimusongelmasta riippuu se puretaanko koko aineisto tekstimuotoon vai valikoidaanko tutkimuksen kannalta oleellisia episodeja tai otoksia. (Ks. Esimerkkejä ääneenajatteluprotokollista)
  • Jos ongelmanratkaisutehtävään liittyy muitakin toimintoja kuin ääneen ajattelu, kuten esimerkiksi piirtäminen tai kirjoittaminen, ääneenajatteluaineisto yhdistetään (cross-referencing) videoaineiston kanssa. Videoaineistosta voidaan havainnoida esimerkiksi koehenkilön ulkoista toimintaa tietyin väliajoin käyttäen jotakin luokittelujärjestelmää (esim. kirjataan päätoiminnot 2 minuutin välein). (Ks. esimerkki protokollan ja toiminnan yhdistämisestä)
  • Myös kaikki muu ongelmanratkaisun aikana syntyvä materiaali (muistiinpanot, piirustukset jne.) on syytä liittää tutkimusaineistoon.

Ääneenajatteluaineiston analysointi voi tapahtua hyvin eri tavoin. Yleisesti aineiston analysointiin sovelletaan kvalitatiivista sisällönanalyysia (Chi, 1997). Lisäksi ongelmanratkaisua voidaan kuvata myös erilaisten ääneenajatteluaineiston pohjalta luotujen prosessikuvausten avulla (esim. shakkisiirrot; kuvaus tietotilojen ja operaattorien avulla) tai graafisina prosessikaavioina. Ääneenajatteluaineiston analysointia on lyhyesti esitelty ääneenajatteluaineiston analyysivaiheessa

Kriteerit

Ääneenajattelumenetelmää sovellettiin aluksi ongelmanratkaisu alueille yleisesti, jolloin ratkaistavat tehtävät olivat abstrakteja ja loogisia ongelmia (esim. Hanoin torni; DONALD/RONALT tehtävä) ja siten erityistiedosta riippumattomia. Tällaiset ongelmat edustivat niin sanottuja hyvin määriteltyjä (engl. well-defined) ongelmia, joiden ratkaisut ovat yksiselitteisesti oikeita tai vääriä (vrt. algoritmit). Eri asiantuntemusalueita edustavat ongelmat ovat usein kuitenkin ns. avoimesti määriteltyjä (engl. ill-defined) ongelmia, joiden ratkaisemiseen tarvitaan alan erityistietoja ja taitoja (esim. lääketieteellisen diagnoosin tekeminen, tuotesuunnittelutehtävät). Avoimesti määriteltyihin ongelmiin ei ole myöskään selkeästi määriteltyjä oikeellisuuden kriteereitä.

Asiantuntijuustutkimuksen yhteydessä pidetäänkin nykyisin tärkeänä sitä, että koehenkilöt ratkaisevat merkityksellisiä, tiedonalan todellisia ammatillisia ongelmia edustavia tehtäviä. Merkityksellisten ongelmien tunnistaminen edellyttää tutkijalta perehtymistä tutkittavaan asiantuntemusalueeseen ja systemaattista alan ammattilaisten kohtaamien ongelmaratkaisutehtävien luonteen analyysia(Ericsson & Smith, 1991). Ongelmanratkaisutehtävien valinta riippuu ennen kaikkea tutkittavan ongelman luonteesta. Yleisesti voidaan kuitenkin asettaa seuraavia ongelmanratkaisutehtävin valintakriteerejä silloin, kun halutaan tutkia jonkun alan asiantuntijuutta:

  • Ongelmanratkaisutehtävien tulee edustaa kyseiden alan asiantuntuntemuksen kannalta aitoja ydinongelmia tai –tehtäviä.
  • Tehtävät valitaan analysoimalla järjestelmällisesti kyseisen alan asiantuntijoiden ongelmanratkaisua eri näkökulmista.
  • Ongelmien tulee olla mielekkäitä, haastavia ja koehenkilöiden kannalta mielenkiintoisia
  • Tehtäviä ei tulisi yleensä suoraan johtaa oppikirjoista
  • Käytännön syistä tehtävien tulisi olla mahdollista ratkaista kokeen aikana (muutamassa tunnissa yhdessä tai useammassa istunnossa)

Kokeen ohje

Tässä tutkimuksessa olen kiinnostunut siitä, mitä ajattelet etsiessäsi vastausta ongelmiin, joita sinulle esitän. Tämän vuoksi pyydän sinua ajattelemaan ääneen tehtäviä ratkaistessasi. Tarkoitan ääneen ajattelulla, sitä että kerrot kaiken mitä ajattelet siitä hetkestä lähtien, kun näet ongelman ensimmäistä kertaa työskentelysi päättymiseen saakka. Sinun ei tule suunnitella mitä sanot tai yrittää selittää minulle mitä olet sanomassa. Toimit juuri niin kuin olisit yksin huoneessa puhuen itsellesi. Tärkeintä on, että jatkat puhumista koko ajan. Jos olet jonkin aikaa hiljaa, tulen pyytämään sinua jatkamaan puhumista.

Esimerkkejä ääneenajatteluprotokollista

Esimerkki I

Esimerkki I:n aineisto on Seija Sirenin (valmisteilla) kielenkääntäjän asiantuntemusta käsittelemästä tutkimuksesta. Koehenkilöä on pyydetty kääntämään AIDsia käsittelevää englanninkielistä lääketieteellistä tutkimusta Tiede 2000 lehteen sopivaksi artikkeliksi.

Nyt tuo aidshan on tota semmonen juttu että et sehän tota sehän on on tota… lyhenne joka pitäis. taivuttaa. kaksoispisteen kanssa koska se on kirjainlyhenne. ja käytännössä koska aids on yleinen sana niin tota. nykyisin hyväksytään myöskin. sen taivuttaminen niinku sanana. ikäänkuin se olis sana. ja tota. hyväksytään jopa. sen kirjottaminen pienillä kirjaimilla ikäänkuin sanan omaisesti. mutta totaa. Mun mielestä tämmösessä tieteellisessä tekstissä tota ni mä kyllä haluan käyttää sitä. tätä. normaalia kirjainlyhennettä.. enkä lähtee lähtee puhumaan aidsista (myös?) pienillä kirjaimilla mmm tää otsikko mum mielest täytys tehdä tähän sitte tota. ehkä. ehkä tota.. mun mielestä tää näit otsikkoja ei voi kääntää suoraan se pitäs tehdä myyväksi. että se lukija siitä kiinnostuis hmmh ilmeisesti tässä on on ensin selitetty jotain muuta et on tää tää on sit niinku puolitiestä lähtee.. ää että et onks tää niinku very different approach ni onko se aivan erilainen aivan erilainen vai hyvin erilainen et miten tos on ensin.. ahh ehkä mä pistän et aivan toisen lähes lähestymistavan.. se on kans vähän et mitä täss nyt sit sanotaan [huokaus] nyt tässä tässä tota… ähh.. onks ne kehittäny sen lähestymistavan ihan oikeesti this approach ähh emmä tiedä [huokaus] emmä kestä tätä nyt mä teen sen sit vaan niinku mä ymmärrän [huokaus] mä en jaksa polveilla tätä nyt näitä koukeroita tässä mä laitan tän sillä tavalla niinku Tiede 2000-lehdessä kirjotellaan et se ois vähäsen niinku [huokaus] no nyt täss on tietyst tää hooiivee ni tota se on on hooii-virus. ku toi vee on se virus ja tota se ei oo hooiivee-virus.. kun ne on niinku sen viruksen tää coat proteins ni tota.

Esimerkki II

Esimerkki II:n aineisto on Pirita Seitamaa-Hakkaraisen (2000) suunnittelun (kankaankudonnan) asiantuntemusta käsittelevästä tutkimuksesta. Koehenkilön tehtävänä oli suunnitella kudottavaseinätekstiili päiväkoti Pikku Prinssin portaikkoon. Koehenkilöllä oli käytettävissään mm. tilasuunnitelma, tilaajan tehtävän anto (suunnittelukirje) jne.

Joo..mietiskelin tätä tehtävää ja kun lukasin tehtävän nopeasti niin alleviivasin jotakin mikä herätti vähän .. synnytti semmoisen ahaa elämyksen tai jonkun sellaisen joka vie sen asian lähelle.. Seinätekstiili ja sisäportaikon seinälle..niin tuota niin.. mun ensimmäinen mielikuva oli semmonen.. Kun on ollut jonkun verran lasten kanssa tekemisissä niin .. lapset varmaa tykkäisivät tehdä .. jollain tavalla osallistua siihen Niin mä en voisi kuvitella että lapsille tulisi joku sellainen seinätekstiili johon ei voisi koskee ja joka on siellä seinällä vaan olemisen vuoksi..Että mä aloin assosioida heti että pitäsi saada joku että saada lapset toimimaan .. tai että sillä voisi toimia.. Ja lapsista olisi kyse.. tuli ensimmäisenä mieleen .. iloisia ja lämpöisiä värejä ja pyöreitä muotoja..muodot olisi pyöreitä ..mä kyllä itse tykkään sellaisista suorista ja jyrkistä kulmista.. Mutta lapsille olisi sellaiset pyöreet muodot mukavia … Samoin se että lapset on aika vilkkaita ja tykkäisi että olisi vaihtelua ja uusia juttuja vaikka joka päivä eli että se olisi sellainen jota voisi muunnella Että se olisi moniosainen tai käänneltävä tai rullattava tai solmittava tai jotain tämmöistä .. Sitten siinä voi ilmeisesti käyttää aika vapaasti värejä koska toi ympäristö on suhteellisen neutraali.. Kun siinä on vaan valkoista seinää ja kattoa ja vaaleaa koivupuuta .. Aika kiitollinen ympäristö.. niin värienkäyttö mahdollisuus on aika laaja . Ja korkeessa tilassa niin myös koko .. koolla ei oikeestaan sillälailla ole rajoituksia… Niin mä voisin lähteä tekemään tekeen heti monikokoisia juttuja.. Korkeessa tilassa ei kuitenkaan semmoinen kovin pienikään voi olla tai sitten niitä pitää olla useampia … Sitten tuossa pohjapiirustuksessa niin .. siinä on aika iso tuo aula juttu ja .. Sitten se toisaalta näkyy sinne aulaan se portaikko (Ks. esimerkki protokollan ja toiminnan yhdistämisestä)

Esimerkki semanttisesti ositetusta protokollasta

Esimerkkiaineisto on Seija Sirenin (valmisteilla) kielenkääntäjän asiantuntemusta käsittelemästä tutkimuksesta. Koehenkilöä on pyydetty kääntämään AIDSia käsittelevää englanninkielistä lääketieteellistä tutkimusta Tiede 2000 lehteen sopivaksi artikkeliksi. Aineisto on ositettu yhden merkityksellisen ajatuksen mukaan.

nyt tuo aidshan on tota semmonen juttu että et sehän tota sehän on on tota… lyhenne

joka pitäis. taivuttaa. kaksoispisteen kanssa

koska se on kirjainlyhenne.

ja käytännössä koska aids on yleinen sana niin tota. nykyisin hyväksytään myöskin. sen taivuttaminen niinku sanana. ikäänkuin se olis sana.

ja tota. hyväksytään jopa. sen kirjottaminen pienillä kirjaimilla ikäänkuin sanan omaisesti.

mutta totaa. mummielestä tämmösessä tieteellisessä tekstissä tota ni mä kyllä haluan käyttää sitä. tätä. normaalia kirjainlyhennettä..

enkä lähtee lähtee puhumaan aidsista (myös?) pienillä kirjaimilla.

mmm tää otsikko mun mielest täytys tehdä tähän sitte tota. ehkä. ehkä tota.. mun mielestä tää näit otsikkoja ei voi kääntää suoraan

se pitäs tehdä myyväksi. että se lukija siitä kiinnostuis hmmh

ilmeisesti tässä on on ensin selitetty jotain muuta et on tää tää on sit niinku puolitiestä lähtee..

ää että et onks tää niinku very different approach.

ni onko se aivan erilainen aivan erilainen.

vai hyvin erilainen.

et miten tos on ensin.. ahh

ehkä mä pistän et aivan toisen lähes lähestymistavan..

se on kans vähän et mitä täss nyt sit sanotaan [huokaus].

nyt tässä tässä tota… ähh.. onks ne kehittäny sen lähestymistavan ihan oikeesti

this approach.

ähh emmä tiedä [huokaus].

emmä kestä tätä nyt mä teen sen sit vaan niinku mä ymmärrän [huokaus]

Analyysi

Ääneenajatteluaineistoa voidaan analysoida esimerkiksi käyttäen kvalitatiivista sisällönanalyysia, joka mahdollistaa kvalitatiivisen aineiston muuntamisen myös kvantitatiiviseen muotoon, jolloin myös tilastolliset analyysit ovat mahdollisia (Chi, 1997). Nauhalta purettu teksti voidaan koodata ennalta määriteltyihin luokitteluluokkiin tai luokittelurunko luodaan analyysivaiheessa sisällöllisen merkityksen mukaan. Tutkimuksen luonteesta ja lähtökohdista riippuu nojaudutaanko etukäteen määriteltyihin luokkiin, syntyvätkö ne analyysin yhteydessä ja millaista tilastollista analyysia tarvitaan. Tarvittaessa voidaan käyttää tutkimuksen teoreettiseen viitekehykseen soveltuvaa tietokoneavusteista sisällönanalyysiohjelmaa (esim. Nud*ist; ATLAS). Aineiston analyysi voidaan yleensä jakaa seuraaviin vaiheisiin:

  • Analyysiyksikön määrittäminen ja aineiston osittaminen (segmentointi)
  • Luotettava analyysi edellyttää, että ääneenajatteluaineisto ositetaan
  • Kielellisen raportin osittaminen määräytyy siitä mikä on se analysoitava yksikkö, jota halutaan analysoida. Tutkittava aineisto jaetaan tarkoituksenmukaisiin osiin. Analyysiyksikkönä voi olla lause (propositio), ajatuksellinen kokonaisuus (idea) tai episodi (tapahtuma, toiminta). Pietilä (1976) käyttää analyysiyksiköstä havaintoyksikön käsitettä.
  • Strukturaalinen osittaminen perustuu kielellisen raportin ulkoisiin piirteisiin esim. taukoihin, hiljaisuuteen, lauseisiin tai kappaleisiin jne.
  • Semanttinen osittaminen perustuu merkityssisällölliseen osittamiseen, jolloin analyysiyksikkönä on ajatuksellinen kokonaisuus, idea tai yhtenäinen toiminnallinen kokonaisuus.(Ks.Esimerkki protokollan ja toiminnan yhdistämisestä.)
  • Luokittelujärjestelmän kehittäminen, luokittelurungon laatiminen pohjautuen tutkimusteemoihin ja tutkimusongelmiin
  • Ennen luokittelurungon kehittämistä protokolla aineistoa kannattaa kuunnella monta kertaa ja miettiä mitkä sisällöt ovat tutkimuksen kannalta olennaisia (teemat; sisällöt, toiminnan tasot). Tutkimuksen teoriataustasta nousee usein myös aineistosta luokiteltavia luokkia.
  • Sisällön analyysin kannalta on tärkeää saada aineistolle ja teorialle käsitteellinen vastaavuus, siten että sekä teoria että protokolla-aineisto tukevat toisiaan
  • Reliabiliteetin tarkastaminen eli kuinka luotettavasti ja yhdenmukaisesti aineisto voidaan analysoida (aineiston luokittelee kaksi toisistaan riippumatonta luokittelijaa, joiden luokittelujen välille voidaan laskea nk. yksimielisyyskerroin)
  • Luokittelun toteutus ja aineiston kvalitatiivinen tai kvantitatiivinen kuvaaminen
  • Frekvenssianalyysi ja/tai muut mahdolliset tilastollisen kuvaamisen välineet
  • Prosessin graafisen kuvaamisen menetelmät (esim. ongelmanratkaisu kulkukaavioiden luominen (PBG Problem-Behaviour-Graphs)

 Esimerkki protokollan ja toiminnan yhdistämisestä

Esimerkkiaineisto (ks. taulukko) on Pirita Seitamaa-Hakkaraisen (2000) suunnittelun (kankaankudonnan) asiantuntemusta käsittelevästä tutkimuksesta. Koehenkilön tehtävänä oli suunnitella kudottava seinätekstiili päiväkoti Pikku Prinssin portaikkoon. Koehenkilöllä oli käytettävissään mm. tilasuunnitelma, tilaajan tehtävänanto (suunnittelukirje) jne. Protokolla on ositettu semanttisesti (propositio) sekä strukturaalisesti, protokollassa ilmenevien hiljaisuuksien mukaan (hiljaisuus).

Esimerkki prosessianalyysista

Esimerkkiaineisto (ks. taulukko 2) on Pirita Seitamaa-Hakkaraisen (2000) suunnittelun (kankaankudonnan) asiantuntemusta käsittelevästä tutkimuksesta. Koehenkilön tehtävänä oli suunnitella kudottava seinätekstiili päiväkoti Pikku Prinssin portaikkoon. Suunnitteluprosessi on kuvattu suunnitteluelementtien rinnakkaisena prosessointina.

image2

Taulukko 2

Käytetyt symbolit: UT = Tekstiilin käyttäjä; LP = Tila; FT = Funktio; S = muoto; C = väri; P = Kuvio; M = Materiaali; St = Struktuuri; Pr = Proseduuri.

Ääneenajattelumenetelmän luotettavuus

fi_image73

Yleensä oletetaan, että ihmisten kielelliset kuvaukset heidän mielessään tapahtuvista psyykkisistä prosesseista ovat ainoastaan teorioita noista tapahtumista eivätkä kuvaa niitä luotettavasti (Nisbett ja Wilson, 1977). Tämä kritiikki perustuu sellaisten tutkimustulosten epäluotettavuuteen, joissa koehenkilöt ovat epäsystemaattisesti raportoineet omia psyykkisiä toimintojaan (introspektio) tai jälkikäteen kuvanneet ongelmanratkaisuaan tai selittäneet ajattelunsa sisältöä(retrospektio). Protokolla-analyysin kehittäjät Newell ja Simon (ks. Ericsson & Simon, 1984, 1993) korostavat, että kielelliset raportit ovat luotettavia silloin, kun aineiston keruu ja tulkinta toteutetaan oikealla tavalla. Olennaista on että koehenkilöä pyydetään ajattelemaan ääneen ongelmanratkaisun aikana (eikä jälkikäteen) ja että hänen kielellistä raporttiaan käytetään tutkijan oman analyysin lähtökohtana. Sen sijaan yksilön ajattelusta ei saada luotettavaa kuvaa mikäli koehenkilöitä pyydetään itse selittämään omaa ajatteluaan tai perustelemaan ratkaisujaan (ks. Geisler, 1994; Seitamaa-Hakkarainen, 1997). (Ks. ääneenajattelukokeen ohje)

Tosin ääneenajattelukoetta seuraava yhteinen keskustelu, jossa koehenkilö voi perustella omia ratkaisujaan, saattaa tuottaa tutkimuksen kannalta arvokasta lisätietoa silloin, kun edellä kuvatut koehenkilön rajalliset oman ajattelunsa tarkkailun resurssit otetaan huomioon. Tähän pyrkii esimerkiksi vahvistetun palautuksen menetelmä (Vahvistetun palautuksen menetelmä eli stimulated recall interview), jossa koehenkilöä pyydetään kommentoimaan ja selittämään esimerkiksi videoituja otteita ongelmanratkaisuprosessistaan.

Teorian mukaan ääneen ajattelu edustaa vain tietoisuuden ja tarkkaavaisuuden kohteena olevaa tietoa eli työmuistin sisältöä. Tiedonkäsittely tapahtuu tämän kapasiteetiltaan rajoitetun työmuistin varassa ja periaatteessa kaikki toimintaa ohjaava tieto kulkee työmuistin kautta. Oletetaan ettei ääneen ajattelu vaikuta ongelmanratkaisuprosessiin, vaan ainoastaan seuraa tai säestää sitä. Kuten edellä esitettiin, tämän kielellisen raportin tulkinta on tutkijan teoreettinen tehtävä eikä sitä voi jättää koehenkilölle.

Ääneenajattelumenetelmän validiteettia ja luotettavuutta voidaan tarkastella seuraavien kriteerien pohjalta:

  • Ääneen ajattelu tapahtuu ongelmanratkaisun aikana
  • Ääneenajatteluprosessi on suhteellisen jatkuva ilman pitkiä taukoja
  • Ääneen ajattelu ei silminnähtävästi häiritse itse tehtävään keskittymistä. Koehenkilöiden ajatteluprosessi ei katkeile ennakoimattomasti, vaan on sujuvaa ja luontevanoloista (Tehtävät koehenkilöiden asiantuntemuksen kannalta niin edustavia, että he pystyvät ratkaisemaan niitä ääneen ajatellen)
  • Ongelmanratkaisussa käsiteltävä tieto on kielellisessä muodossa eikä edellytä esimerkiksi kuvallisen tiedon muuntamista kielelliseksi
  • Ääneen ajattelu etenee johdonmukaisesti ja edustaa tehtävän kannalta mielekkäitä asiasisältöjä
  • Edellä esitettyjen kriteerien täyttyessä voidaan ääneen ajattelun rikassisältöisyyttä pitää viitteenä aineiston pätevyydestä ja luotettavuudesta

Usean menetelmän samanaikainen käyttö (engl. multimethod approach) on myös ääneenajattelumenetelmää toteutettaessa hyödyllistä. Tällöin voidaan yhden menetelmän heikkouksia korvata toisella menetelmällä. Ääneenajattelumenetelmällä hankittua aineistoa voidaan rikastuttaa esimerkiksi:

  • teemahaastattelulla
  • päiväkirjoilla tai portfolioilla

Introspektio

Introspektio tarkoittaa oman ajattelun järjestelmällistä itsetarkkailua, jota käytettiin mm. hahmopsykologiassa 1920 -luvulla. Introspektio on kuitenkin kuin hyvin epäsystemaattisen ajattelun kuvailua (päätapahtumat / episodien), koska ihmisen ei pysty luotettavasti havaitsemaan ja tarkkailemaan omaa ajatteluaan tai siinä käytettyjä strategioita. Jälkeenpäin on tavattoman vaikeaa tai mahdotonta palauttaa mieleen ongelmanratkaisuprosessin aikana esiintyneitä yksittäisiä ajatuksia tai niiden vaiheita. Menetelmää pidetään liian subjektiivisena.

Retrospektio

Retrospektio tarkoittaa toiminnan jälkikäteen tapahtuvaa takautuvaa tarkkailua, jossa koehenkilö kuvailee ja selittää ajattelutoimintaansa. Tämä raportointi on usein oman ajattelun jälkikäteistä rationalisointia ja teoretisointia.

Vahvistetun palautuksen menetelmä

Tavoitteena on koehenkilön oman ongelmanratkaisun jälkikäteen tapahtuva kielellinen kuvaus ja analyysi, joka tapahtuu ulkoisen muistituen (esim. video) varassa. Tämä toteutetaan usein niin, että tutkimuksen kohteena olevaan ilmiöön (esim. vuorovaikutus; työtehtävän suorittaminen) liittyvä ongelmanratkaisuprosessi videoidaan. Tutkija valitsee etukäteen ongelmanratkaisuprosessista tutkimuksen kannalta tarkoituksenmukaisia episodeja eli otteita, jotka esitetään koehenkilölle. Katsoessaan valittuja otteita koehenkilöä pyydetään selittämään ja analysoimaan oman ongelmanratkaisunsa tai muun toimintaansa perusteita. Koehenkilön kuvaukset omasta ajattelustaan, tunteistaan ym. toiminnastaan äänitetään. Tutkija voi esittää videon katselun aikana myös tarkentavia kysymyksiä. Tälle aineistolle tehdään yleensä sisällön analyysi ja tutkija tulkitsee ja luokittelee sekä video-episodit (havainnointi + sisällön analyysi) että koehenkilön selityksen (sisällön analyysi). Aineiston luokittelun luotettavuus voidaan tarkistaa rinnakkaisluokittelulla.

www.metodix.com

Menetelmäartikkelit

Lähteet

fi_image74

Akin, O. (1986). Psychology of architectural design. London: Pion.

Akin, O. & Lin. C. (1995). Design protocol data and novel design decision. Design Studies,16, 2, 211-236.

Anttila, P., (1996). Tutkimisen taito ja tiedon hankinta. Helsinki Akatiimi oy.

Bereiter, C. & Scardamalia, M. (1987) The psychology of written composition. Hillsdale, NJ: Lawrence Erlbaum.

Chi, ,M. (1997) Quantifying qualitative analyses of verbal data: A practical Guide. The Journal of the Learning Sciences, 6 (3), 271 -313

Ericsson, K. A. & Simon, H. A. (1984). Protocol analysis: Verbal reports as data. Cambridge, MA: MIT Press.

Ericsson, K. A. & Simon, H. A. (1993). Protocol analysis: Verbal reports as data.(Rev. ed) Cambridge, MA.: MIT Press.

Ericsson, K. A & Smith, J. (Eds.). Toward a general theory of expertise: Prospects and limits. Cambridge, Mass.: Cambridge University Press.

Geisler, C., (1994) Academic Literacy and the Nature of Expertise: Reading, Writing and Knowing in Academic Philosophy. Lawrence Erlbaum Assocciates. New Jersey.

Newell, A. & Simon, H.A. (1972) Human problem solving. Englewood Cliffs. N.J.: Prentice Hall.

Nisbett, R. & Wilson, t. (1977) Telling more than we can know. Verbal report on mental processes. Psychological Review 84, 3, 231-259.

Patel, V., & Groen, G. (1991). The general and specific nature of medical expertise: A critical look. In Ericsson, K. A & Smith, J. (Eds.). Toward a general theory of expertise: Prospects and limits. (pp. 93-125) Cambridge, Mass.: Cambridge University Press.

Seitamaa- Hakkarainen, P. (1997) Revealing Design Thinking Through Protocol Data. In Seitamaa-Hakkarainen, P & Uotila, M. (eds:) Produkt, fenomen, upplevelse. Proceedings of Symposium, Helsinki November, 7-9.1996. Techne Series. Research in Sloyd Education and Crafts Science B. 3. 1997, 180 – 198.

Seitamaa-Hakkarainen S.P. (1997). Composition and Construction in Novices’ and Experts’ Weaving Design. Techne Serie: Research in Sloyd Education and Crafts Science A no.2



Kategoriat:artikkeli, Artikkelit

Vastaa

Täytä tietosi alle tai klikkaa kuvaketta kirjautuaksesi sisään:

WordPress.com-logo

Olet kommentoimassa WordPress.com -tilin nimissä. Log Out / Muuta )

Twitter-kuva

Olet kommentoimassa Twitter -tilin nimissä. Log Out / Muuta )

Facebook-kuva

Olet kommentoimassa Facebook -tilin nimissä. Log Out / Muuta )

Google+ photo

Olet kommentoimassa Google+ -tilin nimissä. Log Out / Muuta )

Muodostetaan yhteyttä palveluun %s

%d bloggers like this: