Hannu Linturi © Metodix Oy (päivitetty 5.3.2024)

Tieteellinen analyysi on tekniikka, jonka avulla luotettavasti kerätty aineisto järjestellään niin, että tarkasteltavan ilmiön olennaiset merkitykset ja yhteydet saadaan oikeasuhteisesti näkyviksi. Tyypillisesti Delfoissa jakaumia tarkastellaan kvantitatiivisesti, ja kommentointia perusteluineen laadullisin keinoin. Erityistä Delfoissa on se, että siinä aineistoa luokitellaan ja arvioidaan jo tutkimusprosessin aikana, ei pelkästään sen lopuksi.

Delfoi-kierrosten välillä ja lopuksi tuloksia analysoidaan ja tiivistetty tieto tuloksista jaetaan myös paneelin käyttöön. Tutkimusraportin sisältö vaihtelee tulosten kuvauksista toiminta- ja päätösehdotuksiin ja kysymyskohtaisista analyyseistä skenaarioihin. Prosessin loppuvaiheissa haarautuu kaksi erilaista polkua, joista alkuperäisin on konsensuksen tavoittelu. Konsensus-Delfoissa tähtäin on usein suorassa päätösvalmistelussa, jossa paneelityöskentelyn kautta päädytään toimintasuositukseen tai päätösehdotukseen. Strategiavalmistelussa saatetaan myös valmistella kaksi tai useampia vaihtoehtoja, joilla varmistetaan keskustelun laajeneminen myös itse päätöksentekotilanteeseen. 

Tieteellisessä Delfoi-tutkimuksessa konsensus-lähtökohtaa on käytetty mm. farmakologisten tai kansanterveydellisten laatumittareiden määrittelyssä. Suomen oloissa konsensusta yleisempää on Delfoin käyttö monikollisten tulevaisuuksien hahmottamiseen, jolloin panelistien dissensus on lähtökohtana eikä sitä pyritä yhdenmukaistamaan prosessin aikana. Sen sijaan pyritään vahvistamaan erilaisten näkemysten perusteluja eli argumentointia. Hyvin perusteltujen tulevaisuuksien pohjalta on luontevaa kirjoittaa johdonmukaisia tulevaisuuden käsikirjoituksia eli skenaarioita, joiden todennäköisyyttä ja toivottavuutta on mahdollista koetella. Osaamisen ennakointifoorumissa kuvataan neljänlaista Suomea vuonna 2035. Skenarointi on pätevä vaihtoehto silloin, kun halutaan lisätä toimintavalmiutta yllättävien tulevaisuuksien varalle eli tilanteisiin, joissa vaikkapa epätodennäköinen vaihtuu todennäköiseksi tai toivottava ei-toivottavaksi.

Jokainen Delfoi piirtää joltain tulevaisuuden osalta mallia siitä, minkälaisiin mahdollisiin “maastoihin” olemme kulkemassa. Delfoi-prosessi on mahdollista suunnitella pitkäkestoiseksi tutkimus- tai seurantaohjelmaksi, jossa tietoisesti muodostetaan ilmiön tulevaisuuskarttaa, jota tarkentuu paitsi kierros kierrokselta myös barometrityyppisesti ajassa havaintoja ja käsityksiä kerrostaen kuten tehtiin Opetushallituksen Oppimisen tulevaisuus 2030-barometrissa.

Managerin ensimmäinen ja intuitiivinen analyysi tapahtuu vastausjakauman visualisoinnin (diagrammin) avulla, joka paljastaa yhdellä katsomalla miten panelistien näkemykset jakautuvat. Delfoi-ohjelmissa tällainen palaute on reaaliaikaisesti useimmiten jo panelistien käytössä. Se kuvastaa miten kertynyttä aineistoa kierrätetään ja analysoidaan jo prosessin aikana. Erimielisyys on Dissensus-Delfoissa kiinnostavampaa kuin samanmielisyys. Toisaalta samanmielisyys merkitsee sitä, että siltä osin tutkimustulos saadaan helposti ja nopeasti. Kommentteja (argumentteja) lukiessa vasta selviää mitä tekijöitä ja käsityksiä kasautuvan tai hajautuvan jakauman taustalla vaikuttaa.

Jakaumanäkymä käynnistää laadullisen analyysin. Yksinkertaisimmillaan siinä tarkastellaan miten kommentit ja niiden sisältämät argumentit vaihtelevat asteikkovastauksen perusteella. Erojen tunnistamista helpottaa se, jos Delfoi-ohjelmisto kykenee lajittelemaan kommentit alenevaan järjestykseen vastausvalinnan mukaan. Muiden kuin asteikkokysymysten osalta luokittelu on erilaista mutta yhtä lailla erottelevaa. Jokaisen kysymyksen tärkeä funktio on synnyttää paine perustella omaa vastausta, joiden laaja kirjo kertoo kysymyksenasettelun onnistumisesta. Analyysissä on kyse näiden erojen havainnoinnista ja tulkinnasta. Kartoittavissa tutkimuksissa riittää “käsityönä” tehtävä kevytanalyysi, jossa selvitetään kolmen eri muuttujan väliset yhteydet. Muuttujia ovat luokitteleva vastaus (esimerkiksi asteikolla), luokitteluvastaukseen liittyvä laadullinen sisältö sekä vastaajan kompetenssin (ja intressin) suhde vastauksiin. 

Yksinkertainen kommenttiaineiston luokittelu on sijoittaa kommentit nelikenttään. Esimerkiksi kahden kriteerin tulevaisuusväite tuottaa suoraan nelikentän. Siinä kysymys on asetettu kahden managerin määrittelemän kriteerin mukaisesti havainnollisella moniportaisella Likert-asteikolla. Kuvan esimerkissä vaihtoehdot pelkistetään neljään: miinus-miinus, miinus-plus, plus-miinus ja plus-plus. Esimerkiksi eDelphi-ohjelmisto (www.edelphi.org) kuvaa vastaukset – sekä jakaumat että kommentit – kaksidimensionaalisesti todennäköisyyden ja toivottavuuden mukaiseen nelikenttään.

Kunkin tulevaisuusteesin ulottuvuuksia ovat todennäköinen vs epätodennäköinen ja toivottava vs epätoivottava. Ne ovat koordinaatteja, joissa toivottava edustaa tavoiteltavaa, epätoivottava vältettävää, todennäköinen mahdollisuutta ja epätodennäköinen mahdottomuutta. Yleinen pyrkimys on suunnistaa kohti toivottavaa, kierretään ei-toivottava ja raivataan tiukan paikan tullen epätodennäköiseltä tilaa todennäköiselle. Tulevaisuusväitteet on valittu niin, että kukin väite signaloi konkreettista sisältöään laajempaa ilmiökenttää. Panelisti ovat ottaneet kantaa sekä väitteen todennäköisyyteen että toivottavuuteen ns. likert-asteikolla. Nelikenttätekniikka tarjoaa kaavamaisesti neljän mahdollisen tulevaisuuden (futuribles = future possibilities) tutkimisen.

Jakauma (Anonymous Future-paneeli)	Kommenttien nelikenttänäkymä

Verkkopohjaisessa Delfoi-prosessissa kommunikaatioympäristöä on mahdollista päivittää niin, että äänestäminen ja argumentointi tapahtuvat reaaliajassa. Äänestysjakaumat saadaan haluttaessa näkyville samoin kuin ”puolesta ja vastaan”-argumentit. Jokaisen argumentin kohdalta on mahdollista arvioida sen tärkeyttä (merkityksellisyys) ja validisuutta (pätevyys). Väitteiden osalta udellaan tavallisimmin niiden haluttavuutta (toivottavuus) ja toteutettavuutta (todennäköisyys).

Mitä suurempi väitteen hajonta on sitä jakautuneempi paneeli on suhteessa kysymykseen ja päinvastoin. Konsensus-Delfoissa pyritään ohjaamaan hajontaluku lähelle nollaa. Dissensus-Delfoissa hajontaluvulla on merkitystä vain analyyseissa. Managerin ei tarvitse luoda painetta mihinkään muuhun suuntaan kuin siihen, että panelistit ovat avoimia tarkistamaan kantaansa kun saavat siihen hyvät perusteet. Olennaista on saada mahdollisimman merkitykselliset argumentit eri näkemysten puolesta ja vastaan.

Delfoi-menetelmän avulla tuotettua aineistoa tarkasteltaessa on olennaista tunnistaa, että se pohjautuu aina subjektiiviseen tietoon olkoonkin että on kyse asiantuntijatiedosta. Argumentaatioon perustavan Delfoin lupaus – tai tarkoitus – ei ole kertoa varmaa tulevaisuudesta. Sen sijaan sen avulla on mahdollista selvittää sitä, mitä asiantuntijat ajattelevat tulevaisuudesta – siis kaivaa esiin eksperttien käsityksiä ja oletuksia. Delfoi ei toki tyydy pelkkiin mielipiteisiin vaan edellyttää niiden perustelemista. Argumentoitu tieto on hyödyllistä päätöksenteon taustaksi tai skenaarioiden rakennuspalikoiksi puhumattakaan siitä, että prosessi voi parhaimmillaan muotoutua uutta ymmärrystä tuottavaksi oppimistapahtumaksi sekä panelisteille että tutkijoille. Tietoa tuottavan ja luovan paneelin tunnusmerkki on se, että siinä käydään dialogeja eri näkemysten välillä ja argumentoinnin seurauksena ollaan myös valmiita muuttamaan alkuperäisiä käsityksiä Delfoi-prosessin aikana.

Oppimisen tulevaisuus 2030-barometrissa kehitettiin liikennevalo-metafora kuvaamaan sitä, miten eri tulevaisuusteesien tila vaihtelee ja dynaamisesti muuntuu ajassa. Oletettu väite-evoluutio on se, että kiistakysymysvaihe eli vastakkainasettelu käynnistää kehityksen, jonka seurauksena paradigma muuttuu tai löydetään kolmas tie, jossa ei ole kyse kummastakaan alkuperäisestä vastakohdasta. Usein vastakkainasettelu jatkuessaan johtaa kommentointiin, argumentointiin ja keskusteluun, jossa alun perin vastakkaiset käsitykset moninaistuvat ja rikastuvat näkökulmiksi, jotka mahdollistavat kuuntelemisen ja dialogin. Jatkuessaan dialogi lähestyy tilaa, jossa valmius yhteiseen kokonaisnäkemykseen tai vähintään siedettävään kompromissiin lisääntyy. Kun konsensus on riittävää niin teesi on ratkaisutilassa.

Kiistatilassa panelistien näkemykset ja argumentit tulevasta kehityksestä ovat polarisoituneet usein tunnepitoisiksi jyrkiksi kannoiksi, joiden takia vastapuolen perustelujen kuuleminen ja kuunteleminen on estynyttä. Dialogitilassa käsitykset tulevasta kehityksestä ovat jakautuneet moniksi näkökulmiksi ja mahdollisuuksiksi, joita on mahdollista tarkastella rinnakkain ja toisiaan täydentävästi, mikä mahdollistaa siirtymisen keskusteluvaiheeseen. Ratkaisutilassa panelistit ovat tulevaisuusväitteestä siinä määrin yksimielisiä, että mahdollisuudet muotoilla yhteinen näkemys ja päätös tulevasta kehityksestä ovat suuret.

Sosiaalisissa muutoksissa on kulttuurisia hitausvoimia, jotka johtuvat intressien, osaamisten ja instituutioiden asemien puolustamisesta. Etenkin lähitulevaisuuden maasto on näiden voimien “miinoittamaa”. Toisin päin sanoen, jos halutaan tarkastella tulevaisuutta muutospainotteisesti kannattaa tarkasteluvuosi viedä niin pitkälle, että intressipitoisuus laimenee ja ajattelu avautuu isoillekin murroksille. Kokemuksemme on, että tässä suhteessa lähi- ja kaukotulevaisuuden raja kulkee kymmenen vuoden paikkeilla. Muutos sinällään ei ole hyvä tai paha. Yhteiskunnallisissa kysymyksissä muuttumattomuudella on kuitenkin enemmän puolestapuhujia kuin sellaisilla muutoksella, joiden edunsaajia ei vielä tunnisteta.

Kiistakysymykset kuten kaikki tulevaisuuskysymykset syntyvät tässä hetkessä ja tilassa, mutta niiden käsittely ja ratkaiseminen on paljon helpompaa tulevaisuudessa kuin nykyisyydessä saati historiassa, vaikka sitäkin toki tapahtuu historian uudelleentulkintojen kautta. Antisipaatioteoria on ajattelumalli, jossa hyödynnetään tätä viisautta.Yksinkertaistetusti siinä nykyhetken kysymys viedään tulevaisuuteen ratkaistavaksi ja palautetaan sitten takaisin nykyhetkeen. Ajattelun arvo on siinä, että siten saadaan perspektiivi siitä mihin suuntaan kehitys on luontaisesti kulkemassa. Ilman antisipointia päätökset perustuvat paitsi nykyhetken intresseihin myös osin piilevästi historiasta syntyvään paineeseen tehdä kuin ennenkin.

Skenaroinnissa on luontevaa hyödyntää aikaisemmin kuvattua kysymyskohtaista neli- tai kvartiilikenttää. Osaamisen ennakointifoorumi 2035-paneelien kyselyt rakennettiin sosiodynaamisen monitasomallin mukaan niin, että niillä katetaan sekä tarkasteltavan ilmiön historiallisesti muotoutunutta tllannetta (trendit, regiimi), toimintaympäristön luomia paineita ja muutoksia (megatrendit) ja teknologisten tai sosiaalisten innovaatioiden kautta mahdollistuvaa uudelleenorganisoitumista (niche, heikot signaalit). Paljon käytetty skenaarioiden rakentelua jäsentävä luokittelu on Peste, jossa katetaan etukirjainten mukaisesti tärkeimmät yhteiskunnalliset toimintasektorit: politiikka (politics, päätöksenteko), ekonomia (economy, talous), sosiaaliset tekijät (social), teknologia (technology) ja ekologia eli ympäristö (environment).

Äänestystulokset skenaarioista	Skenaarioiden kuvaukset ja preferoinnit

Tutkimuksen luotettavuuden varmistaminen on kaikissa Delfoi-prosessin vaiheissa tärkeää. Tutkimuksen tuloksilla ei ole arvoa, jos niihin ei voi luottaa. Luotettavuuden arviointi lähtee panelistien valinnasta. Heidän tulee edustaa erilaisia näkökulmia tutkimuskohteeseen. Kyselyn tulee kattaa tutkimuskohteen olennaiset piirteet tutkimuksen rajauksen puitteissa ja kysymykset eivät saa olla johdattelevia. Tutkimusaineiston keruussa voi käyttää eri menetelmiä, esim. Delfoin ensimmäinen kierros voidaan järjestää haastatteluna ja kolmas työpajatyöskentelynä. Aineiston analyysissä kuvataan myös se, miten analyysi on suoritettu.

Analyysien loppusijoituspaikka on tutkimusraportti. Tieteelliset raportti- ja artikkeliformaatit ovat varsin vakiintuneita esitystapoja. Jokaisella korkeakoululla on omat ohjeensa, mutta muoto on vähäisin vaihteluin yhtenäinen. Delfoi-kehittäjäyhteisössä tutkintotutkielmia on ohjattu 2000-luvulla vuosittain parinkymmenen tutkielman tahtia. 2000-luvulla on valmistunut lähes 30 väitöstä useissa yliopistoissa ja tiedekunnissa. Vuosi 2020 oli väitöstasoisten tutkimusten ennätysvuosi, kun niitä julkaistiin viisi viideltä eri tiedonalalta ja korkeakoulusta.

Tutkimusprosessin kuluessa tehdään lukuisa joukko valintoja, jotka tulee kuvata. On valittava tutkimusaihe, rajattava sopivan suppea tutkimusongelma, valittava lähestymistapa, keskeiset käsitteet, mallit, viitekehys teorioineen, sekä tutkimusmenetelmät. Tämän jälkeen valitaan empiirinen aineisto, mikäli kysymys on empiirisestä tutkimuksesta. Sen jälkeen tuotetaan tulokset. Sekin on yhdenlainen valinta. Lopuksi työstetään tulosten tulkinta eli johtopäätökset.

Raportissa esitetään tutkimusprosessin tulokset, joita voi myös ajatella joukkona perusteltuja hypoteeseja eli väitteitä. (Kakkuri-Knuuttila 2001) Tieteellisen tekstin tärkein väite on sen pääväite eli tutkimuksen päätulos. Pääväite on tutkijan panos tieteelliseen keskusteluun. Tutkimusraportin tehtävä on tehdä pääväite uskottavaksi niin, että lukijat kiinnostuvat siitä ja ovat valmiita sen uskomaan. Tutkimus- ja kirjoitusprosessi on ymmärrettävissä asteittaiseksi etenemiseksi kohti pääväitettä ja sen perustelujen tuottamista. Raportissa on kuvattava myös se miten tutkimustuloksiin on päädytty tavalla, joka mahdollistaa tulosten pätevyyden (validiteetti) ja luotettavuuden (reliabiliteetti) arvioinnin mieluiten niin että empiiriset osat on mahdollista toistamalla todentaa (verifioida) tai hylätä (falsifioida). Tieteellisessä yhteydessä perustelemista ja argumentaatiota kutsutaan termillä oikeuttaminen.

Loppuviite 1: Ks. https://sites.google.com/metodix.fi/oef/oef-skenaariot-2035 . Hitaasti mutta varmasti-Suomessa varotaan keinuttamasta venettä. Siinä suositaan vakiintuneita toimintatapoja ja perinteisiä instituutioita ja vältetään riskejä, joita voisi aiheutua yhteiskunnallisten suhteiden liian nopeista muutoksista. Vahva kansallisvaltio on paras instrumentti ylläpitää tasapainoista kehitystä. Turbo-Suomessa huomio kiinnitetään ennen muuta tuloksiin, kilpailukykyyn ja tuottavuuteen, joiden saavuttamiseen ei tarvita regiimi-tason mullistuksia. Sen sijaan siihen tarvitaan vahvaa Euroopan unionia, joka parhaiten turvaa pienen maan edut maailmanmarkkinoilla, ja jonka ytimiin Suomi pikkuvaltionakin itseoikeutetusti kuuluu. Ekonologinen Suomi on kehittynyt globaalin ympäristömuutoksen paineesta. Sen idea on ekologian ja ekonomian yhteensovittaminen molempia hyödyttävällä tavalla. Järjestys on kuitenkin nykyisestä poiketen se, että ekologia määrittää ekonomian. Kaupunkiegologinen Suomi edustaa hajoavien valtioiden vaihetta, jossa maailmaa organisoidaan alueiden ja verkostojen kautta. Osallisuus- ja jakamiskokemukset uudistavat demokraattiset instituutiot ja energisoivat alueyhteisöjen toimintaa.

Loppuviite 2: Akateemisissa tutkimuksissa käytetään laadulliseen analyysiin erikoistuneita ohjelmistoja, jotka sopivat monien eri tekniikoiden toteutukseen. Kaikissa näissä ohjelmissa on kyse sisällönanalyysistä, jossa aineistoa luokitellaan ja käsitteellistetään jotta saadaan näkyväksi datamassaan liittyviä “kätkettyjä” rakennepiirteitä.. Analyysimetodeita on useita ja niihin voi tutustua Metodixin menetelmäartikkelien avulla (ks. https://metodix.fi/category/artikkeli/tutkimus-artikkeli/). Delfoi-yhteisössä eniten käytetty laadullisen analyysin ohjelmisto on Atlas.ti (https://atlasti.com/).

Lähteitä

Kirjallisuus

1. Ahvenharju, Sanna (2022) Futures Consciousness as a Human Anticipatory Capacity – Definition and Measurement. Turun yliopisto. PDF Full Text https://urn.fi/URN:ISBN:978-951-29-8892-1 .
2. Airaksinen Tiina, Halinen Irmeli, Linturi Hannu (2016) Futuribles of Learning 2030  – Delphi supports the reform of the core curricula in Finland. European Journal of Futures Research. Special topic: Education 2030 and beyond. Internet https://link.springer.com/article/10.1007/s40309-016-0096-y. 
3. Bell, Wendell (1997, 2003) Foundations of futures studies, Vol I-II, New Brunswick: Transaction Books.
4. The Delphi Technique: Past, present and future prospects. Technological Forecasting and Social Change, Volume 78, Issue 9, Pages 1487-1720 (November 2011)
5. Dimitrow, Maarit (2016) Development and Validation of a Drug-Related Problem Risk Assessment Tool for Use by Practical Nurses Working with Community-Dwelling Aged. Helsingin yliopisto, farmasian tiedekunta. Helsinki. Verkossa https://helda.helsinki.fi/handle/10138/167914
6. Gordon, T.J. (1994) The Delphi Method. Futures Rsearch Methoodology. Millennium Project.
7. Gordon, T.J. (2008) The Real-Time Delphi Method. The Millennium Project. Futures Research Methodology – V3.0. Verkossa http://www.millennium-project.org/FRMv3_0/05-Real-Time_Delphi.pdf .
8. Kakkuri-Knuuttila, Marja-Liisa (2001) Mitä on tutkimus? Argumentti, väittely ja retoriikka. Metodix.
9. Kauppi, Antti ja Linturi, Hannu (2018) Kansalaisfoorumin viisi tulevaisuutta. Internetissä https://metodix.fi/2018/11/30/kansalaisfoorumin-viisi-tulevaisuutta/ .
10. Korhonen-Yrjänheikki, Kati (2011) Future of the Finnish Engineering Education – A Collaborative Stakeholder Approach. ISBN 978-852-5633-48-1. TEK. Miktor. Helsinki. Verkossa  http://www.tek.fi/ci/pdf/julkaisut/KKY_dissertation_web.pdf.
11. Koskimäki Teemu (2022) Expert perspectives on achieving global sustainability with targeted transformational change. A thesis submitted for the degree of Doctor of Philosophy of The Australian National University. PDF-julkaisu https://openresearch-repository.anu.edu.au/bitstream/1885/274587/1/TK%20-%20PhD%20thesis%20-%20Revised%20version%202022%20FINAL.pdf .
12. Kuusi, Osmo (2000) Delfoi-metodi. Internetissä https://metodix.fi/2014/05/19/kuusi-delfoi-metodi/ .
13. Kuusi, Osmo (1999) Expertise in the Future Use of Generic Technologies. Epistemic and Methodological Considerations Concerning Delphi Studies. Interneissä http://bit.ly/3ayzN4e .
14. Laakso, K., Rubin, A. & Linturi, H. 2010. Delphi Method Analysis: The Role of Regulation in the Mobile Operator Business in Finland. Phuket, Thailand: PICMET 2010: Technology Management for Global Economic Growth. 18.-­ 22.7.2010, 2698-­2704.
15. Laukkanen, Minttu (2020) Sustainable business models for advancing system-level sustainability. Acta Universitatis Lappeenrantaensis -tutkimussarja 889. ISBN 978-952-335-470-8 ja ISSN 1456-4491. LUTPub-tietokanta www.urn.fi/URN:ISBN:978-952-335-471-5 .
16. Linturi, Hannu & Rubin, Anita (2011) Toinen koulu, toinen maailma. Oppimisen tulevaisuus 2030. Turun yliopiston Tulevaisuuden tutkimuskeskus. Tutu-julkaisu 1/2011.
17. Linturi, Hannu, Rubin, Anita, Airaksinen, Tiina (2012) Lukion tulevaisuus 2030 – Toinen koulu, toinen maailma. Otavan Opiston Osuuskunta. 978-952-6605-00-5 (pdf), ISSN-L 2242-1297, ISSN 2242-1297.
18. Linturi, Hannu, Linturi, Jenni ja Rubin Anita (2013) eDelphi – metodievoluutiota verkossa. Metodix https://metodix.fi/2014/11/26/edelfoi-metodievoluutiota-verkossa/ .
19. Linturi, Hannu, Rubin Anita (2014) Metodi, metafora ja tulevaisuuskartta. Futura 2/2014.
20. Linturi, Hannu (2007) Delfoin metamorfooseja. Futura 1/2007.
21. Linturi, Hannu (2017) OPH:n Oppimisen tulevaisuus 2030-barometri. Internetissä https://metodix.fi/2017/01/11/oppimisen-tulevaisuus-2030-blogi-2017/ (https://metodix.fi/2016/12/31/oppimisen-tulevaisuus-2030/) .
22. Linturi, Hannu (2020) Delfoin monet tarkoitukset. Metodix  https://metodix.fi/2020/03/08/delfoin-tarkoitukset/ 
23. Linturi, Hannu (2020) Delfoi-prosessin vaiheet. Metodix 
24. Linturi, Hannu (2020) Delfoi-pedagogia. Internetissä https://metodix.fi/2019/11/15/delfoi-pedagogia/.
25. Linturi, Hannu (2020) Ilmastot@komo: viisi työkalua ilmastokasvatukseen. Internetissä https://metodix.fi/2019/12/01/ilmastotakomo/ .Rand (2020) Delphi Method https://www.rand.org/topics/delphi-method.html 
26. Linturi Hannu (2023) Delfoin seitsemän ideaa. Blogisarja https://metodix.fi/2023/10/09/delfoin-seitseman-ideaa/. Metodix Oy.
27. Linturi Hannu & Kauppi Antti (2021) Miten tutkimme tulevaisuuksia Delfoi-menetelmällä, Artikkeli teoksessa Delfoilla tulevaisuuteen, toim. Merja Kylmäkoski & Päivi Raino. Humak-ammattikorkeakoulu https://www.humak.fi/julkaisut/delfoilla-tulevaisuuteen/ .
28. Linturi Hannu & Kuusi Osmo (2022) Tulevaisuuksia ennakoiva Delfoi-menetelmä. Artikkeli teoksessa Tulevaisuudentutkmus tutuksi. Perusteita ja menetelmiä. (toim. Hanna-Kaisa Aalto, Katariina Heikkilä, Pasi Keski-Pukkila, Maija Mäki, Markus Pöllänen). Turun yliopisto https://www.utupub.fi/handle/10024/153465 .
29. Myllylä, Yrjö (2007) Logistic and Social Future of the Murmansk Region until 2020. Joensuun yliopisto, Yhteiskunta- ja aluetieteiden laitos. Joensuu. Verkossa http://joypub.joensuu.fi/publications/dissertations/myllyla_murmanskin/myllyla.pdf.
30. Mäkelä, Marileena (2020) The past, present and future of environmental reporting in the Finnish forest industry. Turun yliopiston julkaisua – Annaels Universitatis Turkuensis, Ser. E: Oeconomica. URN:ISBN:978-951-29-8087-1. Verkossa https://www.utupub.fi/handle/10024/149753?show=full .
31. Osaamisen ennakointifoorumi: The Finnish National Agency for Education’s Skills Forecasting Forum conducted a multi-phase development project from 2016 to 2019 to explore the future of the workforce and vocational education, employing the Delphi technique as a method to open up futures. Initially, all actors within nine sectoral clusters assessed future developments up to 2035 according to the dynamic multi-level model described by Geels and Schot. From this data, four scenarios were constructed, two of which were selected as the basis for further work. In the second Delphi round, separate Delphi processes were implemented for the nine clusters, which also were based on three levels examining changes in the operating environment, regime adaptation, and signal-level innovation phenomena. See the eDelphi main panel at https://www.edelphi.org/oef and Jukka Vepsäläinen’s video presentation at https://youtu.be/8o2v5nNWqIo?si=T1FyVIibVfX5LdSK.
32. Paaso, Aila (2010) Osaava ammatillinen opettaja 2020. Tutkimus ammatillisen opettajan tulevaisuuden työnkuvasta. Rovaniemi: Lapin yliopisto 2010, Acta Universitatis Lapponiensis 174. ISBN 978-952-484-348-5. ISSN 0788-7604.
33. Palo, Teea (2014) Business model captured?: variation in the use of business models. University of Oulu, Oulu Business School, Department of Marketing. PDF Full Text http://urn.fi/urn:isbn:9789526203430 .
34. Pernaa, Hanna-Kaisa (2020) ”Hyvinvoinnin toivottu tulevaisuus – tarkastelussa kompleksisuus, antisipaatio ja osallisuus”. URN:ISBN:978-952-476-910-5. Osuva http://urn.fi/URN:ISBN:978-952-476-910-5
35. Pihlainen, Vuokko (2020) Asiantuntijoiden käsityksiä johtamisosaamisen nykytilasta ja tulevaisuuden suunnista suomalaisissa sairaaloissa 2030. Experts’ perceptions of the present state of management and leadership competence and future directions in Finnish hospitals by 2030 Kuopio: Itä-Suomen yliopisto, 2020 Publications of the University of Eastern Finland Dissertations in Social Sciences and Business Studies; 223. ISBN: 978-952-61-3377-5 (print), ISBN: 978-952-61-3378-2 (PDF), ISSN: 1798-5757 (PDF). Verkossa https://erepo.uef.fi/bitstream/handle/123456789/22263/urn_isbn_978-952-61-3378-2.pdf
36. Rand Corporation: Delphi Method https://www.rand.org/topics/delphi-method.html 
37. Rubin, Anita (2007) Pehmeä systeemimetodologia. Internetissä https://metodix.fi/2014/05/19/rubin-pehmea-systeemimetodologia/ .
38. Rönkä, Anu-Liisa (2019) Kohti vuorovaikutteista riskiviestintää : Tapausesimerkkinä langattoman viestintätekniikan säteily. University of Helsinki, Faculty of Social Sciences. Doctoral Programme in Interdisciplinary Environmental Sciences. Internet https://helda.helsinki.fi/handle/10138/301671  .
39. Soini-Salomaa, Kristiina (2013) Käsi- ja taideteollisuusalan ammatillisia tulevaisuudenkuvia. HY. Käyttäytymistieteellinen tiedekunta. Helsinki. Verkossa https://helda.helsinki.fi/handle/10138/41734 
40. Sunell, Otto (2016) Turvallisuuskulttuuri julkisen hallinnon organisaatiossa vuoteen 2025 tultaessa: Nykytilan kartoitus ja neljä skenaariota. Tampereen teknillinen yliopisto. Tampere.  Verkossa https://tutcris.tut.fi/portal/en/publications/turvallisuuskulttuuri-julkisen-hallinnon-organisaatiossa-vuoteen-2025-tultaessa(d16cf10d-2d88-4bcb-8dad-62349f74bf36).html .
41. Tamminen, Nina (2021) Mental Health Promotion Competencies in the Health Sector. Faculty of Sport and Health Sciences, University of Jyväskylä. Permanent link to this publication: http://urn.f/URN:ISBN:978-951-39-8666-7 .
42. Tapio, Petri (2002) The limits to traffic volume growth : The content and procedure of administrative futures studies on Finnish transport CO2 policy. Internetissä https://helda.helsinki.fi/handle/10138/22446 .
43. Tapio, Petri (2002) Disaggregative policy Delphi Using cluster analysis as a tool for systematic scenario formation. Technological Forecasting and Social Change.
44. Toivonen, Annette (2022) The emergence of New Space – A grounded theory study of enhancing sustainability in space tourism from the view of Finland. Acta electronica Universitatis Lapponiensis 336. ISBN: 978-952-337-311-2, ISSN 1796-6310. University of Lapland, Rovaniemi 2022. Sähköisen julkaisun pysyvä osoite: https://urn.fi/URN:ISBN:978-952-337-311-2 .
45. Turoff, Murray (2002) The Delphi Method, Techniques and Applications. Internetissä  https://web.njit.edu/~turoff/pubs/delphibook/delphibook.pdf .
46. Valtonen, Vesa (2010) Turvallisuustoimijoiden yhteistyö. Maanpuolustuskorkeakoulu, taktiikan laitos. Julkaisusarja 1, Helsinki. Verkossa http://www.doria.fi/handle/10024/74154 .

Mediat

1. Delfoi-metodi lyhyesti https://youtu.be/yMfn9irS-Io: Videolla esitetään Delfoi- perusprosessin vaiheet täydennettynä asiantuntijoiden – Osmo Kuusi, Petri Tapio ja Jukka Vepsäläinen – luonnehdinnoilla siitä, mikä menetelmässä on olennaista ja minkälaisia kehitysnäkymiä metodi tarjoaa. Videossa esitellään Delfoin ideat ja toiminnalliset piirteet. Videon käsikirjoituksesta vastaa Hannu Linturi sekä toteutuksesta Olli-Pekka Jauhiainen ja Maija Linturi. Delfoi-video on tuotettu Lapin yliopiston tilauksesta ja julkaistu tammikuussa 2020.
2. Uudistuva Delfoi-metodi https://youtu.be/LV7-pJbfWNo: Delfoi-metodin uudistuvaa olemusta tarkasteleva video perustuu menetelmän viimeisen kymmenen vuoden kehitykseen ja asiantuntijakeskusteluun, joka järjestettiin marraskuussa 2019 Helsingin Keskustakirjasto Oodissa. Keskustelijoina ovat Antti Kauppi, Osmo Kuusi, Hannu Linturi, Petri Tapio ja Jukka Vepsäläinen. Pitkän elokuvan mittainen video jakautuu seitsemään osaan: (1) Menetelmän perusteet, (2) Delfoi-managerin tehtävät, (3) Delfoi-paneelin toiminta, (4) Delfoi-kysymysten ja -kyselyiden laatiminen, (5) Delfoi-kierrosten managerointi, (6) Delfoi-aineiston analyysi ja raportointi, (7) Delfoin kontekstointi ja tulevaisuus. Uudistuva Delfoi-metodi on editoitu (kuvannut Olli-Pekka Jauhiainen) Lapin yliopiston tilauksesta ja julkaistu tammikuussa 2020. (Osa 1: Johdatus menetelmään https://youtu.be/3yw3c3Ltx3I, Osa 2: Delfoi-manageri https://youtu.be/gqKCBRb2EYk, Osa 3: Delfoi-paneeli https://youtu.be/hWQ8oceEgXU, Osa 4: Delfoi-kysely https://youtu.be/Sd2-VM-EL2k, Osa 5: Delfoi-kierrokset https://youtu.be/IelWUq3sTRE, Osa 6: Delfoi-analyysi https://youtu.be/VoXeg1nufs4, Osa 7: Delfoin tulevaisuus https://youtu.be/iYlV0o4nFbg)
3. Delfoin luotettavuudesta https://youtu.be/TMewjqrsp9I: Antti Kauppi pohtii Osmo Kuusen kommentoimana Delfoi-menetelmän luotettavuutta asetelmassa, jossa perinteiset luotettavuuskriteerit ovat riittämättömiä tai sopimattomia. Videon on kuvannut Olli-Pekka Jauhiainen 13.12.2019 Delfoi-työpajassa Oodissa ja se on julkaistu tammikuussa 2020.
4. Delfoi-pedagogia https://youtu.be/SDGYJNb8JPg: Videossa esitellään Delfoi-pedagogian ideat ja toiminnalliset piirteet. Delfoi-pedagogia on eri kouluasteille sopiva ja sovellettava metodi uudistavan ja tutkivan oppimisen työkaluksi. Videon käsikirjoituksesta vastaa Hannu Linturi ja toteutuksesta Maija Linturi. Delfoi-pedagogiikka on tuotettu Lapin yliopiston tilauksesta ja julkaistu tammikuussa 2020.
5. eDelphi-video-ohjeet https://metodix.fi/julkaisut/: Metodixin sivustolla on ohjeet eDelphi-ohjelmiston käyttöön. Ohjeita päivitetään myös eDelphin etusivulla osoitteessa https://www.edelphi.org/help.page .

Kategoriat:artikkeli, blogi, Tie

Avainsanat:analyysi, delfoi