7. Delfoi-analyysi

Hannu Linturi © Metodix Oy

Tieteellinen metodi on työkalu, jonka avulla luotettavasti kerätty aineisto (havainnot, valinnat, perustelut) järjestellään niin, että tarkasteltavan ilmiön olennaiset merkitykset ja yhteydet saadaan oikeasuhteisesti näkyviksi. Tyypillisesti argumentatiivisessa Delfoissa jakaumia tarkastellaan kvantitatiivisesti, mutta sitä tärkeämpää on perusteluaineiston analysointi, joka tapahtuu laadullisin keinoin. Erityistä Delfoissa on se, että siinä aineistoa luokitellaan ja arvioidaan jo tutkimusprosessin aikana, ei pelkästään sen lopuksi.

Delfoi-kierrosten välillä ja lopuksi tuloksia analysoidaan ja tiivistetty tieto tuloksista jaetaan myös paneelin käyttöön. Tutkimusraportin sisältö vaihtelee tulosten kuvauksista toiminta- ja päätösehdotuksiin ja kysymyskohtaisista analyyseistä skenaarioihin. Prosessin loppuvaiheissa haarautuu ainakin kolme erilaista polkua, joista alkuperäisin on konsensuksen tavoittelu. Konsensus-Delfoissa tähtäin on usein suorassa päätösvalmistelussa, jossa paneelityöskentelyn kautta päädytään toimintasuositukseen tai päätösehdotukseen. Strategiavalmistelussa saatetaan myös valmistella kaksi tai useampia vaihtoehtoja, joilla varmistetaan keskustelun laajeneminen myös itse päätöksentekotilanteeseen. 

Tieteellisessä Delfoi-tutkimuksessa konsensus-lähtökohtaa on käytetty mm. farmakologisten tai kansanterveydellisten laatumittareiden määrittelyssä. Suomen oloissa konsensusta yleisempää on Delfoin käyttö monikollisten tulevaisuuksien hahmottamiseen. Skenaroinnissa luodaan useita tulevaisuuden käsikirjoituksia, joiden todennäköisyyttä ja toivottavuutta voidaan koetella. Osaamisen ennakointifoorumissa kuvataan neljänlaista Suomea vuonna 2035. (ks. loppuviite 1) Skenarointi on pätevä vaihtoehto silloin, kun halutaan lisätä toimintavalmiutta yllättävien tulevaisuuksien varalle eli tilanteisiin, joissa vaikkapa epätodennäköinen vaihtuu todennäköiseksi tai toivottava ei-toivottavaksi. 

Kuva 7. Kaksi skenaarioista edustaa jatkumoa (business as usual) ja kaksi muutosta. Toinen kriteeri erottelee skenaariot sen suhteen, kuinka aktiivista yhteiskunnallinen reagointi on. Keltaisessa skenaariossa ollaan reaktiivisia suhteessa olemassa oleviin poliittisiin ja taloudellisiin instituutioihin, vihreässä skenaarioissa reaktiivisuus kohdistuu ympäristökysymyksiin. Sinisessä ja punaisessa skenaariossa reagointi on ennakoivaa.

Jokainen Delfoi piirtää joltain tulevaisuuden osalta karttaa siitä, minkälaisiin mahdollisiin maastoihin olemme kulkemassa. Delfoi-prosessi on mahdollista tietoisesti suunnitella tutkimus- tai seurantaohjelmaksi, jossa tietoisesti muodostetaan ilmiön tulevaisuuskarttaa, jota tarkentuu paitsi kierros kierrokselta myös barometrityyppisesti ajassa havaintoja ja käsityksiä kerrostaen kuten tehtiin aiemmin mainitussa Opetushallituksen Oppimisen tulevaisuus 2030-barometrissa. 

Humakisti 2030-paneeli on käynnistetty ja laadittu tämän julkaisun tarpeisiin mutta tavalla, jossa kaikki toimenpiteet ovat todellisia. Kysymykset ovat pelkistettyjä, samoin muu Delfoi-prosessi, siksikin, että olennaiset asiat eivät peity isoon aineistoon. Analyysejä ei ole viety loppuun asti, mutta kuitenkin niin pitkälle että analyysissa päästään skenaarioiden rakentamisen juurille. Useimmissa Delfoi-opinnäytteissä riittää paljon vähempikin eli kysymysten perusanalyysi, jota kuvataan seuraavaksi.

Managerin ensimmäinen ja intuitiivinen analyysi tapahtuu vastausjakauman visualisoinnin (usein diagrammin) avulla, joka paljastaa yhdellä katsomalla miten panelistien näkemykset jakautuvat. Erimielisyys on usein kiinnostavampaa kuin samanmielisyys. Toisaalta samanmielisyys merkitsee sitä, että siltä osin tutkimustulos saadaan helposti ja nopeasti. Kommentteja (argumentteja) lukiessa vasta selviää mitä tekijöitä ja käsityksiä kasautuvan tai hajoavan jakauman taustalla vaikuttaa.

Jakaumanäkymä käynnistää laadullisen analyysin. Yksinkertaisimmillaan siinä tarkastellaan miten kommentit ja niiden sisältämät argumentit vaihtelevat asteikkovastauksen perusteella. Erojen tunnistamista helpottaa se, että eDelphi lajittelee kommentit alenevaan järjestykseen vastausvalinnan mukaan. Muiden kuin asteikkokysymysten osalta luokittelu on erilaista mutta yhtä lailla erottelevaa. Jokaisen kysymyksen tärkeä funktio on synnyttää paine perustella omaa vastausta, joiden laaja kirjo kertoo kysymyksenasettelun onnistumisesta. Analyysissä on kyse näiden erojen havainnoinnista ja tulkinnasta. Pienissä tutkimuksissa riittää “käsityönä” tehtävä kevytanalyysi, jossa selvitetään kolmen eri muuttujan väliset yhteydet. Muuttujia ovat luokitteleva vastaus (esimerkiksi asteikolla), luokitteluvastaukseen liittyvä laadullinen sisältö sekä vastaajan kompetenssin (ja intressin) suhde vastauksiin. 

Yksinkertainen kommenttiaineiston luokittelu on sijoittaa kommentit nelikenttään. eDelphin Live2D-kysymystyyppi (kahden kriteerin tulevaisuusväite) tuottaa suoraan nelikentän, minkä vuoksi juuri tämä kysymystyyppi on valittu mukaan Humakisti-paneeliin. Siinä kysymys on asetettu kahden managerin määrittelemän kriteerin mukaisesti havainnollisella seitsenportaisella plus-miinus-asteikolla. Vastausten analysoinnissa vaihtoehdot pelkistetään neljään: miinus-miinus, miinus-plus, plus-miinus ja plus-plus. eDelphi-ohjelmisto kuvaa vastaukset kaksidimensionaalisesti todennäköisyyden ja toivottavuuden mukaan.

Suomennettuna kunkin tulevaisuusteesin ulottuvuuksia ovat todennäköinen vs epätodennäköinen ja toivottava vs epätoivottava. Ne ovat koordinaatteja, joissa toivottava edustaa tavoiteltavaa, epätoivottava vältettävää, todennäköinen mahdollisuutta ja epätodennäköinen mahdottomuutta. “Hyvässä elämässä” suunnistetaan kohti toivottavaa, kierretään ei-toivottava ja raivataan tiukan paikan tullen epätodennäköiseltä tilaa todennäköiselle. Tulevaisuusväitteet on valittu niin, että kukin väite signaloi konkreettista sisältöään laajempaa ilmiökenttää. Panelisti ovat ottaneet kantaa sekä väitteen todennäköisyyteen että toivottavuuteen ns. likert-asteikolla. Nelikenttätekniikka tarjoaa kaavamaisesti neljän mahdollisen tulevaisuuden (futuribles = future possibilities) tutkimisen.

Jakauma (Anonymous Future-paneeli)	Kommenttien nelikenttänäkymä
Kuva 8. Reaaliaikainen analyysi (Live2D-kysymystyyppi)

Havainnollista on tunnistaa kustakin kysymyksestä, missä keskustelutilassa se on. Oppimisen tulevaisuus 2030-barometrissa kehitettiin yksinkertainen “aputyökalu”, jota ollaan integroimassa myös eDelphi-ohjelmistoon. Toistaiseksi se on tehtävä käsin turvautumalla toiseksi tärkeimpään tilastolliseen tunnuslukuun eli keskihajontaan. Mitä suurempi hajonta sitä jakautuneempi paneeli on suhteessa kysymykseen ja päinvastoin. Konsensus-Delfoissa pyritään ohjaamaan hajontaluku lähelle nollaa. Dissensus-Delfoissa hajontaluvulla on merkitystä vain analyyseissa. Managerin ei tarvitse luoda painetta mihinkään muuhun suuntaan kuin siihen, että panelistit ovat avoimia tarkistamaan kantaansa kun saavat siihen hyvät perusteet. Olennaista on saada mahdollisimman merkitykselliset argumentit eri näkemysten puolesta ja vastaan.

Verkkopohjaisessa Delfoi-prosessissa kommunikaatioympäristöä on mahdollista päivittää niin, että äänestäminen ja argumentointi tapahtuvat reaaliajassa. Äänestysjakaumat saadaan haluttaessa näkyville samoin kuin ”puolesta ja vastaan”-argumentit. Jokaisen argumentin kohdalta on mahdollista arvioida sen tärkeyttä (merkityksellisyys) ja validisuutta (pätevyys). Väitteiden osalta udellaan tavallisimmin niiden haluttavuutta (toivottavuus) ja toteutettavuutta (todennäköisyys).

Nykyisiä Delfoi-menetelmän ”murteita” tarkasteltaessa on hyvä tunnistaa, että ne pohjautuvat aina subjektiiviseen tietoon olkoonkin että on kyse asiantuntijatiedosta. Argumentaatioon perustavan Delfoin lupaus – tai tarkoitus – ei ole kertoa mitään varmaa tulevaisuudesta. Sen sijaan sen avulla on mahdollista selvittää sitä, mitä asiantuntijat ajattelevat tulevaisuudesta – siis kaivaa esiin asiantuntijoiden käsityksiä ja oletuksia. Tosin Delfoi ei tyydy pelkkiin mielipiteisiin vaan edellyttää myös niiden perustelemista. Useimmiten tällainen argumentoitu tieto on hyödyllistä päätöksenteon taustaksi tai skenaarioiden rakennuspalikoiksi puhumattakaan siitä, että prosessi voi parhaimmillaan muotoutua uutta ymmärrystä tuottavaksi oppimistapahtumaksi sekä panelisteille että tutkijoille. Tunnusmerkkinä tästä on se, että panelistien subjektiiviset käsitykset muuttuvat Delfoi-prosessin aikana.

Argumentatiivisessa Delfoissa ei ensisijainen tarkoitus ole puristaa paneelia ja panelisteja tyhjäksi olemassa olevasta tiedosta vaan käynnistää kommunikaatiota, joka tuottaa sellaista uutta tietoa, jota ei kenelläkään ryhmän sisällä — eikä todennäköisesti sen ulkopuolellakaan – ole ollut ennen kuin tutkimukseen ryhdyttiin. Aivan erityinen merkitys paneelin harjaantumisella ja oppimisella on barometri-tyyppisissä pitkissä prosesseissa.

Oppimisen tulevaisuus 2030-barometrissa kehitettiin liikennevalo-metafora kuvaamaan sitä, miten eri tulevaisuusteesien tila vaihtelee ja dynaamisesti muuntuu ajassa. Oletettu väite-evoluutio on se, että kiistakysymysvaihe eli vastakkainasettelu käynnistää kehityksen, jonka seurauksena paradigma muuttuu tai löydetään kolmas tie, jossa ei ole kyse kummastakaan alkuperäisestä vastakohdasta. Usein vastakkainasettelu jatkuessaan johtaa kommentointiin, argumentointiin ja keskusteluun, jossa alun perin vastakkaiset käsitykset moninaistuvat ja rikastuvat näkökulmiksi, jotka mahdollistavat kuuntelemisen ja dialogin. Jatkuessaan dialogi lähestyy tilaa, jossa valmius yhteiseen kokonaisnäkemykseen tai vähintään siedettävään kompromissiin lisääntyy. Kun konsensus on riittävää niin teesi on ratkaisutilassa.

Kuva 9. Liikennevalometaforan mukaan tulevaisuusteesi tai tarkemmin siitä käytävä keskustelu voi olla kolmessa eri tilassa: kiista, dialogi ja ratkaisu.

Kiistatilassa panelistien näkemykset ja argumentit tulevasta kehityksestä ovat polarisoituneet usein tunnepitoisiksi jyrkiksi kannoiksi, joiden takia vastapuolen perustelujen kuuleminen ja kuunteleminen on estynyttä. Dialogitilassa käsitykset tulevasta kehityksestä ovat jakautuneet moniksi näkökulmiksi ja mahdollisuuksiksi, joita on mahdollista tarkastella rinnakkain ja toisiaan täydentävästi, mikä mahdollistaa siirtymisen keskusteluvaiheeseen. Ratkaisutilassa panelistit ovat tulevaisuusväitteestä siinä määrin yksimielisiä, että mahdollisuudet muotoilla yhteinen näkemys ja päätös tulevasta kehityksestä ovat suuret.

Sosiaalisissa muutoksissa on kulttuurisia hitausvoimia, jotka johtuvat intressien, osaamisten ja instituutioiden asemien puolustamisesta. Etenkin lähitulevaisuuden maasto on näiden voimien “miinoittamaa”. Toisin päin sanoen, jos halutaan tarkastella tulevaisuutta muutospainotteisesti kannattaa tarkasteluvuosi viedä niin pitkälle, että intressipitoisuus laimenee ja ajattelu avautuu isoillekin murroksille. Kokemuksemme on, että tässä suhteessa lähi- ja kaukotulevaisuuden raja kulkee kymmenen vuoden paikkeilla. 

Kiistakysymykset kuten kaikki tulevaisuuskysymykset syntyvät tässä hetkessä ja tilassa, mutta niiden käsittely ja ratkaiseminen on paljon helpompaa tulevaisuudessa kuin nykyisyydessä saati historiassa, vaikka sitäkin toki tapahtuu historian uudelleentulkintojen kautta. Antisipaatioteoria on ajattelumalli, jossa hyödynnetään tätä viisautta.Yksinkertaistetusti siinä nykyhetken kysymys viedään tulevaisuuteen ratkaistavaksi ja palautetaan sitten takaisin nykyhetkeen. Ajattelun arvo on siinä, että siten saadaan perspektiivi siitä mihin suuntaan kehitys on luontaisesti kulkemassa sen sijaan, että ilman tätä näkökulmaa päätöksien perusteet rakentuvat osin piilevästi historiasta syntyvään paineeseen tehdä kuin ennenkin.

Skenaroinnissa on luontevaa hyödyntää aikaisemmin kuvattua kysymyskohtaista neli- tai kvartiilikenttää. Humakisti 2030-paneelin kyselyt on rakennettu sosiodynaamisen monitasomallin mukaan niin, että niillä katetaan sekä tarkasteltavan ilmiön historiallisesti muotoutunutta tllannetta (trendit, regiimi), toimintaympäristön luomia paineita ja muutoksia (megatrendit) ja teknologisten tai sosiaalisten innovaatioiden kautta mahdollistuvaa uudelleenorganisoitumista (niche, heikot signaalit). Paljon käytetty skenaarioiden rakentelua jäsentävä luokittelu on Peste, jossa katetaan etukirjainten mukaisesti tärkeimmät yhteiskunnalliset toimintasektorit: politiikka (politics, päätöksenteko), ekonomia (economy, talous), sosiaaliset tekijät (social), teknologia (technology) ja ekologia eli ympäristö (environment). 

Humakisti-demopaneelin yhden kierroksen prosessissa on mahdollista järjestää aineisto skenaarioiksi asti. Jos ne tehdään niin luontevaa on toteuttaa myös toinen kierros, jossa työstetyt skenaariot asetetaan paneelin arvioitavaksi. Alla visualisointia siitä miten skenaarioita on arvioitu Live2D-kysymystyypin avulla.

Äänestystulokset skenaarioista	Skenaarioiden kuvaukset ja preferoinnit
Kuva 10. Neljän skenaarion visualisoinnit ovat Transformer 2030-koulutuksen satoa ja niiden tekijänoikeudet kuuluvat Erkka Lainiselle ja Otto Tähkäpäälle.

Tutkimuksen luotettavuuden varmistaminen on kaikissa Delfoi-prosessin vaiheissa tärkeää. Tutkimuksen tuloksilla ei ole arvoa, jos niihin ei voi luottaa. Luotettavuuden varmistaminen lähtee panelistien valinnasta. Heidän tulee edustaa erilaisia näkökulmia tutkimuskohteeseen. Kyselyn tulee kattaa tutkimuskohteen olennaiset piirteet tutkimuksen rajauksen puitteissa ja kysymykset eivät saa olla johdattelevia. Tutkimusaineiston keruussa voi käyttää eri menetelmiä, esim. Delfoin ensimmäinen kierros voidaan järjestää haastatteluna ja kolmas työpajatyöskentelynä. Aineiston analyysissä kuvataan myös se, miten analyysi on suoritettu.

Analyysien loppusijoituspaikka on tutkimusraportti. Tieteelliset raportti- ja artikkeliformaatit ovat varsin vakiintuneita esitystapoja. Jokaisella korkeakoululla on omat ohjeensa, mutta muoto on vähäisin vaihteluin yhtenäinen. Delfoi-kehittäjäyhteisössä tutkintotutkielmia on ohjattu 2000-luvulla vuosittain parinkymmenen tutkielman tahtia. Vuosi 2020 oli väitöstasoisten tutkimusten ennätysvuosi, kun niitä julkaistiin yhteensä viisi viideltä eri tiedonalalta.

Raportissa esitetään tutkimusprosessin tulokset, joita voi myös ajatella joukkona perusteltuja hypoteeseja eli väitteitä. (Kakkuri-Knuuttila 2001) Tieteellisen tekstin tärkein väite on sen pääväite eli tutkimuksen päätulos. Pääväite on tutkijan panos tieteelliseen keskusteluun. Tutkimusraportin tehtävä on tehdä pääväite uskottavaksi niin, että lukijat kiinnostuvat siitä ja ovat valmiita sen uskomaan. Tieteellisessä yhteydessä perustelemista ja argumentaatiota kutsutaan usein termeillä oikeuttaminen.

Pääväitteen lisäksi tutkimuksessa perustellaan myös monia muita asioita. Tutkimus- ja kirjoitusprosessi on ymmärrettävissä asteittaiseksi etenemiseksi kohti pääväitettä ja sen perustelujen tuottamista. Raportissa on kuvattava myös se miten tutkimustuoksiin on päädytty tavalla, joka mahdollistaa tulosten pätevyyden (validiteetti) ja luotettavuuden (reliabiliteetti) arvioinnin mieluiten niin että empiiriset osat on mahdollista toistamalla todentaa (verifioida) tai hylätä (falsifioida).

Tutkimusprosessin kuluessa tehdään lukuisa joukko valintoja, jotka tulee kuvata. On valittava tutkimusaihe, rajattava sopivan suppea tutkimusongelma, valittava lähestymistapa, keskeiset käsitteet, mallit, viitekehys teorioineen, sekä tutkimusmenetelmät. Tämän jälkeen valitaan empiirinen aineisto, mikäli kysymys on empiirisestä tutkimuksesta. Sen jälkeen tuotetaan tulokset. Sekin on yhdenlainen valinta. Lopuksi työstetään tulosten tulkinta eli johtopäätökset.

Loppuviite 1: Ks. https://sites.google.com/metodix.fi/oef/oef-skenaariot-2035 . Hitaasti mutta varmasti-Suomessa varotaan keinuttamasta venettä. Siinä suositaan vakiintuneita toimintatapoja ja perinteisiä instituutioita ja vältetään riskejä, joita voisi aiheutua yhteiskunnallisten suhteiden liian nopeista muutoksista. Vahva kansallisvaltio on paras instrumentti ylläpitää tasapainoista kehitystä. Turbo-Suomessa huomio kiinnitetään ennen muuta tuloksiin, kilpailukykyyn ja tuottavuuteen, joiden saavuttamiseen ei tarvita regiimi-tason mullistuksia. Sen sijaan siihen tarvitaan vahvaa Euroopan unionia, joka parhaiten turvaa pienen maan edut maailmanmarkkinoilla, ja jonka ytimiin Suomi pikkuvaltionakin itseoikeutetusti kuuluu. Ekonologinen Suomi on kehittynyt globaalin ympäristömuutoksen paineesta. Sen idea on ekologian ja ekonomian yhteensovittaminen molempia hyödyttävällä tavalla. Järjestys on kuitenkin nykyisestä poiketen se, että ekologia määrittää ekonomian. Kaupunkiegologinen Suomi edustaa hajoavien valtioiden vaihetta, jossa maailmaa organisoidaan alueiden ja verkostojen kautta. Osallisuus- ja jakamiskokemukset uudistavat demokraattiset instituutiot ja energisoivat alueyhteisöjen toimintaa.

Lähteitä

Kirjallisuus

1. Airaksinen Tiina, Halinen Irmeli, Linturi Hannu (2016) Futuribles of Learning 2030  – Delphi supports the reform of the core curricula in Finland. European Journal of Futures Research. Special topic: Education 2030 and beyond. Internet https://link.springer.com/article/10.1007/s40309-016-0096-y. 
2. The Delphi Technique: Past, present and future prospects. Technological Forecasting and Social Change, Volume 78, Issue 9, Pages 1487-1720 (November 2011)
3. Dimitrow, Maarit (2016) Development and Validation of a Drug-Related Problem Risk Assessment Tool for Use by Practical Nurses Working with Community-Dwelling Aged. Helsingin yliopisto, farmasian tiedekunta. Helsinki. Verkossa https://helda.helsinki.fi/handle/10138/167914
4. Gordon, T.J. (2008) The Real-Time Delphi Method. The Millennium Project. Futures Research Methodology – V3.0. Verkossa https://www.researchgate.net/publication/240427371_RT_Delphi_An_efficient_round-less_almost_real_time_Delphi_method .
5. Holm, Ruurik, Poutanen, Petro, Stähle, Pirjo (2018) Mikä tekee dialogin: Dialogisen vuorovaikutuksen tunnuspiirteet ja edellytykset. Sitra-artikkelit 26.11.2019. Verkossa https://www.sitra.fi/artikkelit/mika-tekee-dialogin-dialogisen-vuorovaikutuksen-tunnuspiirteet-ja-edellytykset/ .
6. Kakkuri-Knuuttila, Marja-Liisa (2001) Mitä on tutkimus? Argumentti, väittely ja retoriikka. Metodix https://metodix.fi/2014/03/15/kakkuri-knuutila-marja-liisa-2001-mita-on-tutkimus-argumentti-vaittely-ja-retoriikka/ .
7. Kauppi, Antti ja Linturi, Hannu (2018) Kansalaisfoorumin viisi tulevaisuutta. Internetissä https://metodix.fi/2018/11/30/kansalaisfoorumin-viisi-tulevaisuutta/ .
8. Korhonen-Yrjänheikki, Kati (2011) Future of the Finnish Engineering Education – A Collaborative Stakeholder Approach. ISBN 978-852-5633-48-1. TEK. Miktor. Helsinki. Verkossa  http://www.tek.fi/ci/pdf/julkaisut/KKY_dissertation_web.pdf.
9. Kuusi, Osmo (2000) Delfoi-metodi. Internetissä https://metodix.fi/2014/05/19/kuusi-delfoi-metodi/ .
10. Kuusi, Osmo (1999) Expertise in the Future Use of Generic Technologies. Epistemic and Methodological Considerations Concerning Delphi Studies. Url http://bit.ly/3ayzN4e .
11. Laakso, Kimmo (2011) Matkaviestinnän sääntely ja sen vaikutukset Suomessa 1985–2015 . Tampereen teknillinen yliopisto. Julkaisu 965. ISBN 978-952-15-2570-4. ISBN 978-15-2597-1. Tampereen yliopistopaino Oy. 2011. Verkossa http://dspace.cc.tut.fi/dpub/handle/123456789/20535.
12. Linturi, Hannu & Rubin, Anita (2011) Toinen koulu, toinen maailma. Oppimisen tulevaisuus 2030. Turun yliopiston Tulevaisuuden tutkimuskeskus. Tutu-julkaisu 1/2011.
13. Linturi, Hannu, Rubin, Anita, Airaksinen, Tiina (2012) Lukion tulevaisuus 2030 – Toinen koulu, toinen maailma. Otavan Opiston Osuuskunta. 978-952-6605-00-5 (pdf), ISSN-L 2242-1297, ISSN 2242-1297.
14. Linturi, Hannu, Linturi, Jenni ja Rubin Anita (2013) eDelphi – metodievoluutiota verkossa. Metodix https://metodix.fi/2014/11/26/edelfoi-metodievoluutiota-verkossa/ .
15. Linturi, Hannu (2017) OPH:n Oppimisen tulevaisuus 2030-barometri. Internetissä https://metodix.fi/2017/01/11/oppimisen-tulevaisuus-2030-blogi-2017/ (https://metodix.fi/2016/12/31/oppimisen-tulevaisuus-2030/) .
16. Linturi, Hannu & Linturi, Jenni (2018) Tulevaisuuden tekemisen historiaa – varttivuosisata metodioppimista. Futura 3/2018.
17. Linturi, Hannu (2019) Delfoi-pedagogia. Delfoi-sarja 1/2019.  ISBN 978-952-6605-05-0. Metodix Oy. Helsinki. Internetissä https://metodix.fi/2019/11/15/delfoi-pedagogia/.
18. Linturi, Hannu (2020) Delfoin monet tarkoitukset. Metodix  https://metodix.fi/2020/03/08/delfoin-tarkoitukset/ 
19. Linturi, Hannu (2020) Delfoi-prosessin vaiheet. Metodix 
20. Linturi, Hannu (2020) Ilmastot@komo: viisi työkalua ilmastokasvatukseen. Internetissä https://metodix.fi/2019/12/01/ilmastotakomo/ .Rand (2020) Delphi Method https://www.rand.org/topics/delphi-method.html 
21. Myllylä, Yrjö (2007) Logistic and Social Future of the Murmansk Region until 2020. Joensuun yliopisto, Yhteiskunta- ja aluetieteiden laitos. Joensuu. Verkossa http://joypub.joensuu.fi/publications/dissertations/myllyla_murmanskin/myllyla.pdf.
22. Paaso, Aila (2010) Osaava ammatillinen opettaja 2020. Tutkimus ammatillisen opettajan tulevaisuuden työnkuvasta. Rovaniemi: Lapin yliopisto 2010, Acta Universitatis Lapponiensis 174. ISBN 978-952-484-348-5. ISSN 0788-7604.
23. Pernaa, Hanna-Kaisa (2020) Hyvinvoinnin toivottu tulevaisuus – tarkastelussa kompleksisuus, antisipaatio ja osallisuus. Väitöstutkimus Vaasan yliopistossa. Url http://urn.fi/URN:ISBN:978-952-476-910-5.
24. Pihlainen, Vuokko (2020) Asiantuntijoiden käsityksiä johtamisosaamisen nykytilasta ja tulevaisuuden suunnista suomalaisissa sairaaloissa 2030. Väitöstutkimus Itä-Suomen yliopistossa. Url http://urn.fi/URN:ISBN:978-952-61-3378-2 .
25. Rubin, Anita (2007) Pehmeä systeemimetodologia. Internetissä https://metodix.fi/2014/05/19/rubin-pehmea-systeemimetodologia/ .
26. Rubin Anita (2014) Tulevaisuuksientutkimus tiedonalana ja tieteellisensä tutkimuksena. Metodix https://wordpress.com/post/metodix.fi/1298. 
27. Soini-Salomaa, Kristiina (2013) Käsi- ja taideteollisuusalan ammatillisia tulevaisuudenkuvia. HY. Käyttäytymistieteellinen tiedekunta. Helsinki. Verkossa https://helda.helsinki.fi/handle/10138/41734 
28. Sokero M, Neuvonen A., Lähteenaro I,. Koskinen M. (2017) Puoliksi tehty. Nuorten antisipaatiot ilmastonmuutoksessa. Demos Helsinki.
29. Sunell, Otto (2016) Turvallisuuskulttuuri julkisen hallinnon organisaatiossa vuoteen 2025 tultaessa: Nykytilan kartoitus ja neljä skenaariota. Tampereen teknillinen yliopisto. Tampere.  Verkossa https://tutcris.tut.fi/portal/en/publications/turvallisuuskulttuuri-julkisen-hallinnon-organisaatiossa-vuoteen-2025-tultaessa(d16cf10d-2d88-4bcb-8dad-62349f74bf36).html .
30. Tapio, Petri (2002) The limits to traffic volume growth : The content and procedure of administrative futures studies on Finnish transport CO2 policy. Internetissä https://helda.helsinki.fi/handle/10138/22446 .
31. Tapio, P. (2002) Disaggregative policy Delphi Using cluster analysis as a tool for systematic scenario formation. Technological Forecasting and Social Change.
32. Turoff, Murray (2002) The Delphi Method, Techniques and Applications. Internetissä  https://web.njit.edu/~turoff/pubs/delphibook/delphibook.pdf .
33. Valtonen, Vesa (2010) Turvallisuustoimijoiden yhteistyö. Maanpuolustuskorkeakoulu, taktiikan laitos. Julkaisusarja 1, Helsinki. Verkossa http://www.doria.fi/handle/10024/74154 

Mediat

1. Delfoi-metodi lyhyesti https://youtu.be/yMfn9irS-Io: Videolla esitetään Delfoi- perusprosessin vaiheet täydennettynä asiantuntijoiden – Osmo Kuusi, Petri Tapio ja Jukka Vepsäläinen – luonnehdinnoilla siitä, mikä menetelmässä on olennaista ja minkälaisia kehitysnäkymiä metodi tarjoaa. Videossa esitellään Delfoin ideat ja toiminnalliset piirteet. Videon käsikirjoituksesta vastaa Hannu Linturi sekä toteutuksesta Olli-Pekka Jauhiainen ja Maija Linturi. Delfoi-video on tuotettu Lapin yliopiston tilauksesta ja julkaistu tammikuussa 2020.
2. Uudistuva Delfoi-metodi https://youtu.be/LV7-pJbfWNo: Delfoi-metodin uudistuvaa olemusta tarkasteleva video perustuu menetelmän viimeisen kymmenen vuoden kehitykseen ja asiantuntijakeskusteluun, joka järjestettiin marraskuussa 2019 Helsingin Keskustakirjasto Oodissa. Keskustelijoina ovat Antti Kauppi, Osmo Kuusi, Hannu Linturi, Petri Tapio ja Jukka Vepsäläinen. Pitkän elokuvan mittainen video jakautuu seitsemään osaan: (1) Menetelmän perusteet, (2) Delfoi-managerin tehtävät, (3) Delfoi-paneelin toiminta, (4) Delfoi-kysymysten ja -kyselyiden laatiminen, (5) Delfoi-kierrosten managerointi, (6) Delfoi-aineiston analyysi ja raportointi, (7) Delfoin kontekstointi ja tulevaisuus. Uudistuva Delfoi-metodi on editoitu (kuvannut Olli-Pekka Jauhiainen) Lapin yliopiston tilauksesta ja julkaistu tammikuussa 2020. (Osa 1: Johdatus menetelmään https://youtu.be/3yw3c3Ltx3I, Osa 2: Delfoi-manageri https://youtu.be/gqKCBRb2EYk, Osa 3: Delfoi-paneeli https://youtu.be/hWQ8oceEgXU, Osa 4: Delfoi-kysely https://youtu.be/Sd2-VM-EL2k, Osa 5: Delfoi-kierrokset https://youtu.be/IelWUq3sTRE, Osa 6: Delfoi-analyysi https://youtu.be/VoXeg1nufs4, Osa 7: Delfoin tulevaisuus https://youtu.be/iYlV0o4nFbg)
3. Delfoin luotettavuudesta https://youtu.be/TMewjqrsp9I: Antti Kauppi pohtii Osmo Kuusen kommentoimana Delfoi-menetelmän luotettavuutta asetelmassa, jossa perinteiset luotettavuuskriteerit ovat riittämättömiä tai sopimattomia. Videon on kuvannut Olli-Pekka Jauhiainen 13.12.2019 Delfoi-työpajassa Oodissa ja se on julkaistu tammikuussa 2020.
4. Delfoi-pedagogia https://youtu.be/SDGYJNb8JPg: Videossa esitellään Delfoi-pedagogian ideat ja toiminnalliset piirteet. Delfoi-pedagogia on eri kouluasteille sopiva ja sovellettava metodi uudistavan ja tutkivan oppimisen työkaluksi. Videon käsikirjoituksesta vastaa Hannu Linturi ja toteutuksesta Maija Linturi. Delfoi-pedagogiikka on tuotettu Lapin yliopiston tilauksesta ja julkaistu tammikuussa 2020.
5. eDelphi-video-ohjeet https://metodix.fi/julkaisut/: Metodixin sivustolla on ohjeet eDelphi-ohjelmiston käyttöön. Ohjeita päivitetään myös eDelphin etusivulla osoitteessa https://www.edelphi.org/help.page .

Kategoriat:artikkeli, blogi, Tie

Avainsanat:analyysi, delfoi