5. Delfoi-manageri

Kirjoittanut Hannu Linturi , 16 joulukuun, 2020 • ( 1 )

Toni Stubin & Hannu Linturi (16.12.2020, päivitetty 20.2.2024)

Delfoin laukaisee liikkeelle kehitystarve tai tutkimusongelma, jonka kuvaus määrittää prosessin seuraavat vaiheet. Delfoi-managerin eli tutkijan tehtävä on ensi vaiheessa jäsentää, rajata ja linjata tutkimuskysymykset yhdessä mahdollisen tutkimuksen tilaajan kanssa. Manageri vastaa tutkittavan tai kehitettävän ilmiön määrityksestä, joka onnistuneena energisoi koko tutkimusprosessin. Sen jälkeen on kaksi rinnakkaista tehtävää, joita tässä jutussa tarkastellaan. Toinen on asiantuntijapaneelin valitseminen ja toinen niiden kysymysten tai tulevaisuusväitteiden rakentelu, joista Delfoi-paneelin toiminta käynnistetään. Managerin tehtävät toki jatkuvat niidenkin jälkeen, mutta niitä – prosessin fasilitointi, aineiston analyysi ja raportointi – käsitellään tulevissa blogeissa.

Paneelin kokoaminen

Kun tutkimus- tai kehittämiskysymys on määritelty, manageri käynnistää paneelin valitsemisen. Tavoitteena on löytää osallistujat, joiden asiantuntemus ja asianosaisuus kattavat tutkittavan ilmiön olennaiset puolet. Taiten valitussa paneelissa on edustus kaikille varteenotettaville tulevaisuusvaihtoehdoille, joita aiheesta voi kehittyä. Englanninkielisessä metodikirjallisuudessa käytetään paneelin luokittelussa usein termejä cognitive expertise (tiedollinen asiantuntijuus) ja social expertise (sosiaalinen, yhteyksellinen eli asemaan perustuva asiantuntijuus). Managerilla on suotavaa olla ainakin kohtalainen asiantuntijuus kummassakin, jotta hän pystyy sekä valitsemaan oikean asiantuntijakokoonpanon että myös ohjaamaan paneelin toimintaa tutkimuksen aikana. Manageri on kuin kapellimestari, jonka on ymmärrettävä kunkin soittimen mahdollisuudet voidakseen johtaa orkesteria menestyksellisesti. Paneeli on sitten se varsinainen orkesteri, joka tuottaa musiikin.

Managerin tärkein yksittäinen tehtävä on kartoittaa ilmiöön liittyvät asiantuntijuudet ja asianosaisuudet ja valita sen pohjalta panelistit. Esimerkiksi Delfoi-väitöksissä paneelin kokoonpano on poikkeuksetta metodin käytön ja luotettavuuden kannalta keskeinen tekijä, jonka käsittelyssä kannattaa varautua kiperiinkin vastaväittäjän kysymyksiin. Jos jokin oleellinen asiantuntijaryhmä puuttuu tai on aliedustettuna paneelissa, tutkimuksen luotettavuus voi kyseenalaistua. Paneelia kootessa kannattaakin käyttää aikaa ja ajatusta hyvän ja riittävän monipuolisen asiantuntijamatriisin luomiseen. Tarkemmin paneelin valintaa on käsitelty sarjan edellisessä blogissa.

Paneelin kokoamiseen liittyvä moniäänisyys antaa managerille mahdollisuuden vahvistaa paneelin osallistumista ja vuorovaikutusta. Tässä edellä mainittu sosiaalinen asiantuntijuus on tarpeen, joskin riskinä on että stakeholder-kytkentä sementoi näkemykset oman ryhmän intresseihin. Jos paneeliin ei muodostu elävää keskustelua, argumentointia ja dialogia, sen tulokset jäävät helposti laihoiksi. Hyvin koottuihin paneelihin modostuu luonnollisia näkökulmiin, tietämykseen ja intresseihin liittyviä jännitteitä. Niiden avulla managerille syntyy luontevia tilaisuuksia kommunikoida panelistien ja aineistojen kanssa.

Managerin fasilitoimassa paneelin vuorovaikutuksessa saattaa olla piirteitä sekä debatista että dialogista, vaikka jälkimmäinen on varsinaisesti se mihin Delfoilla pyritään. “Oikeassa oleminen ja voittaminen muodostavat debatin perusdynamiikan, joka on usein voimakkaampi kuin tarve löytää paras ratkaisu. Debatissa väittely voidaan voittaa tai hävitä, mutta dialogissa ei ole voittajia tai häviäjiä. Dialogissa ei ylipäätään ole tarkoitus olla oikeassa tai väärässä.” (Holm, Poutanen, Ståhle 2018) Määrittelystä tunnistaa vielä hyvin dialogi-sanan alkuperäisen etymologian. Kreikan kielinen etuosa “Dia” tarkoittaa “kautta” ja “logos” merkitsee “sanaa” tai “merkitystä”. Dialogissa muodostetaan merkityksiä sanojen kautta. Delfoi-menetelmän evoluutiota inspiroinut sokraattinen metodi on tästä mainio esimerkki.

Manageri voi asettaa itselleen neljä tavoitetta, jotka edistävät paneelin dialogistumista. Onnistuneessa Delfoi-manageroinnissa …

panelistit kokevat itsensä tasa-arvoisiksi, mikä tietysti varmistetaan anonyymillä osallistumisella.
dialogia tuetaan korostamalla toisten panelistien lukemisen ja “kuuntelun” merkitystä. Kuuntelun tärkeä tuntomerkki on se, että panelistit pystyvät uudelleen arvioimaan omia näkökulmiaan.
Delfoi-panelistien toivotaan olevan halukkaita omien taustaoletustensa tarkasteluun ja kyseenalaistamiseen. Panelistin sosiaalisen kompetenssin (intressi, asianosaisuus) tarkastelu valottaa tätä puolta jo panelisteja valittaessa.
dialogi edellyttää riittävää keskinäistä luottamusta kahteen asiaan: toisaalta siihen, että toisilta saatu tieto on arvokasta, ja toisaalta siihen, että osallistujiin voi ihmisinä luottaa. Jos toinen näistä ulottuvuuksista puuttuu, vuorovaikutuksen määrä ja laatu jäävät vähäisiksi. Luottamuksen rakentaminen on managerin tehtävä.

Kyselyn rakentaminen

Ilmiön systeeminen kuvaaminen ja rajaus johtaa ideaalitapauksessa suoraan kyselyn teemoihin ja auttaa tunnistamaan olennaisten kysymysten kohteita. Delfoin prosessiluonne mahdollistaa sen, että kysymykset eivät kata täydellisesti tutkittavaa ilmiötä. Korostunut pyrkimys kattavuuteen saattaa johtaa panelisteja kuormittavaan kyselyyn, mikä vähentää laadullista ja vuorovaikutteista tiedon muodostusta. Keskittymällä muutamiin kuumiin kysymyksiin tulos voi olla tässä suhteessa parempi. Silloinkin on olennaista, että managerilla on hallussaan laaja ilmiökuva monine kysymyksineen. Niihin peilaten hän voi havainnoida ja analysoida paneelin toimintaa. Iteratiivinen prosessi mahdollistaa sen, että ilmiöta kuoritaan kuin sipulia

Olennainen osa kysymysten rakentelua on löytää sopiva kysymystyyppi eri tilanteisiin. Suositummat kysymykset ovat asteikkotyyppisiä, mutta oma pätevyysalueensa on myös esimerkiksi aikasarja-, aikajana- ja ryhmittelykysymyksillä.

Ennen kuin panelistit kutsutaan mukaan sähköiseen paneeliympäristöön, managerin pitää rakentaa yksi tai useampia tulevaisuuskysymyksiä. Kun kysymykset tähtäävät tulevaisuuteen – jolloin niillä ei ole totuusarvoa – ne tulee muotoilla niin, että panelistien näkemykset pääsevät jakautumaan ilman, että mitään vaihtoehtoa nostetaan toisen edelle. Tutkimuksen voi helposti “pilata” tässä vaiheessa tekemällä liian johdattelevia kysymyksiä.

Hyvät kysymykset ovat avoimia, selkeitä, kiinnostavia ja mielipiteitä jakavia. Tällainen kysymys houkuttelee paitsi vastaamaan myös perustelemaan omia vastausvalintoja. Vaikka kysymys sijoitetaan tulevaisuuteen, sen juuret aina ovat nykyhetkessä ja -kokemuksessa. Antisipaatioteoriassa aikojen kytky ilmaistaan oivaltavasti. Sen mukaan ongelma tai ilmiö viedään tulevaisuuteen tarkasteltavaksi, jotta se voidaan tuoda sieltä takaisin nykyhetkeen ratkaistavaksi. Olennainen osa kysymysten rakentelua on löytää sopiva kysymystyyppi eri tilanteisiin. Esimerkiksi eDelphi-ohjelmistoalustalla (www.edelphi.org) on käytössä toistakymmentä kysymystyyppiä, jotka voi jakaa neljään eri ryhmään niiden käyttötarkoituksen mukaan.

Peruskysymys-kategoriaan kuuluvat selittävät ja taustoittavat kysymykset. Vaihtoehdoista ns. tekstikenttä on itse asiassa kevyt editori, jossa voi paitsi muokata tekstiä eri tavoin myös yhdistää dokumenttiin mediaa (kuva tai video) sekä linkkejä. Survey-kyselyiden kanssa identtinen on lomake, jota usein käytetään taustatietojen keräämiseen. Lomakkeeseen voi taittaa kolmenlaisia kysymyksiä: teksti, muistio tai valinta. Delfoille erityinen taustakysymys on asiantuntijuusluokittelu, jossa vastaajat itse määrittelevät oman asiantuntijuutensa laatua. Tämä ei korvaa managerin ennen tutkimuksen alkua tekemää asiantuntijamatriisia, mutta voi antaa kiinnostavaa tietoa siitä, miten panelisti itse kokee oman asiantuntemuksensa ja osallisuutensa.

Asteikkotyyppiset väitteet ovat Delfoille kaikista ominaisimpia ja yleisimpiä kysymyksiä. Niissä kysymysteesiin otetaan kantaa ns. Likert-asteikolla, jonka pituuden ja arvot manageri määrittelee. Tavallisia ovat esimerkiksi viisi- tai seitsenportainen asteikko (erittäin samaa mieltä … erittäin eri mieltä). Kysymykseen voi sisällyttää yhden tai kaksi kriteerimuuttujaa erilaisin yhdistelmin. Niiden perusteella arvioidaan väitteen sisältöä. Yleisimpiä arviointimuuttujia ovat todennäköisyys, toivottavuus, merkityksellisyys, tärkeys ja toteutettavuus, joista kaksi ensimmäistä muodostavat suosituimman yhdistelmän. eDelphissä on viisi skaalakysymystyyppiä, joista yksi on suunniteltu tukemaan erityisesti Live- ja online-tilanteissa tapahtuvaa äänestämistä, kommentointia ja analysointia.

Ennakointikysymykset ovat Delfoille tyypillisiä tulevaisuuteen suuntautuvia kysymyksiä. Niistä tärkein on aikasarjakysymys. Se sopii trendikysymyksiin, joista on numeerista historiatietoa. Aikasarjakysymyksessä manageri syöttää historiadatan – usein vuositasolla – kysymyksen pohjaksi ja panelisti puolestaan arvioi, miten kehitys jatkuu tästä eteenpäin. Kysymys näyttää aikaisemman kehityksen viivakaaviona, johon panelisti muodostaa valinnoillaan arvioimansa tulevan kehityskäyrän. Aikasarjakysymys on panelisteille mieluinen ja neutraali tulevaisuuskysymys, jossa on mahdollista ottaa kantaa sekä ylös että alas tai jopa käyräviivaiseasti, jos mittauspisteitä on kolme tai useampia. Aikajanakysymystä käytetään usein teknologiaennakoinnissa. Siinä panelisteja pyydetään arvioimaan jonkin ilmiön toteutumisen – esimerkiksi sähkölentokoneen läpimurron – ajankohtaa vuositasolla. Vastaajalle voidaan myös tarjota vaihtoehdoksi määritellä aikaikkuna, jossa ilmiö toteutuu eli merkitä aikaisin ja myöhäisin mahdollinen ajankohta.

Jäsentelykysymyksiä käytetään usein orientoimaan ja kontekstoimaan paneelia tarkasteltavaan ilmiöön. Kaikissa niissä on kyse jonkin ominaisuusjoukon luokittelusta. Järjestyskysymyksessä ominaisuudet luokitellaan jonkin kriteerin mukaan peräkkäiseksi jonoksi esimerkiksi tärkeimmästä vähiten tärkeään. Ryhmittelykysymyksessä ominaisuudet sijoitetaan managerin määrittelemiin kategorioihin, kuten nouseviin, laskeviin ja ennallaan pysyviin. Monivalintakysymys on survey-tutkimuksista tuttu kysymystyyppi, jossa valitaan listalta yksi tai useampia vaihtoehtoja.

Monet hyvän kysymyksen tuntomerkit – kuten yksiselitteisyys ja ymmärrettävyys – ovat samoja kuin tavallisissa kyselytutkimuksessa. Osa taas on tyypillisiä erityisesti Delfoi-tutkimukselle. Tällaisia laatuja ovat esimerkiksi kiinnostavuus, tunneyhteyden syntyminen, yllätyksellisyys ja kyky jakaa vastaajien näkemyksiä. Kaikkien kysymysten ei tarvitse täyttää kaikkia mahdollisia kriteereitä, mutta paneelin käynnistymisen ja syttymisen kannalta kosketukset panelistien intellektuaaliseen ja emotionaaliseen persoonaan ovat myönteisiä. Delfoi-väite on kuin uutisotsikko, joka houkuttelee jatkamaan lukemista. Usein se haastaa olemaan puolesta tai vastaan. Siinä mielessä kysymys yllyttää debatoimaan olkoonkin, että sen perimmäinen tavoite on osallistujien välinen dialogi.

Myös kyselyn dramaturgiaa kannattaa miettiä. Ensimmäiseksi kannattaa laittaa kiinnostava ja helposti vastattava “lämmittelykysymys”, joka pakottaa asiantuntijan pohtimaan vastaustaan mutta mahdollistaa myös nopean etenemisen. Saman aihealueen kysymyksiä kannattaa ryhmitellä peräkkäin, ja mielenkiintoa on hyvä herätellä sijoittamalla poleemisia kysymyksiä tasaisin välein. Kysymysten lukumäärään kannattaa kiinnittää huomiota, sillä pitkissä kysymyssarjoissa motivoituneenkin panelistin vire herpaantuu loppua kohden. Viimeisiin kysymyksiin saatetaan vielä jaksaa vastata, mutta usein kommentointihalukkuus hiipuu, mitä pitemmälle kysely etenee – ja silloin arvokasta laadullista tietoa jää saamatta. Hyvä enimmäispituus yhdelle paneelille tai paneelikierrokselle on noin kymmenen kysymystä.

Ehdoton ennakkoehto hyvälle dialogille on, että vastaajat luottavat anonyymisyyden toteutumiseen. Toinen luottamuksen laatu on tärkeä motivoitumisen kannalta eli luottamus siihen, että saa muilta panelisteilta ja prosessilta itselleen inspiraatiota, oivallusta ja ymmärrystä. Panelisti motivoituu parhaiten, kun hän tuntee saavansa paneeliin osallistumisesta myös jotain itselleen.

Helppoa kysymysten muotoilu ei ole. Kysymysten rakentaminen palkitsee sinnikkäät, jotka jaksavat hioa kysymyksiä testivastaajien kanssa. Kokeneen tutkijan erottaa aloittelijasta usein se, että jälkimmäinen ei vielä osaa katsoa yhden kierroksen yli jatkoprosessiin saati mahdollisuuksiin käyttää prosessissa paneelin rakenteeseen liittyvää dramaturgiaa.

Nyrkkisääntö on, että tekstiä muotoiltaessa tulevaisuusväitteet kirjoitetaan indikatiivimuotoon ikään kuin väitteessä kuvatut asiat olisivat todellisuudessa tapahtuneet (esimerkiksi “Vuonna 2035 joka kolmannella suomalaisella perheellä on lentävä auto”). Panelistille pitää toistuvasti muistuttaa, että väite kuvaa tiettyä tulevaisuuden hetkeä ja siinä tapahtuvaa (kuviteltavaa) toimintaa tai ilmiötä. Panelistiasiantuntijan tehtävä on ensin ottaa kantaa asteikolla väitteen todennäköisyyteen ja toivottavuuteen ja sen jälkeen perustella vastausvalintaansa kommenttilaatikossa. Panelisteja kannattaa jokaisen kysymyksen kohdalla vielä erikseen kannustaa vastaamaan ja perustelemaan vastauksensa – sekä tietysti osallistumaan keskusteluun muiden kanssa.

eDelphi-alustalla managerilla on monia keinoja operoida kysymyksiä ja kyselyitä. Jokainen kysymys – ja kysely – on joko näkyvissä tai piilossa. Piirre mahdollistaa sen, että Delfoi-kierroksen sisältöjä voi rytmittää ennakkosuunnitelman tai tilanteen mukaan. Paneeliin voidaan myös lisätä kysymyksiä, kun mahdollista uusia tulevaisuusväitteiden aiheita nousee esiin paneelista. Yksittäisen kysymyksen osalta optioita on muitakin. Kommentointi on mahdollista erikseen avata tai sulkea.

Samoin voi tehdä muiden vastausten näkymiselle, jossa on kaksi eri ominaisuutta. Kustakin kysymyksestä voidaan avata näkymä summatiiviseen näkymään (diagrammi, joka näyttää panelistien vastausten jakautumisen) ja toisaalta kaikkiin kommentteihin, mikä avaa panelistille mahdollisuuden myös kommentoida muiden panelistien kommentteja. Keskusteluketjujen syntyminen dialogisoi Delfoi-prosessin ja on jokaisen Delfoi-managerin palkinto onnistuneesta prosessista. Yleensä kannattavinta on mahdollistaa kommentointi jokaisen kysymyksen kohdalla ja myös näyttää kaikkien kommentit.

Tavallinen kysymyksen teon ansa on tuottaa suostuttelevia piilomerkityksiä. Usein manageri itse edustaa tarkasteltavan ilmiön asiantuntija- ja intressitahoa, mikä voi vaikuttaa kysymysten aihepiirin valintaan ja suuntaan, tai jopa itse kysymyksen muotoiluun. Negatiivisia teesejä vältellään hyvästä syystä (vastaaja sekoittaa helposti vastauksen suunnan, kun kysytään kielteisesti), samoin jollekin intressisuunnalle kallistuvia provokatiivisia väitteitä. Kärkeviä kysymyksiä itsessään ei tarvitse pelätä, koska vastaajalla on useimmiten käytössään asteikko, jolla hän voi suhteuttaa väitteen haluamakseen. Kärkevä teesi on omiaan herättämään kiinnostusta ja motivaatiota. Panelistien tulevaisuustoleranssia voi lisätä ennakkoinformoinnilla, jolla avataan vastaajien mieliä vaihtoehtojen pohdiskelulle ja keskusteluille muiden kanssa. Kysymyksiin voi lisätä runsaastikin taustatietoa ajattelun tueksi.

Käytännön tehtäviä on kysymyksiin vastaamisen ohjeistaminen sekä ennen kyselykierrosta että sen aikana. Sopivassa vaiheessa manageri avaa vastaukset reaaliaikaisina paneelin keskusteltavaksi. Panelisti puolestaan voi missä tahansa prosessin vaiheessa tarkistaa tai muuttaa vastauksiaan kuten myös pyrkiä vaikuttamaan muiden panelistien vastaamiseen. Vastaukset ja kommentit ovat kaikissa vaiheissa anonyymejä, jottei vastaajan asemalla tai roolilla ole vaikutusta mielipiteiden muotoutumiseen. Manageri tekee myös valinnan – jo ennen tutkimukseen ryhtymistä – siitä, ohjaako hän panelisteja ja prosessia kohti konsensusta vai tuottamaan argumentteja erilaisten tulevaisuuksien puolesta ja vastaan. Tämä riippuu paljon tutkimuksen tavoitteesta: toimintasuunnitelmaa laadittaessa konsensus voi olla hyvä tavoite, kun taas skenaarioiden luomisessa erilaiset argumentit antavat tavallisesti parasta aineistoa.

Ensimmäisen kierroksen tulosten perusteella manageri laatii toisen kierroksen kyselylomakkeen, joka syventää, laajentaa tai fokusoi edellisen kierroksen aiheen käsittelyä ja argumentointia. Useimmiten Delfoi-kierroksia toteutetaan kahdesta neljään. Kierrosten välissä ja luonnollisesti tutkimusprosessin lopuksi manageri analysoi ja raportoi tutkimustulokset ja/tai kehittämisehdotukset, jotka kehittämishankkeissa usein muodostavat perustan päätöksenteolle.

Mahdollinen on myös niin sanottu kierrokseton eli tosiaika-Delfoi, jossa vastaajat voivat paneeliin aukioloaikana käydä vastaamassa, osallistumassa keskusteluihin ja tarvittaessa myös muuttamassa vastauksiaan, mutta uusia kierroksia ei järjestetä. Tosiaika-Delfoissa managerin on ylläpidettävä panelistien mielenkiintoa palata kyselyn pariin myös ensimmäisen vastauskerran jälkeen. Tämän voi tehdä esimerkiksi lähettämällä panelisteille viestejä, joissa kerrotaan paneelin kulusta ja nostetaan esiin kiinnostavia havaintoja esimerkiksi vastausten jakautumisesta siihen mennessä ja kiinnostavista argumenteista.

Delfoi-kierrostamista ja aineiston analyysia käsitellään seuraavissa blogijutuissa!

Ahvenharju, Sanna (2022) Futures Consciousness as a Human Anticipatory Capacity – Definition and Measurement. Turun yliopisto. PDF Full Text https://urn.fi/URN:ISBN:978-951-29-8892-1 .
Airaksinen Tiina, Halinen Irmeli, Linturi Hannu (2016) Futuribles of Learning 2030 – Delphi supports the reform of the core curricula in Finland. European Journal of Futures Research. Special topic: Education 2030 and beyond. Internet https://link.springer.com/article/10.1007/s40309-016-0096-y.
Bell, Wendell (1997, 2003) Foundations of futures studies, Vol I-II, New Brunswick: Transaction Books.
The Delphi Technique: Past, present and future prospects. Technological Forecasting and Social Change, Volume 78, Issue 9, Pages 1487-1720 (November 2011)
Dimitrow, Maarit (2016) Development and Validation of a Drug-Related Problem Risk Assessment Tool for Use by Practical Nurses Working with Community-Dwelling Aged. Helsingin yliopisto, farmasian tiedekunta. Helsinki. Verkossa https://helda.helsinki.fi/handle/10138/167914
Gordon, T.J. (2008) The Real-Time Delphi Method. The Millennium Project. Futures Research Methodology – V3.0. Verkossa http://www.millennium-project.org/FRMv3_0/05-Real-Time_Delphi.pdf .
Kauppi, Antti ja Linturi, Hannu (2018) Kansalaisfoorumin viisi tulevaisuutta. Internetissä https://metodix.fi/2018/11/30/kansalaisfoorumin-viisi-tulevaisuutta/ .
Korhonen-Yrjänheikki, Kati (2011) Future of the Finnish Engineering Education – A Collaborative Stakeholder Approach. ISBN 978-852-5633-48-1. TEK. Miktor. Helsinki. Verkossa http://www.tek.fi/ci/pdf/julkaisut/KKY_dissertation_web.pdf.
Koskimäki Teemu (2022) Expert perspectives on achieving global sustainability with targeted transformational change. A thesis submitted for the degree of Doctor of Philosophy of The Australian National University. PDF-julkaisu https://openresearch-repository.anu.edu.au/bitstream/1885/274587/1/TK%20-%20PhD%20thesis%20-%20Revised%20version%202022%20FINAL.pdf .
Kuusi, Osmo (2000) Delfoi-metodi. Internetissä https://metodix.fi/2014/05/19/kuusi-delfoi-metodi/ .
Kuusi, Osmo (1999) Expertise in the Future Use of Generic Technologies. Epistemic and Methodological Considerations Concerning Delphi Studies. Interneissä http://bit.ly/3ayzN4e .
Laakso, K., Rubin, A. & Linturi, H. 2010. Delphi Method Analysis: The Role of Regulation in the Mobile Operator Business in Finland. Phuket, Thailand: PICMET 2010: Technology Management for Global Economic Growth. 18.- 22.7.2010, 2698-2704.
Laukkanen, Minttu (2020) Sustainable business models for advancing system-level sustainability. Acta Universitatis Lappeenrantaensis -tutkimussarja 889. ISBN 978-952-335-470-8 ja ISSN 1456-4491. LUTPub-tietokanta www.urn.fi/URN:ISBN:978-952-335-471-5 .
Linturi, Hannu & Rubin, Anita (2011) Toinen koulu, toinen maailma. Oppimisen tulevaisuus 2030. Turun yliopiston Tulevaisuuden tutkimuskeskus. Tutu-julkaisu 1/2011.
Linturi, Hannu, Rubin, Anita, Airaksinen, Tiina (2012) Lukion tulevaisuus 2030 – Toinen koulu, toinen maailma. Otavan Opiston Osuuskunta. 978-952-6605-00-5 (pdf), ISSN-L 2242-1297, ISSN 2242-1297.
Linturi, Hannu, Linturi, Jenni ja Rubin Anita (2013) eDelphi – metodievoluutiota verkossa. Metodix https://metodix.fi/2014/11/26/edelfoi-metodievoluutiota-verkossa/ .
Linturi, Hannu, Rubin Anita (2014) Metodi, metafora ja tulevaisuuskartta. Futura 2/2014.
Linturi, Hannu (2007) Delfoin metamorfooseja. Futura 1/2007.
Linturi, Hannu (2017) OPH:n Oppimisen tulevaisuus 2030-barometri. Internetissä https://metodix.fi/2017/01/11/oppimisen-tulevaisuus-2030-blogi-2017/ (https://metodix.fi/2016/12/31/oppimisen-tulevaisuus-2030/) .
Linturi, Hannu (2020) Delfoin monet tarkoitukset. Metodix https://metodix.fi/2020/03/08/delfoin-tarkoitukset/
Linturi, Hannu (2020) Delfoi-prosessin vaiheet. Metodix
Linturi, Hannu (2020) Delfoi-pedagogia. Internetissä https://metodix.fi/2019/11/15/delfoi-pedagogia/.
Linturi, Hannu (2020) Ilmastot@komo: viisi työkalua ilmastokasvatukseen. Internetissä https://metodix.fi/2019/12/01/ilmastotakomo/ .Rand (2020) Delphi Method https://www.rand.org/topics/delphi-method.html
Linturi Hannu (2023) Delfoin seitsemän ideaa. Blogisarja https://metodix.fi/2023/10/09/delfoin-seitseman-ideaa/. Metodix Oy.
Linturi Hannu & Kauppi Antti (2021) Miten tutkimme tulevaisuuksia Delfoi-menetelmällä, Artikkeli teoksessa Delfoilla tulevaisuuteen, toim. Merja Kylmäkoski & Päivi Raino. Humak-ammattikorkeakoulu https://www.humak.fi/julkaisut/delfoilla-tulevaisuuteen/ .
Linturi Hannu & Kuusi Osmo (2022) Tulevaisuuksia ennakoiva Delfoi-menetelmä. Artikkeli teoksessa Tulevaisuudentutkmus tutuksi. Perusteita ja menetelmiä. (toim. Hanna-Kaisa Aalto, Katariina Heikkilä, Pasi Keski-Pukkila, Maija Mäki, Markus Pöllänen). Turun yliopisto https://www.utupub.fi/handle/10024/153465 .
Myllylä, Yrjö (2007) Logistic and Social Future of the Murmansk Region until 2020. Joensuun yliopisto, Yhteiskunta- ja aluetieteiden laitos. Joensuu. Verkossa http://joypub.joensuu.fi/publications/dissertations/myllyla_murmanskin/myllyla.pdf.
Mäkelä, Marileena (2020) The past, present and future of environmental reporting in the Finnish forest industry. Turun yliopiston julkaisua – Annaels Universitatis Turkuensis, Ser. E: Oeconomica. URN:ISBN:978-951-29-8087-1. Verkossa https://www.utupub.fi/handle/10024/149753?show=full .
Osaamisen ennakointifoorumi: The Finnish National Agency for Education’s Skills Forecasting Forum conducted a multi-phase development project from 2016 to 2019 to explore the future of the workforce and vocational education, employing the Delphi technique as a method to open up futures. Initially, all actors within nine sectoral clusters assessed future developments up to 2035 according to the dynamic multi-level model described by Geels and Schot. From this data, four scenarios were constructed, two of which were selected as the basis for further work. In the second Delphi round, separate Delphi processes were implemented for the nine clusters, which also were based on three levels examining changes in the operating environment, regime adaptation, and signal-level innovation phenomena. See the eDelphi main panel at https://www.edelphi.org/oef and Jukka Vepsäläinen’s video presentation at https://youtu.be/8o2v5nNWqIo?si=T1FyVIibVfX5LdSK.
Paaso, Aila (2010) Osaava ammatillinen opettaja 2020. Tutkimus ammatillisen opettajan tulevaisuuden työnkuvasta. Rovaniemi: Lapin yliopisto 2010, Acta Universitatis Lapponiensis 174. ISBN 978-952-484-348-5. ISSN 0788-7604.
Palo, Teea (2014) Business model captured?: variation in the use of business models. University of Oulu, Oulu Business School, Department of Marketing. PDF Full Text http://urn.fi/urn:isbn:9789526203430 .
Pernaa, Hanna-Kaisa (2020) ”Hyvinvoinnin toivottu tulevaisuus – tarkastelussa kompleksisuus, antisipaatio ja osallisuus”. URN:ISBN:978-952-476-910-5. Osuva http://urn.fi/URN:ISBN:978-952-476-910-5
Pihlainen, Vuokko (2020) Asiantuntijoiden käsityksiä johtamisosaamisen nykytilasta ja tulevaisuuden suunnista suomalaisissa sairaaloissa 2030. Experts’ perceptions of the present state of management and leadership competence and future directions in Finnish hospitals by 2030 Kuopio: Itä-Suomen yliopisto, 2020 Publications of the University of Eastern Finland Dissertations in Social Sciences and Business Studies; 223. ISBN: 978-952-61-3377-5 (print), ISBN: 978-952-61-3378-2 (PDF), ISSN: 1798-5757 (PDF). Verkossa https://erepo.uef.fi/bitstream/handle/123456789/22263/urn_isbn_978-952-61-3378-2.pdf
Rand Corporation: Delphi Method https://www.rand.org/topics/delphi-method.html
Rubin, Anita (2007) Pehmeä systeemimetodologia. Internetissä https://metodix.fi/2014/05/19/rubin-pehmea-systeemimetodologia/ .
Rönkä, Anu-Liisa (2019) Kohti vuorovaikutteista riskiviestintää : Tapausesimerkkinä langattoman viestintätekniikan säteily. University of Helsinki, Faculty of Social Sciences. Doctoral Programme in Interdisciplinary Environmental Sciences. Internet https://helda.helsinki.fi/handle/10138/301671 .
Soini-Salomaa, Kristiina (2013) Käsi- ja taideteollisuusalan ammatillisia tulevaisuudenkuvia. HY. Käyttäytymistieteellinen tiedekunta. Helsinki. Verkossa https://helda.helsinki.fi/handle/10138/41734
Sunell, Otto (2016) Turvallisuuskulttuuri julkisen hallinnon organisaatiossa vuoteen 2025 tultaessa: Nykytilan kartoitus ja neljä skenaariota. Tampereen teknillinen yliopisto. Tampere. Verkossa https://tutcris.tut.fi/portal/en/publications/turvallisuuskulttuuri-julkisen-hallinnon-organisaatiossa-vuoteen-2025-tultaessa(d16cf10d-2d88-4bcb-8dad-62349f74bf36).html .
Tamminen, Nina (2021) Mental Health Promotion Competencies in the Health Sector. Faculty of Sport and Health Sciences, University of Jyväskylä. Permanent link to this publication: http://urn.f/URN:ISBN:978-951-39-8666-7 .
Tapio, Petri (2002) The limits to traffic volume growth : The content and procedure of administrative futures studies on Finnish transport CO2 policy. Internetissä https://helda.helsinki.fi/handle/10138/22446 .
Tapio, Petri (2002) Disaggregative policy Delphi Using cluster analysis as a tool for systematic scenario formation. Technological Forecasting and Social Change.
Toivonen, Annette (2022) The emergence of New Space – A grounded theory study of enhancing sustainability in space tourism from the view of Finland. Acta electronica Universitatis Lapponiensis 336. ISBN: 978-952-337-311-2, ISSN 1796-6310. University of Lapland, Rovaniemi 2022. Sähköisen julkaisun pysyvä osoite: https://urn.fi/URN:ISBN:978-952-337-311-2 .
Turoff, Murray (2002) The Delphi Method, Techniques and Applications. Internetissä https://web.njit.edu/~turoff/pubs/delphibook/delphibook.pdf .
Valtonen, Vesa (2010) Turvallisuustoimijoiden yhteistyö. Maanpuolustuskorkeakoulu, taktiikan laitos. Julkaisusarja 1, Helsinki. Verkossa http://www.doria.fi/handle/10024/74154 .