Hannu Linturi, © Metodix Oy (artikkeli julkaistu 12.6.2020)

“A technique of structuring a communication process of a group in order to help to understand and deal with the future development of a complex problem.” (Linstone & Turoff 1975)

Delfoin eri versioita yhdistää kolme tunnuspiirrettä: anonyymisyys, asiantuntijuus ja iteratiivisuus. Tunnuspiirteet ovat kestäneet mullistukset, jotka ovat johtuneet teknologian kehityksestä että laajentuvasta ymmärryksestä sen suhteen, miten tietoa muodostetaan. Kukin ominaislaatu on vuorollaan myös kyseenalaistettu.

Delfoi-metodia voi luonnehtia kysely- tai haastattelumuotoiseksi tutkimustekniikaksi, jossa ohjatun vuorovaikutusprosessin kautta pyritään kokoamaan ja lisäämään asiantuntijoista kootun ryhmän tietoa ja ymmärrystä tutkittavasta ilmiöstä. Määritelmän rivien välistä voi lukea Delfoin tärkeimmät ja eri metodiavariaatioita yhdistävät tunnuspiirteet: vastaajaryhmän monipuolinen asiantuntijuus, kommentoinnin anonymiteetti ja tiedonmuodostuksen kierrätys vastaajien kesken. Yhdessä ominaisuudet johtavat siihen, että tutkimusprosessi ei tähtää vain olemassa olevan tiedon keruuseen vaan siinä pyritään myös tuottamaan uutta tietoa.

Tunnuspiirteet eivät ole ehdottomia vaan kutakin niistä on mahdollista myös rikkoa. Toisinaan asianosaisuus saattaa muodostua asiantuntemusta tärkeämmäksi kriteeriksi. Anonyymisyys voidaan hylätä, jos osapuolet edustavat vakiintuneita tiedontuottajatahoja, joiden kannat ja perustelut ovat niin pysyviä ettei vastaajan henkilökohtaisilla ominaisuuksilla ole merkitystä. Viime vuosina yhden kierroksen Delfoit ovat lisääntyneet. Ehdollisuus jopa peruspiirteiden osalta tekee Delfoista eklektisen ja joustavan menetelmän, jota vielä korostaa se että menetelmää käytetään sekä kvalitatiivisesti että kvantitatiivisesti ja joissakin tapauksissa sekä että. Joustavuuden kääntöpuoli on se, että se altistaa metodin eri koulukuntien kritiikille.

Asiantuntijuus ja asianosaisuus

Asiantuntijuudella kuvataan oppinutta ja syvällistä suhdetta johonkin asiaan, mutta samalla asianuntijuus on suuressa määrin sosiaalinen konstruktio. Nykysuomen sanakirja kuvaa asiantuntijan tietäjäksi, ”jolla on asiantuntemusta, erikoisia, tavallista perusteellisempia (ammatti)tietoja joltakin alalta”. Delfoi-käyttöön sopii varsin hyvin kotimaisen sanakirjan tarkentava määre: ”erikoistuntija, ekspertti, varsinkin kutsuttuna antamaan lausuntonsa jostakin alaansa kuuluvasta asiasta”. Tämäkin sanakirjakuvaus on vielä staattinen, mutta Wikipedia ennakoi muutosta.

Murtumasta viestii se, että Wikipedia määrittelee asiantuntijuuden mutta Encyclopedia Britannica ei. Wikipedia lähtee perinteisesti siitä, että asiantuntijan tunnistaa luotettavan tiedon, tekniikan tai taidon hallinnasta. Eksperttiasiantuntija (expert) eroaa spesialistiasiantuntijasta (specialist) siinä, että spesialisti kykenee ratkaisemaan ongelman, kun taas ekspertti tietää ratkaisun. Ekspertin vastakohta on maallikko (layman) ja spesialistin yleistietäjä (generalist). Wikipedian tiedossa on myös, että yksilöt ovat usein asiantuntijoita joillakin aloilla ja maallikkoja toisilla.

Wikipediakaan ei ota kantaa vielä merkittävämpään asiantuntijuus-käsityksen muutokseen, jossa asiantuntijuutta ei enää ymmärretä niinkään yksilön kuin yhteisöjen ja verkostojen ominaisuudeksi. Tämän näkemyksen mukaan tietäminen (tiedon muodostus) on perusolemukseltaan sosiaalinen ilmiö, joka on sidottu yhteistoimintaan, käytäntöihin ja kieleen. Kehitys ei johda eksperttiosaamisen merkityksen katoamiseen mutta purkaa sulkeutuneita ja hierarkisia professioita monialaisiksi verkostoiksi, joissa asiantuntijuuden tärkeä metaominaisuus on kyky kytkeytyä toisiin asiantuntijuuksiin.

Kollektiivisen tietokäsityksen pohjalta Delfoita voi suositella akateemisen tutkimuksen lisäksi oppivien yhteisöjen ja verkostojen työkaluksi, jolla kartoitetaan tulevaisuuspolkuja ja -valintoja. Yhteisöllinen toimintatapa on myös rokotus sitä asiantuntijuuden jähmettynyttä muotoa vastaan, jota Ivan Illich on kuvannut 1970-luvulta alkaen. Illich on kritisoinut jatkuvasti spesialisoituvaa yhteiskuntaa siitä, että se erottaa yhä useimmat ihmiset luovasta toiminnasta. Erikoistunut ja privilegioitu sosiaalinen maailmanjärjestys ylläpitää puutetta ja riippuvuutta asiantuntijasta, joka retoriikallaan hallitsee yhteiskunnallisen keskustelun ilmatilaa. Illich vaatii manipulatiivisten instituutioiden tilalle vertais- ja verkostotoimintaa, jonka tuntomerkkeinä ovat ihmisten välinen autonomia ja kanssakäyminen kulloisenkin toimintaympäristön kanssa. Ajattelulla on yhtymäkohtia Putnamin sosiaalisen pääoman teoriaan.

Erikoistuminen ja pitkälle viety työnjako ovat teollisen yhteiskuntavaiheen menestymisreseptejä, jotka korostavat asiantuntijuuden merkitystä. Moderniin asiantuntijuuteen on sisäänkirjoitettu hierarkia, jota konkretisoituu sosiaalisissa rakenteissa kuten tutkinnoissa ja ammattinimikkeissä. Sosiaaliset rakenteet vahvistetaan säädöksin ja palkitsemisjärjestelmin. Pitkälle organisoiduissa yhteiskunnissa eri ryhmien intresseistä pitävät huolta etu- ja kansalaisjärjestöt. Suuri osa asiantuntijuudesta sitoutuu tätä kautta intresseihin, joita voi nimittää myös asianosaisuudeksi.

Demokraattisessa yhteiskunnassa kullakin kollektiivilla on oma puolestapuhujansa, mikä mahdollistaa toimivan neuvottelujärjestelmän ja vakaan yhteiskuntakehityksen. Ongelmaksi jää se, että kaikilla kollektiiveilla ei ole yhtä vahvaa ja järjestäytynyttä ääntä eikä sitä varsinkaan ole niillä rakenteilla ja toimijoilla, joita ei vielä ole mutta voisi olla tulevaisuudessa. Delfoi pohjautuu parhaimmillaankin subjektiiviseen tietoon. Onnistunutkaan Delfoi ei kerro varsinaisesti mitään varmaa tulevaisuudesta. Tutkimuksen avulla selvitetään “vain” sitä, mitä asiantuntijat ajattelevat tulevaisuudesta.

Ihminen ei voi ennalta tietää, mitä ja millaisia tieteellisiä ja teknisiä keksintöjä tulevaisuudessa tullaan tekemään. Emme myöskään voi tietää tällä hetkellä, miten ihmiset ajattelevat ja toimivat huomenna – millainen on se toimintaympäristö ja ajatusmaailma, jossa tulevaisuuden ihminen elää. Tässä mielessä tulevaisuudelle ei ole löydettävissä suoraa ja ristiriidatonta asiatuntemusta. Siksi on viisautta kartoittaa mahdollisuuksia ja niiden todennäköisyyksiä ja toivottavuuksia.

Asiantuntijuuteen liittyy aina intressejä. Toki on merkittävä ero tutkijan intressin ja jonkin sellaisen toimijan välillä, joka esimerkiksi saa elantonsa siitä, että nykyinen toimintakäytäntö jatkuu myös tulevaisuudessa. Jälkimmäisessä tapauksessa argumentointi on arvattavaa, mutta silloinkin hyödyllistä, koska yhden vaihtoehdon argumentaatiovaranto tulee varmasti mukaan tarkasteluun. On tärkeää huolehtia, että tunnetut intressit saavat edustuksen paneelissa. Vaativampaa on löytää toimijat, jotka antavat äänen tapahtumattomille asioille, toteutumattomille teknologioille ja sosiaalisille rakenteille. Siksi paneeliin useimmiten tarvitaan eksperttien ja spesialistien lisäksi generalisteja (ilmiökehityksen isokuva) ja toisinajattelijoita, jotka haastavat intressilähtöistä asiantuntijuutta.

Yhteisöllisen tiedon muodostumisen kannalta tärkein paneelin metapiirre on riittävän avoin suhde tulevaisuuteen. Usein se edellyttää, että tulevaisuus viedään vähintään kymmenen vuoden päähän jotta intressien välitön pitoisuus ehtii laimeta. Mitä enemmän paneelissa on asianosaisuutta sitä kauemmas kannattaa tarkasteluvuosi siirtää. Vastaavasti asiantuntijapitoisuuden lisääntyminen vaikuttaa päinvastoin. Asiantuntijuus saattaa nopeastikin ohentua teknologian ja tieteen kehittyessä. Teknologian kehityksellä on muitakin vaikutuksia, joissa voi nähdä omia paradoksisia vaikutuksiaan. Yksi niistä on se, että vaikka verkko- ja digitaaliteknologia on helpottanut Delfoin toteuttamista, henkilökohtaisten asiantuntijahaastattelujen määrä on kasvanut.

Anonymiteetti ja argumentaatio

Anonymiteetti on väline vapauttaa kommunikaatiota rajoituksista, joita sosiaalinen ympäristö tuottaa. Asiantuntijoiden nimettömyydellä vältetään ilmaisu- ja kuuntelurajoitteita, joita kohdataan kasvokkainryhmissä. Sitä kautta tavoitellaan asiantuntijoiden ja asianosaisten argumentoinnin lisääntymistä, monimuotoistumista ja autenttisuutta. Panelistin asema – korkea tai alhainen status – ei anonyymiprosesseissa pääse vaikuttamaan muiden panelistien mielipiteisiin. Vastaajan ei tarvitse pelätä kasvojen menetystä, vaikka vastaisikin ”väärin” tai kommentoisi ”löysästi”. Hänen ei myöskään ole tarpeen varoa kannanottoja, joita työnantaja ei julkisina hyväksyisi. 

Toisaalta tunnistetaan yhteiskunnallisia kysymyksiä, jotka ovat ilmiöinä niin vakiintuneita, että niitä on mahdollista käsitellä julkisesti. Tällöin ilmiöstä vallitsee kattavasti erilaisia näkemyksiä, joilla kullakin on järjestäytynyt ja tietoperustainen ylläpitäjätaho. Petri Tapio (2002) kyseenalaisti anonymiteetin väitöstutkimuksessaan liikenteen tulevaisuudesta. Tutkimuksessa tunnistamattomuus ei ollut merkityksellistä, koska kunkin osallistujan katsottiin edustavan tiettyä asiantuntijaheimoa, jota yhdistää samanmielisyys siitä, miten tutkittavaa ilmiötä ja sen tulevaisuutta tulee ymmärtää.

Tapion malli ei toimi yhtä hyvin, kun tunkeudutaan liikennepäästöjen sijasta sosiaaliseen tulevaisuuteen, jonka mahdolliset instituutiot ovat vielä muodostumatta. Kuinka tutkitaan edustuksellisuuden kautta esimerkiksi sellaista oppimisen tulevaisuutta, jossa oppijoina ovat koneet? Ei se mahdotonta ole, koska keinoälyn kannattajatkin ovat organisoituneet. Vaikeuksia tulee viimeistään silloin, kun jotakuta tulevaisuuden osapuolta ei ollenkaan tunnisteta.

Anonyymisen ja julkisen esiintymisen välimuoto on nimimerkin käyttö. Anonyymisyyden edut säilyvät, mutta keskustelu voi henkilöityä internetin keskustelufoorumeista tutulla tavalla. Nimimerkin käyttö vahvistaa dialogeja, kun panelistit personoituvat ja irrallisista kommenteista kasvaa näkemyslinjoja. Nimimerkkien käyttö saattaa luoda ryhmään sosiaalista rakennetta, tunne-energiaa ja ryhmäidentiteettiä.

Pedagogisissa Delfoi-harjoituksissa on käytetty rooleja nimimerkkien ohella. Rooli etäännyttää epävarmuudesta ja mahdollistaa heittäytymisen leikkiin, josta saattaa tulla enemmän “totta” kuin tosisimulaatiosta. Hyviä kokemuksia on saatu metodimuunnelmista, joissa alkukierrokset käydään tunnistamattomina tai nimimerkkien kanssa, mutta viime kierroksilla otetaan oikeat nimet käyttöön. Näin erityisesti silloin, kun ryhmä on toisilleen ennestään tuttu ja tottunut toimimaan yhdessä. Oma erityistapauksensa on se, kun asiantuntijapaneeli kootaan ennen tai jälkeen varsinaisten kierrosten yhteiseen seminaariin.

Managerien usein käyttämiä motivointikeinoja on tieto asiantuntijapaneelin eksklusiivisuudesta. Olkoonkin että Delfoi-prosessi on anonyymi, osallisuus siihen ei ole. Tieto muista osallistujista kiinnostaa panelisteja. Nimekkäät mukanaolijat houkuttelevat muita osallistumaan. Asiantuntijoiden nimet ja valintaperusteet listataan aina akateemisiin tutkimusraportteihin, joissa paneelin kokoonpano on aivan keskeinen metodinen valinta. Sosiaaliset vetovoimatekijät ovat tärkeää perusenergiaa Delfoi-prosessissa. Keskenään argumentoimaan oppivan paneelin luomiseen pelkkä sosiaalinen vetovoima ei välttämättä riitä. Antiikin asiantuntijat neuvoivat käyttämään vuorovaikutuksen katalyyttinä kaikkia retorisia laatuja: eetosta, paatosta ja logosta. Logos eli järki on niistä Delfoissa tietysti tärkein, mutta ponneton, ellei sitä voimaannuta syvä tunne ja arvokkaat pyrkimykset.

Iteraatio, palaute, dialogi, oppiminen

Delfoin erottaa survey-metodeista sen iteratiivisuus ja palautteisuus (feedback). Päinvastoin kuin gallupeissa mielipiteitä ei kerätä vain analysoitavaksi, vaan vastaustieto kierrätetään takaisin eksperteille. Palautetiedon avulla vastaajia ohjataan perustelemaan valintojaan. Tiedon muodostus etenee kierroksittain niin, että edellinen kyselykierros muodostaa pohjan seuraavalle. Prosessi muistuttaa ideaalidialogia, jota mm. Martin Buber ja Mihail Bahtin ovat kuvanneet. Vuoropuhelussa pyritään kohtaamaan erimielisyydet ilman vastakkainasettelua ja tutkimaan näkökantoja, joita ei itse kannata.

Ensimmäisen kierroksen kysely käynnistää varsinaisen tutkimusprosessin. Se orientoi tutkimusaiheeseen ja auttaa vastaajia asemoimaan itsensä tutkittavan ilmiön ja toistensa suhteen. Kommenteilla ja argumenteilla vastaajat selventävät kantojaan ja pyrkivät vaikuttamaan muiden käsityksiin. Panelisteilla on koko kierroksen ajan mahdollisuus tarkentaa vastauksiaan. Jos niin tapahtuu, se on myönteinen signaali muiden panelistien “kuuntelusta” ja dialogipotentiaalista. Kierrosten välillä manageri analysoi tuloksia ja muokkaa esitetyistä argumenteista uusia väitteitä, joista paneeli uudella kierroksella ”äänestää”.

Internet-ajan Delfoissa on mahdollisuus synkroniseen ja reaaliaikaiseen vuoropuheluun asiantuntijoiden kesken. Ensimmäisen Delfoi-kierros saatetaan rytmittää kahteen vaiheeseen, jolloin asiantuntija ensin vastaa kyselyyn ja kommentoi sitä itsenäisesti näkemättä mitä muut vastaavat. Toisessa vaiheessa hän saa nähtäväkseen vastausjakaumat ja pääsee kommentoimaan toisten kommentteja. Panelistin on mahdollista vasta- ja lisäargumentoida sekä omien näkemystensä puolesta että muiden argumentteja vastaan, ja kun muilla on sama mahdollisuus, keskustelu haarautuu ja argumentointi kehittyy jo ensimmäisen kierroksen aikana.

Jos reaaliaikainen kommentointi ja omien vastausten muuttaminen sallitaan, ensimmäinen Delfoi-kierros kurottuu toteuttamaan jo perinteistä toista kierrosta. Ero klassiseen toiseen kierrokseen on siinä, että kyselylomake on muuttumaton. Varsinaisesti toisesta kierroksesta puhutaan vasta, kun kysymykset vaihtuvat. Lähtökohtana on että edellisen kierroksen argumenteista nostetaan seuraavan kierroksen kysymykset. Tätä kautta Delfoi-prosessi voi sekä syventyä että laajentua.

Verkkovälitteisessä Delfoissa kierrosjaksottelusta on mahdollista kokonaan luopua. DARPAssa on kehitetty kierroksettoman (roundless) Delfoin työkaluksi Real-Time Delphi-konsepti. RT Delphi simuloi Gordonin & Peasen (2006) mukaan hypoteettista päätöksentekijää, jolle toimitetaan päätöksentekoon vaikuttava relevantti informaatio. Kierrokseton Delfoi sopii hyvin myös barometrityyppisiin Delfoi-sovelluksiin, joita käytetään laadullisen ennakoinnin työkaluina.  Esimerkki sellaisesta on Opetushallituksen Oppimisen tulevaisuus 2030-barometri.

Delfoi-kierrosten katalyytti on manageri tai manageristo. Manageri vastaa paneelin kokoonpanosta ja tekee kyselyiden kierrätyksen suhteen valintoja, joilla on vaikutusta tutkimusprosessin kulkuun. Rohkeat tavat motivoida ja ohjata paneelin toimintaa ovat hyväksyttäviä, kunhan ne perustuvat tutkimuksen tavoitteisiin ja manageri ei manipuloi tuloksia tai argumentteja. Tutkijan etiikka ei ole menetelmäsidonnaista, mutta erilaista se on, kun tavoitellaan yhden totuuden sijasta monia tulevaisuuksia.

Kierrosten lukumäärä riippuu tutkimuksen tavoitteista ja resursseista. Yleinen on kolmivaiheinen prosessi, jossa toisella kierroksella laajennetaan ja syvennetään ilmiön tarkastelua ensimmäisen kierroksen pohjalta ja kolmannella kierroksella varmistetaan keskeiset tulokset, analyysit ja johtopäätökset (ns. palautekierros).

Perimmiltään iteratiivinen prosessi kuvaa popperilaisittain kehittyvää tiedon muodostusta, joka on tieteellisen toiminnan ydinajatus. Epätäydellisenäkin ajatus- ja toimintamalli mahdollistaa jatkuvan tiedon ja ymmärryksen karttumisen, kunhan prosessi kyetään pitämään avoimena (uusille) havainnoille ja monenlaisille – myös kriittisille – kommenteille. Iteraation tehtävä on jalostaa ensivaiheen tiedonkeruu palautteiseksi vuorovaikutukseksi ja sitä kautta järjestää panelistien alun perin jakamaa tietoa uudelleen tavalla, jota voi nimittää yhteisölliseksi oppimiseksi. Oppimisen seurauksena oletetaan myös syntyvän hyviä päätöksiä ja viisasta toimintaa.

Kirjallisuus

• Airaksinen T., Halinen I., Linturi H. (2016) Futuribles of Learning 2030  – Delphi supports the reform of the core curricula in Finland. European Journal of Futures Research. Special topic: Education 2030 and beyond. Internet https://link.springer.com/article/10.1007/s40309-016-0096-y. 
• Bell, W. (1997, 2003) Foundations of futures studies, Vol I-II, New Brunswick: Transaction Books.
• Bereiter C. (2002) Education and mind in the Knowledge Age. Lawrence Erlbaum Associates Publishers.
• Cross R. & Parker A. (2004) The Hidden Power of Social Networks: Understanding how Work Really Gets Done in Organizations.
• The Delphi Technique: Past, present and future prospects. Technological Forecasting and Social Change, Volume 78, Issue 9, Pages 1487-1720 (November 2011)
• Dimitrow, Maarit (2016) Development and Validation of a Drug-Related Problem Risk Assessment Tool for Use by Practical Nurses Working with Community-Dwelling Aged. Helsingin yliopisto, farmasian tiedekunta. Helsinki. Verkossa https://helda.helsinki.fi/handle/10138/167914
• Gordon T. & Pease A. (2006) RT Delphi: An efficient, “round-less” almost real time Delphi method. Technological Forecasting and Social Change Vol. 73. Issue 4, May 2006.
• Gordon, T. (2008) The Real-Time Delphi Method. The Millennium Project. Futures Research Methodology. Verkossa http://www.millennium-project.org/FRMv3_0/05-Real-Time_Delphi.pdf .
• Illich I. (1971) Deschooling society. 
• Illich I. (1977) Disabling Professions. Panarchia http://www.panarchy.org/illich/professions.html .
• Kauppi, A. (2020) Uudistavan oppimisen lähtökohtia (video). Internetissä https://youtu.be/ErtiB1ow5tc .
• Kauppi, A. & Linturi, H. (2018) Kansalaisfoorumin viisi tulevaisuutta. Internetissä https://metodix.fi/2018/11/30/kansalaisfoorumin-viisi-tulevaisuutta/ .
• Korhonen-Yrjänheikki, K. (2011) Future of the Finnish Engineering Education – A Collaborative Stakeholder Approach. ISBN 978-852-5633-48-1. TEK. Miktor. Helsinki. Verkossa  http://www.tek.fi/ci/pdf/julkaisut/KKY_dissertation_web.pdf.
• Kuusi, O. (2000) Delfoi-metodi. Internetissä https://metodix.fi/2014/05/19/kuusi-delfoi-metodi/ .
• Kuusi, O. (1999) Expertise in the Future Use of Generic Technologies. Epistemic and Methodological Considerations Concerning Delphi Studies. Url http://bit.ly/3ayzN4e .
• Laakso, K. (2011) Matkaviestinnän sääntely ja sen vaikutukset Suomessa 1985–2015 . Tampereen teknillinen yliopisto. Julkaisu 965. ISBN 978-952-15-2570-4. ISBN 978-15-2597-1. Tampereen yliopistopaino Oy. 2011. Verkossa http://dspace.cc.tut.fi/dpub/handle/123456789/20535.
• Linturi, H. & Rubin, A. (2011) Toinen koulu, toinen maailma. Oppimisen tulevaisuus 2030. Turun yliopiston Tulevaisuuden tutkimuskeskus. Tutu-julkaisu 1/2011.
• Linturi, H, Rubin, A., Airaksinen, T. (2012) Lukion tulevaisuus 2030 – Toinen koulu, toinen maailma. Otavan Opiston Osuuskunta. 978-952-6605-00-5 (pdf), ISSN-L 2242-1297, ISSN 2242-1297.
• Linturi, H., Linturi, J. ja Rubin A. (2013) eDelphi – metodievoluutiota verkossa. Metodix https://metodix.fi/2014/11/26/edelfoi-metodievoluutiota-verkossa/ .
• Linturi, H., Rubin A. (2014) Metodi, metafora ja tulevaisuuskartta. Futura 2/2014.
• Linturi, H. (2007) Delfoin metamorfooseja. Futura 1/2007.
• Linturi, H. (2017) OPH:n Oppimisen tulevaisuus 2030-barometri. Internetissä https://metodix.fi/2017/01/11/oppimisen-tulevaisuus-2030-blogi-2017/ (https://metodix.fi/2016/12/31/oppimisen-tulevaisuus-2030/) .
• Linturi, H. (2020) Delfoin monet tarkoitukset. Metodix  https://metodix.fi/2020/03/08/delfoin-tarkoitukset/ 
• Linturi, H. (2020) Delfoi-prosessin vaiheet. Metodix 
• Linturi, H. (2020) Delfoi-pedagogia. Internetissä https://metodix.fi/2019/11/15/delfoi-pedagogia/.
• Linturi, H. (2020) Ilmastot@komo: viisi työkalua ilmastokasvatukseen. Internetissä https://metodix.fi/2019/12/01/ilmastotakomo/ .Rand (2020) Delphi Method https://www.rand.org/topics/delphi-method.html 
• Myllylä, Y. (2007) Logistic and Social Future of the Murmansk Region until 2020. Joensuun yliopisto, Yhteiskunta- ja aluetieteiden laitos. Joensuu. Verkossa http://joypub.joensuu.fi/publications/dissertations/myllyla_murmanskin/myllyla.pdf.
• Paaso, A. (2010) Osaava ammatillinen opettaja 2020. Tutkimus ammatillisen opettajan tulevaisuuden työnkuvasta. Rovaniemi: Lapin yliopisto 2010, Acta Universitatis Lapponiensis 174. ISBN 978-952-484-348-5. ISSN 0788-7604.
• Poikela E. (2012) Vapaa sivistystyö sosiaalisen pääoman rakentajana. Aikuiskasvatus 4/2012.
• Putnam R. (2002) Bowling Together: The United State of America. The American Prospect [Internet]. 2002;13 (February 11, 2002)
• Rubin, A. (2007) Pehmeä systeemimetodologia. Internetissä https://metodix.fi/2014/05/19/rubin-pehmea-systeemimetodologia/ .
• Soini-Salomaa, K. (2013) Käsi- ja taideteollisuusalan ammatillisia tulevaisuudenkuvia. HY. Käyttäytymistieteellinen tiedekunta. Helsinki. Verkossa https://helda.helsinki.fi/handle/10138/41734 
• Sunell, O. (2016) Turvallisuuskulttuuri julkisen hallinnon organisaatiossa vuoteen 2025 tultaessa: Nykytilan kartoitus ja neljä skenaariota. Tampereen teknillinen yliopisto. Tampere.  Verkossa https://tutcris.tut.fi/portal/en/publications/turvallisuuskulttuuri-julkisen-hallinnon-organisaatiossa-vuoteen-2025-tultaessa(d16cf10d-2d88-4bcb-8dad-62349f74bf36).html .
• Tapio, P. (2002) The limits to traffic volume growth : The content and procedure of administrative futures studies on Finnish transport CO2 policy. Internetissä https://helda.helsinki.fi/handle/10138/22446 .
• Tapio, P. (2002) Disaggregative policy Delphi Using cluster analysis as a tool for systematic scenario formation. Technological Forecasting and Social Change.
• Tuomi, I. (1999). Corporate Knowledge: Theory and Practice of Intelligent Organizations. Metaxis. ISBN 978-951-98280-0-8.
• Turoff, M. (2002) The Delphi Method, Techniques and Applications. Internetissä  https://web.njit.edu/~turoff/pubs/delphibook/delphibook.pdf .
• Valtonen, V. (2010) Turvallisuustoimijoiden yhteistyö. Maanpuolustuskorkeakoulu, taktiikan laitos. Julkaisusarja 1, Helsinki. Verkossa http://www.doria.fi/handle/10024/74154 .

Kategoriat:artikkeli, blogi, Tie

Avainsanat:delfoi, delphi, edelphi, methodology, metodix