Osmo Kuusi: Delfoi-metodi

fi_image

Tarinan mukaan Maan jumalatar Gaia asui kauan sitten Delfoissa Kreikassa lohikäärmeen Pythoksen suojelemana. Zeuksen poika Apollo tappoi Pythoksen ja teki itsestään Delfoin valtiaan. Hänestä tuli kuuluisa kaikkialla Kreikassa kauneutensa ja harvinaisen ennalta näkemisen kyvyn ansiosta. Paikan nimi Delfoi tulee sanasta Delfiini, joksi Apollo muutti itsensä hankkiakseen ensimmäiset papit oraakkelilleen. Nämä olivat merimiehiä.

Apollon valinta oli kiintoisa. Siinä missä hyviä tulevaisuudentutkijoita nykyisin, merimiehiä pidettiin antiikin aikana monitietäjinä. Parnassos-vuoren rinteellä sijaitsevasta Delfoista kehittyi antiikin Kreikassa tärkeä ”tulevaisuuskeskus”. Samalla se oli myös eräänlainen ”historian elävöittämiskeskus”. Tärkeät tapahtumat oli ikuistettu sinne maalauksina ja kuvapatsaina (Linstone 1978). Apollon ennustuksia välittivät Pythiaat (Delfoin oraakkelit) eli transsitilassa sekavia puhuvat nuoret naiset, joita papit tulkitsivat.

Tulevaisuudentutkimuksessa Delfoi-tekniikan (engl. delphi method) käsitettä alettiin käyttää Rand-yhtiössä Yhdysvalloissa 1950-luvulla aluksi salaisissa sotilasteknologiaa kokevissa tutkimuksissa. Rinnakkaisina suomenkielisinä käsitteinä on käytetty nimiä Delfi- ja delphi- tekniikka. Delfoi -tekniikka on luontevin suomennos, koska se vastaa Delfoin oraakkelin vakiintunutta nimeä. Delfoi- menetelmässä tavalla tai toisella asiantuntijoiksi luokitellut toimivat tulevan kehityksen oraakkeleina. Delfoi-tekniikka on yksi monista asiantuntijoiden kannanottojen keruumenetelmistä, joilla on pyritty arvioimaan tulevan kehityksen mahdollisuuksia.

Asiantuntijamenetelmien kirjo ulottuu yksinkertaisista kyselyistä komiteatyöskentelyyn, jossa asiantuntijat saattavat hioa kannanottoaan kymmenissä tai jopa sadoissa kokouksissa. Delfoi-tekniikka on vuosien saatossa määritelty monella tavoin. Mistään oikeaoppisesta Delfoista tuskin voidaan puhua. Tutkimuksen tarkoitus ja konteksti voivat suhteellisen vapaasti vaikuttaa konseptimenetelmän ”murteeseen”, vaikka tietyt tuntomerkit menetelmältä edellytettäisiinkin. Laajassa kokoomateoksessaan vuodelta 1975 Linstone ja Turoff (1975) antoivat menetelmälle hyvin väljän määritelmän:

”Delfoi-tekniikkaa voidaan luonnehtia ryhmän kommunikaatioprosessin strukturointimenetelmäksi, jonka tarkoituksena on auttaa yksilöiden muodostamaa ryhmää kokonaisuutena käsittelemään mutkikasta ongelmaa”.

Johdanto

Delfoi-tekniikkaa voidaan käyttää arvojen, uusien näkemysten ja ideoiden tuomisessa suunnittelun ja päätöksenteon pohjaksi. Menetelmän käyttö on perusteltua myös tutkimusongelman ollessa siinä määrin epämääräinen, että sitä voida tarkastella yhden täsmällisen analyyttisen tekniikan avulla. Siitä huolimatta asiantuntijaryhmässä tehtyjä arviointeja voidaan pitää hyödyllisinä. Delfoi-menetelmän käytön yhteydessä käytetään usein myös muita asiantuntijamenetelmiä kuten ristivaikutusanalyysia ja skenaariotekniikoita. Asiantuntijamenetelmänä Delfoi-menetelmä on hyödyllinen arvioitaessa

  1. pitkän aikavälin yhteiskunnallista ja teknologista kehitystä,
  2. julkisen instituution toimintaympäristöä
  3. normatiivisten ts. hallinnollisten tavoitteiden ja toimintaohjelmien muotoilua,
  4. potentiaalisen toimintaohjelman löytämistä,
  5. vaihtoehtoisia toimintaohjelmia sekä
  6. päätöksentekoa sekä yksityisellä että julkisella sektorilla (Helmer 1983, 158, Waissi 1979).

Delfoi-menetelmä erilaisine vaihtoehtoisine tekniikkoineen on osoittautunut käyttökelpoiseksi erityisesti silloin, kun tarkasteltavan ongelma-alueen asiantuntijoita ei esimerkiksi ajanpuutteen tai muitten syiden takia saada saman pöydän ääreen tai kun halutaan eliminoida ryhmässä esiintyvä vahvojen persoonallisuuksien dominoiva vaikutus.

Tunnusmerkit

Linstone ja Turoff viittaavat Delfoi-menetelmän käyttöön asiantuntijakomiteoiden tai -työryhmien työn korvaajana tai täydentäjänä. Tämä on tärkeä lähtökohta, joka selittää monia Delfoi-menetelmän vahvuuksia ja heikkouksia. Delfoi -menetelmä käsittelee asiantuntijatietoa erityisellä tavalla. Delfoi-menetelmällä voi nähdä olevan kolme keskeistä piirrettä (mm. Woudenbergin 1991): panelistien tunnistamattomuus eli anonymiteetti, argumenttien iteraatio ja kaksi tai useampia palautekierroksia .

Tunnistamattomuus (anonymity)

Tunnusomaista menetelmälle on asiantuntijoille anonyymisyys eli asiantuntijat esittävät ja perustelevat tulevaisuutta koskevia väitteitä usein tietämättä, keitä muita asiantuntijoita tutkimuksessa on mukana. Anonyymiydellä pyritään siihen, että asiantuntijat esittäisivät aitoja mielipiteitään ja käsityksiään tutkimuksen aihepiiristä. Näin yksittäiset asiantuntijat voivat esittää mielipiteitä pelkäämättä ”kasvojensa menetystä”. Korkeassa status-asemassa olevat asiantuntijat uskaltavat rooliodotuksista vapautettuina esittää käsityksiään, kun heidän ei tarvitse tehdä sitä julkisesti omalla nimellään. Keskeistä on, että

  1. asiantuntijat voivat vapaasti muuttaa kannanottojaan (usein asiantuntijan on vaikea luopua kannanotostaan, jos hän on tehnyt kannanottonsa julkisesti),
  2. voimakkaat mielipidejohtajat eivät voi vaikuttaa asiantuntijaryhmän yleiseen mielipiteen muodostukseen,
  3. hyviä, uusia ideoita voisivat esittää myös sellaiset asiantuntijat, joilla ei ole korkeaa statusta organisaatiossa, ja
  4. hyviä ideoita voidaan koota yhteiseen käsittelyyn mahdollisimman monipuolisesti monen erilaisen asiantuntijan toimesta (Turoff & Hiltz 1996, 61).
  5. Ideana prosessissa, jota on perinteisesti kutsuttu Delfoi-tekniikaksi. on tuottaa ryhmäennuste pitäen ryhmädynamiikka minimissään. Fyysinen ja näin myös psykologinen etäisyys ennakointiryhmän jäsenten kesken on maksimoitu. Prosessin tarkoitus on silloin tuottaa tasa-arvoinen ennakointijärjestelmä. (Metcalfe 1995) Turoff ja Hiltz (1995)

On syytä korostaa – toisin kuin monet Delfoi-tekniikan soveltajat ovat tulkinneet – että anonymiteettivaatimus koskee vain argumentointivaihetta. Keskusteluun motivoitumiseksi asiantuntijoiden on hyvä tietää kenen kanssa he keskustelevat. Keskusteluprosessin päätyttyä ei ole mitään syytä salata ideoiden tai mielipiteiden esittäjiä, jolleivät he eivät itse sitä jostain syystä edellytä. Työskentelyn palkitsevuuden kannalta on jopa tärkeää, että hyvän idean esittäjä saa esiin nimensä tai ainakin tahon, jota edustaa.

Delfoi-menetelmää voidaan myös soveltaa työryhmässä siten, että anonyymisyyttä ei ole. Riskinä tämän tyyppisissä Delfoi-tutkimuksissa on se, että jotkut työryhmän asiantuntijat alkavat toimia mielipidevaikuttajina työryhmässä. (ks. Delbecq, Van de Ven & Gustafson 1975). Pyrkimys siihen, että henkilöiden asemasta heidän arvionsa tai argumenttinsa väittelevät ilmeni perinteisessä Delfoi-menetelmässä siten, että asiantuntijoita lähestyttiin kyselylomakkein, joiden sisältämät vastaukset käsiteltiin luottamuksellisina.

Tuoreimmissa sovellutuksissa sähköpostin tai haastattelujen käyttö on yleistynyt. Postikyselyn käyttö verrattuna haastatteluihin johtaa suureen vastauskatoon. Postikyselyinä tehdyissä kansallisissa teknologisen kehityksen Delfoi-tutkimuksissa lomakkeiden palautusprosentti on tyypillisesti jäänyt alle 50%:n. Vastausprosenttia on tosin voitu tuntuvasti nostaa tiedustelemalla etukäteen panelistien halukkuutta osallistua. Tekemällä tutkimuksen ensimmäisen kierroksen haastattelemalla voidaan päästä (Kuusi 1987, Kuusi 1991, Kuusi 1994) alle 10 prosentin kieltäytymisasteeseen. Hyöty suuresta vastaajajoukosta jää kyseenalaiseksi, jos keskeisiä asiantuntijatahoja jää pois. Haastattelutekniikka soveltuu ehkä parhaiten 20-50 hengen asiantuntijapaneelille.

Monta kierrosta (iteration)

Delfoi-tutkimuksessa on kaksi tai useampia kierroksia, joiden aikana asiantuntijoilla on mahdollisuus korjata kannanottojaan. Perinteisessä menetelmässä painotettiin erilaisia arviointeihin liittyviä tilastollisia tunnuslukuja kuten asiantuntijoiden mediaaniarvioita). Jos asiantuntijan arvio esimerkiksi tietyn teknologisen uudistuksen toteutumisajasta poikkesi ”keskimmäisestä” viidestä kymmenestä prosentista panelisteja, häntä pyydettiin esittämään lisäperusteita. Suotavana pidettiin mediaaniarvion hyväksymistä, jos asiantuntijalla ei ollut vahvoja perusteita poikkeavaan kantaan. Tuoreimmissa sovellutuksissa palautekierrosten määrä on yleensä rajoitettu yhteen kirjalliseen palautekierrokseen, jota on usein täydennetty seminaareilla, haastatteluilla tms.

Delfoi -tutkimuksen manageri tai tutkijaryhmä kerää tiedot ja jakaa ne analysoituina panelisteille, jotka tulosten perusteella voivat muuttaa ja edelleen perustella käsityksiään. Usein jatkokierroksilla syvennetään kysymyksenasettelua esitettyjen argumenttien perusteella. Niistä voidaan tehdä uusia tulevaisuuskysymyksiä entisten lisäksi, jolloin tutkimus laajenee, tai sitten tutkimusta fokusoidaan ja rajataan niin, että jatkokierroksille ”selviää” vain osa alkuperäistä kyselyä.

Palaute (feedback)

Asiantuntijoiden tulevaisuutta koskevia käsityksiä ei hyväksytä sellaisinaan perustelematta, vaan niiden esittäjien odotetaan puolustelevan ja perustelevan kantojaan viimeisimmän tiedon valossa. Kannanottojen korjaukset perustuvat toisilta panelisteilta saatuun argumentaatioon ja palautteeseen. Palaute on tyypillisesti koko paneelia koskevia tunnuslukuja kuten vastausten mediaaneja tai hajontatietoja. Traditionaalisessa menetelmässä tällainen tieto on ollut avainasemassa ja vähemmän painoa on pantu faktuaalisten argumenttien välittämiseen. Uusimmissa sovellutuksissa tosiasia-argumentteihin on alettu kiinnittää enemmän huomiota. (Turoff & Hiltz 1996, 56) Alunperin Delfoi -tekniikalla pyrittiin tuottamaan ennen muuta mielipiteiden yksimielisyys asiantuntijaryhmän (vrt. Apollon papit) keskuudessa peräkkäisten kyselyiden ja kontrolloidun palautteen avulla. Menetelmä lähti siitä, että asiantuntijaryhmä todella tiesi erikoisalansa tulevaisuudesta enemmän kuin kadunmiehet ja että se oli myös valmis esittämään kyselyssä parhaan tietonsa. Edelleen oletettiin, että arvioiden laatu paranee kun asiantuntija voi muuttaa mielipidettään toisilta asiantuntijoilta saadun palautteen pohjalta. Delfoi-menetelmän pääasiallisena sovellutusalueena oli alkuvaiheessa teknologian tuleva kehitys. Delfoi-tekniikkaa sovellettiin kuitenkin jo 1970-luvun alussa muillakin toimialoilla tulevan kehityksen ennakointiin.

1990-luvun alkuvuosina julkaistujen kirjojen ja artikkelien tietokantahaussa löytyy delphi -hakusanalla tutkimuksia mm. seuraavista aiheista: ympäristöstandardien asettaminen, energian tuotanto, puhelinteollisuuden tulevaisuus, tieliikenteen tulevaisuus, pankkien automatisointi, lääkeaineiden kehitys, työmarkkinoiden kehitys, toimistotyön tulevaisuus, maataloustuotteiden jalostus Meksikossa, Singaporen turistiteollisuus, teknologian kehityksen ennakointi Kiinassa. Useat haussa löytyneet artikkelit oli julkaistu vuoden 1990 jälkeen Technological Forecasting and Social Change – sekä Futures -lehdissä. Ehkä mittavin yhteiskunnallista kehitystä kansainvälisesti arvioinut Delfoi-menetelmän sovellutus, joka jatkuu edelleen, on YK-yliopiston Millenium -projekti (lähtökohdista Gordon -Glenn 1993), jossa kansainvälisellä paneelilla on arvioitu monipuolisesti tulevaa maailmanlaajuista kehitystä.

Delfoi-tutkimuksen toteutus

Tyypillinen Delfoi-tekniikkaa käyttävä tutkimus etenee seuraavan konseptin mukaan:

  1. tutkimusongelman rajaus ja tutkimuksen tavoitteiden määrittely
  2. suunnittelevan tutkijaryhmän kokoaminen tutkimuksen toteuttamista varten
  3. varsinaisen asiantuntijapaneelin kokoaminen ja valinta
  4. kyselylomakkeen rakentaminen, testaaminen ja korjaus ensimmäistä kyselykierrosta varten
  5. ensimmäinen kyselykierros joko kirjallisena (tai atk-avusteisena) tai suullisena haastattelukyselynä
  6. ensimmäisen kyselykierroksen vastausten analyysi
  7. toisen kierroksen kyselylomakkeen rakentaminen ja mahdollinen testaus
  8. toisen kyselykierroksen toteuttaminen ja vastausten arviointi
  9. raportointi tutkimuksen tuloksista

Delfoi-tutkimuksen vaiheistus on suuntaa antava. Kriittisiä vaiheita tutkimuksessa ovat yleensä asiantuntijaryhmän muodostaminen, eteneminen tutkimuksen toiselle kierrokselle ja loppuraportin laatiminen saatujen vastausten perusteella.

Tutkimusongelma

fi_image

 

Kuten missä tahansa tutkimuksessa Delfoinkin onnistuminen on paljolti kiinni aihe- ja ongelmamäärittelystä. Delfoi -tutkimukseen sopivat hyvin ”kuumat” aihealueet, jotka usein ovat vielä hahmottumattomia ja kiistanalaisia. Aiheeseen liittyvä kehityspotentiaali on vielä sumeaa ja suuntautumatonta. Ensimmäisissä julkaistuissa Delfoi -tutkimuksissa mielekkäiden kysymysten löytämistä paneelin raaka-aineeksi ei pidetty keskeisenä ongelmana. Yksityiskohtaisten kysymysten hahmottelusta vastaa tavallisesti Delfoi -tutkimusta suorittava työryhmä eikä itse tutkimusprosessiin kuulunut relevanttien kysymysten etsiminen. Viimeaikaisissa laajoissa teknologian kehityksen Delfoi-tutkimuksissa ns. topicien valintaan on kiinnitetty kasvavaa huomiota. Ratkaisuja on haettu mm. asiantuntijoiden syvähaastatteluista ja aivoriihityöskentelystä. Suppealle esipaneelille on myös lähetetty avoimia kyselylomakkeita mielekkäiden kysymystenasettelujen löytämiseksi.

Kuusen tekemissä biotekniikan (1991) ja uuden materiaalitekniikan mahdollisuuksien (1994) tutkimuksissa etsittiin ”oikeat kysymykset” 3-6 tunnin syvähaastatteluin. Jopa yli puolet asiantuntijoiden tutkimukseen osallistumiseen käytetystä ajasta kului hyvien kysymyksenasettelujen etsintään. Kysymyksenasettelusta käytetään englanninkielistä termiä topic (aihe, teema, keskustelunaihe, osio). Tutkimuksen lähtökohtana on aina joku issue (ongelma-alue, kiistakysymys, tutkimuksessa ratkaistava asia tai vain yksinkertaisesti tutkimuksen aihepiiri). Traditionaalisessa tutkimusasetelmassa issuen voi ajatella olevan tutkimuksen pääkysymys, jolloin topicit muodostavat sen alaongelmiksi ja -teemoiksi hahmottuvat osa-alueet. Sopiville kysymyksenasetteluille voidaan esittää joitakin sisällöllisiä piirteitä. Erityisen hyvin menetelmä soveltuu tulevaisuuskehityksen vaikeasti pääteltävien taite- ja käännepisteiden löytämiseen ja ajoittamiseen.

Asiantuntijatiedon kanssa kilpaileva mennyttä kehitystä analysoiva ja ekstrapoloiva menetelmä on tilastollinen aikasarja-analyysi, jossa tavallisena työvälineenä on ollut regressioanalyysi. Regressioanalyysillä on käytännössä saatu suhteellisen luotettavia arvioita, kun kehitys on edennyt likimain lineaarisesti tai loglineaarisesti eli prosentuaalisesti tasaisesti kasvaen. Kehitys voi myös sisältää toistuvia suhdanne- tai kausivaihteluja ennusteen luotettavuuden heikentymättä. Menneen kehityksen trendien laskennalliseen jatkamiseen perustuva ennakointi on sen sijaan lähes säännöllisesti johtanut vääriin arvioihin kun kehityksessä on ollut trendin taittumis- tai käännepisteitä. Teknisten innovaatioiden ohella myös sosiaaliset innovaatiot leviävät tyypillisesti ns. logistista S-käyrää noudattaen (diffuusioteoriat). Tässä käyrässä on useita käännepisteitä, joiden esiintymistä ja ajoittumista voidaan tutkia Delfoi -menetelmällä. Teknisten innovaatioiden leviämisessä tyypillinen ensimmäinen käännepiste on jonkin toimivan teknis-tieteellisen ratkaisun löytäminen.

Esimerkiksi geenitekniikassa tällainen käännepiste oli vuonna 1973 tapahtunut ensimmäinen geenin siirto plasmidirenkaita käyttäen lajista toiseen. Seuraava tyypillinen teknisen innovaation etenemisen käännepiste on jonkin periaatteessa myytävissä olevan tuotteen kehittäminen teknis-tieteellisen ratkaisun pohjalta. Esimerkiksi geenin siirtoa sovellettiin nautojen kasvuhormonin tuottamiseen bakteereissa. Kolmas ennakoitava taitepiste, joka voi jäädä myös tulematta, on tuotteen pääsy markkinoille. Se edellyttää vähintään pilot -mittakaavaisen tuotannon käynnistämistä. Toisaalta se edellyttää myös tuotteen viranomaishyväksyntää.

Geenitekniikan alkuvaiheessa viranomaishyväksynnän saaminen on ollut kiven takana. Jotkut periaatteessa valmiit tuotteet ovat saaneet odottaa jopa kymmenen vuotta hyväksyntää. Teknisesti mahdollinen geenien siirto ihmisen sukusoluihin saa luultavasti odottaa vielä vuosikymmeniä. Tuotteen päästyä markkinoille tulee ennakoinnin kohteeksi se, kuinka kuluttajat hyväksyvät tuotteen eli löytyykö sille kysyntää. Vaikka viranomaiset Yhdysvalloissa hyväksyivät naudan kasvuhormonin käytön, kuluttajat suhtautuivat varsin epäillen ”superlehmien” lihaan. Seuraava käännepiste liittyy tuotteen leviämisnopeuteen. Kuinka tuote valloitettuaan yhden maan markkinat leviää toisten maiden markkinoille? Kohtaako se kilpailevia tuotteita, jotka estävät sen leviämisen? Viimeinen käännepiste liittyy uuteen tuotteeseen, makujen muutokseen tms. joka antaa kuoliniskun innovaatiolle. Bioteknisten tuotteiden tapauksessa se lienee tyypillisesti toinen biotekninen tuote, mutta se saattaa myös olla jokin tuotteeseen liittyvä arvaamaton sivuvaikutus kuten kasvuhormonien tapauksessa nopeasti lisääntyneet syöpätapaukset.

Delfoi-tutkimus on erityisen mielekäs tutkimuskohteessa, jossa muutokset ovat ”idulla” eivätkä ole vielä ”riistäytyneet” systemaattiseksi kehitykseksi. Tällaisissa tapauksissa korostuu – kuten asiantuntijakomiteoissa – mahdollisuus yhdessä hahmotella parhaaseen kehitykseen johtavaa toimintastrategiaa. Tämä näkökulma on ollut voimakkaasti esillä erityisesti Englannin kansallisessa teknologisen kehityksen Delfoi-tutkimuksessa. Myös Yhdysvalloissa on Delfoi-menetelmää muistuttavalla menettelyllä laadittu priorisoitavien teknologioiden luetteloja.

Tutkijaryhmä

fi_image

 

Delfoi-tutkimuksessa voi olla järjestyneesti mukana kolme ryhmää:

  1. tutkimuksen toimeksiantaja(t),
  2. tutkimuksen suunnittelija(t) ja itse
  3. asiantuntijaryhmä eli paneeli.

Yleensä on tutkimuksen laaja-alaisuuden kannalta hyödyllistä muodostaa suunnitteleva tutkijaryhmä silloinkin, kun itse tutkimuksen manageroinnista vastaa vain yksi tai kaksi henkilöä. Delfoi-tutkimuksen organisoinnin yhteydessä on syytä kiinnittää huomioita siihen, että tutkimukseen osallistuvat ryhmät toimivat hyvässä yhteistyössä keskenään. Eri ryhmien kokoonpano on arvioitava kriittisesti jokaisen tutkimuksen yhteydessä. Suunnitteluryhmä takaa ongelmanasettelun (issue) ja kyselyn (topicit) kelpoisuuden. Se voi myös ohjata tutkimuksen palautteenantoa ja uusien kierrosten kysymyksenasettelua.

Paneeli eli asiantuntijaryhmä

fi_image

Paneeleja voidaan muodostaa yksi tai useampia. Tavallisesti niiden jäsenet ovat tutkittavan alueen asiantuntijoita. Näin ei kuitenkaan välttämättä tarvitse olla, sillä kysely voidaan kohdistaa myös ”maallikkopaneelille”. Olennaista Delfoi-menetelmän käytössä on se, että sen pohjalta voidaan käydä järjestelmällinen asiantuntijakeskustelu, johon osallistuu useita erilaisia asiantuntijoita. Yleensä Delfoi-paneeliin osallistuu n. 20-100 asiantuntijaa, jotka kykenevät käsittelemään monimutkaisia ongelmia. Delfoi-tutkimuksen kannalta henkilö katsotaan asiantuntijaksi silloin kun hän pystyy tekemään parempia arvioita ja ennusteita kuin ei-asiantuntija. Asiantuntijat kannattaa valita siten, että yhdessä he edustavat monipuolisesti tutkittavan aihepiirin kehittäjäyhteisöä eli toimijoita työskentelevät tutkittavan aiheen piirissä.

Yleensä asiantuntijalle asetetaan seuraavat vaatimukset (Hurwood, Grossman & Bailey 1978, 13): Asiantuntijan on oman tiedonalansa kärjessä. Asiantuntijoita pitäisi valita myös usealta tutkittavaa asiaa sivuavaltakin alalta, jotta saataisiin tietoa useasta eri näkökulmasta. Asiantuntijan on kiinnostunut eri tiedonaloista. Asiantuntijan pystyy näkemään yhteyksiä kansallisen ja kansainvälisen, nykyisen ja tulevan kehityksen välillä. Asiantuntijan kykenee tarkastelemaan ongelmia myös epätavanomaisesta näkökulmasta. Asiantuntijan on kiinnostunut tekemään jotain uutta. Kun arvioidaan henkilön asiantuntemuksen määrää, voidaan apuna käyttää seuraavia tekijöitä:

  1. henkilön kokemus ja ammatilliset tiedot ja taidot,
  2. ennustamiskyky, mielikuvitus ja luovuus,
  3. kyky nähdä malleja siellä, missä muut näkevät vain satunnaisia elementtejä, ja
  4. muiden asiantuntijoiden mielipiteet ko. henkilöstä (Palsio 1984, 8).

Delfoi-paneelia koottaessa olisi hyvä huolehtia siitä, että asiantuntijat omaisivat riittävästi ylläkuvattuja asiantuntijan ominaisuuksia. Jos asiantuntijapaneeliin ei saada koottua monipuolista asiantuntemusta, olisi tämä syytä muistaa etenkin tulkittaessa saatuja tuloksia. On tärkeää ymmärtää, että asiantuntijamenetelmiä käytettäessä ratkaisevaa on asiantuntijoiden laatu eikä määrä. Vaikka kansallisissa teknologisen kehityksen Delfoi-tutkimuksissa käytetyt suuret paneelit heijastelevat edustavasti teknologian kehittämisyhteisöjen näkemyksiä, näkemysten ”demokraattinen” huomioon otto ei ehkä tuo esille parhainta näkemystä. Jos Neuvostoliitossa olisi 1930-luvun alussa tehty arvio tavasta, jolla maa teollistetaan, yhden miehen – Stalinin – paneeli olisi ollut asiantuntevampi kuin tuhannen muun asiantuntijan.

Kansallisissa Delfoi-tutkimuksissa ongelmaa on pyritty ratkaisemaan tulostamalla erikseen asiantuntemuksensa korkeimmiksi arvioineiden näkemykset. Tämä ratkaisumalli ei kuitenkaan toimi kovin hyvin varsinkaan pyrittäessä tuottamaan relevantteja faktuaalisia argumentteja. Ongelmana on nimittäin, että parhaat asiantuntijat eivät suinkaan aina ole parhaita argumenttien tuottajia. Hölösuu” tiedemies tai ”kylähullu” keksijä voi vähän tietävänäkin olla hyödyllisempi asiantuntija kuin tietonsa visusti salaava yritysjohtaja. Delfoi-tekniikkaa esittelevässä kirjallisuudessa on pidetty sopivana 20 – 60 tarkasti harkitun panelistin joukkoa. Se soveltuu kustannuksetkin huomioon ottaen usein paremmin argumentoivaan tutkimukseen kuin suuri paneeli, jota voidaan resurssien puutteen vuoksi käyttää vain pinnallisesti. Paneelia on tärkeää käsitellä ryhmänä, jossa erilaiset ihmiset ja näkökulmat katalysoivat keskustelua.

Esimerkiksi tuoteinnovaatioita pohtivaan Delfoi-raatiin on hyvä kuulua niitä esimerkiksi tutkijoita, kansalaisaktiiveja tms., jotka herkästi aistivat ”ilmassa leijuvat” tulevaisuuden tekniset ja yhteiskunnalliset mahdollisuudet, tulevaisuuden heikot signaalit. Toisaalta raatiin tulisi kuulua tulevaisuuden toimeenpanijoita kuten päätöksenteon valmistelijoita julkishallinnossa, yritysjohtajia ja ”hulluja” kokeilemaan valmiita yrittäjiä. Paneelin onnistunut valinta edellyttää sen kehittämisyhteisön rakenteen tutkimista, jonka päätöksistä arvioitava kehitys riippuu. Kehittämisyhteisön avainhenkilöt tulee myös motivoida vakavaan osallistumiseen. Sitä edistää tutkimukselle asetettava yhteisössä arvostettu johto- tai tukiryhmä, jonka nimissä on hyvä aluksi lähestyä panelisteja. Myös tutkijoihin tai Delfoi-managereihin on hyvä lukeutua ainakin joku kehittäjäyhteisön arvostama ja tuntema henkilö.

Kysely

fi_image
Panelistit kohtaavat Delfoi -tutkimuksen ensi kerran, vastaanottaessaan kutsua osallistua tutkimukseen asiantuntijana. On suositeltavaa etukäteen varmistaa asiantuntijoiden mahdollisuus ja motiivi Delfoi -prosessiin. Usein kuitenkin kutsu ja ensimmäisen kierroksen kyselylomake esiintyvät yhdessä. Silloinkin tutkimuksen orientaatio (kyselyn tarkoitus ja kulku) on tärkeää sen lisäksi, että itse kyselyn tulisi houkutella ekspertin asiantuntemus esiin. Kyselyn suunnittelijoiden vaativa tehtävä on kehystää tutkimus relevantilla faktuaalisella tiedolla. Muutoin kyselyn ja kysymysten laatimiseen sopivat yleiset tutkimuskyselyn tekemistä koskevat ohjeet oli kysymys sitten kvantitatiivisesta tai kvalitatiivisesta kyselystä. Perusasioita on se, että laadittu kyselylomake kannattaa testata ja korjata esipaneelin avulla. Useimmiten aiheteemojen (topic) eli kyselyosioiden määrä kannattaa rajata 2-4, jotta tutkimuksen jännite säilyisi eikä kyselystä tulisi vastaajille liian kuormittavaa.

Delfoi- keskustelun strukturoinnissa eli ensimmäisen kyselykierroksen laatimisessa on hyvä ottaa huomioon tyypillisiä virheitä, joista joitakin on jo edellä käsitelty. Mannermaa (1991) on esittänyt yhteenvedon Delfoi-tutkimuksissa esiintyvistä virheistä paljolti nojautuen Linstonen (1978) Delfoi-tekniikan esittelyyn. Vastausten hajonta näyttää kasvavan suhteessa ennusteen ajalliseen etäisyyteen. Mitä kauemmaksi tulevaisuuteen ennustetaan, sitä suuremmat ovat erot asiantuntijoiden arvioissa. Nykykäsityksen mukaan vastausten hajoaminen ei suinkaan tee tuloksista vähemmän mielenkiintoisia. Usein myös lyhyellä tähtäimellä relevantit suuret muutokset osataan hahmottaa tai halutaan esittää vasta kaukaisemmassa tulevaisuudessa esiintyviksi.

Biotekniikkaa koskevan tutkimuksen yhteydessä esiintyi tapaus, missä taloudellisesti merkittävän teknisen uudisteen kehittelijä liikesalaisuutensa varjelemiseksi siirsi jo pitkälle kehitellyn tuotteen käyttöönoton kaukaiseen tulevaisuuteen. Asiantuntijoilla on taipumus olla pessimistisiä pitkällä aikavälillä ja optimistisia lyhyellä aikavälillä. Perusteluksi optimismille on esitetty, että jo tunnettu ratkaisu oletetaan otettavaksi ilman ongelmia käyttöön. Toisaalta pitkälle tulevaisuuteen ennustettaessa ajatellaan, että jos ratkaisua ongelmaan ei tiedetä, niin sitä ei voida löytää. Yksi ratkaisu ongelmaan on ottaa mukaan paneeliin toisaalta kilpailevia ratkaisuja edustava kriitikkoryhmä ja toisaltaalta hieman ”hurahtaneina” pidettyjä keksijöitä tms.

Väitteet ja kysymykset heijastavat tekijöidensä tietoja, taustaa ja subjektiivista maailmankuvaa. Tällä tekijällä voi olla omavaikutuksensa saatuihin tuloksiin. Lisäksi kysymysten pituus voi vaikuttaa saatuihin tuloksiin. Liian pitkät kysymykset voivat olla monimutkaisia ja aiheuttaa ongelmia vastattaessa. Toisaalta liian lyhyet kysymykset aiheuttavat selvästi toisistaan poikkeavia tulkintoja. Näitä ongelmia voidaan välttää panemalla enemmän painoa hyvien kysymysten etsintään ja käyttämällä postikyselyjen asemasta haastatteluja. Mitä järkevämmäksi, hyödyllisemmäksi tai taloudellisesti kannattavammaksi idea mielletään, sitä aikaisemmaksi sen toteutuminen arvioidaan. Tämän virhelähteen merkitystä voidaan vähentää tekemällä etukäteen selväksi, mistä näkökulmasta tulevaisuutta tarkastellaan kuten esimerkiksi tulevaisuuden tekijän näkökulmasta.

Ihmiselle 20 vuoden kuluttua tapahtuva kriisi ei ole läheskään niin merkittävä kuin samanlainen kriisi kahden kuukauden kuluttua. Ongelmallista saattaa olla, että asiantuntijat käyttävät arvioissaan eri diskonttokorkoa (tulevaisuuden ”diskonttaaminen”). On myös havaittu, että lähimenneisyyden tapahtumilla on huomattavasti suurempi merkitys arvioitaessa tulevaisuutta kuin kauempana menneisyydessä tapahtuneilla asioilla. Asiaa voidaan auttaa kytkemällä tulevaisuusarviot tulevaa toimintaympäristöä kuvaaviin skenaarioihin. Ihmiset yleensä pitävät tavoiteltavina varmuutta ja yksinkertaisuutta verrattuna epävarmuuteen ja monimutkaisuuteen. Tällöin helposti tulevaisuus nähdään osa arvioina nykyisen kaltaisessa ympäristössä. Kuitenkin tulevaisuus muodostuu aivan uudessa ympäristössä. Myös tähän arvioiden kiinnittäminen skenaarioihin tarjoaa yhden ratkaisun. Pyrkimys sekoittaa toisiinsa tapahtuman haluttavuus ja todennäköisyys on asiantuntijoidenkin keskuudessa tavallista. Tällöin helposti tehdyt arviot kuvastavatkin enemmän asiantuntijan toiveita kuin oletettavasti tapahtuvia asioita. Toisaalta voidaan myös päätyä järkevältä kuulostavaan ”more of the same” -ennusteeseen, vaikka sillä olisikin vähän perusteita. Tässä on jälleen avuksi, jos tehdään etukäteen selväksi, mistä näkökulmasta tulevaisuutta tarkastellaan. Käytettyjen asiantuntijoiden pätevyysalueen kapeus saattaa muodostua haitalliseksi.

Monasti pätevän arvion tekeminen vaati laajaa näkemystä koko tutkittavan aiheen ympäristön kehityksestä. Tällöin ei riitä rajoitettu asiantuntijanäkemys aiheesta. Esimerkiksi tutkimuksiin osallistuneilla insinööreillä on taipumus aliarvioida yhteiskuntaan vaikuttavien uusien taloudellis-teknologisten järjestelmien monimutkaisuutta ja kustannuksia sekä jättää huomioimatta ei-teknologisia tekijöitä. Tähän ongelmaan voidaan vaikuttaa mm. asiantuntijapaneelin valinnalla.

I Delfoi-kierros ja analyysi

fi_image
Ensimmäinen kyselykierros suoritetaan joko kirjallisena tai suullisena haastattelukyselynä. Kirjallinen kysely tehdään postin välityksellä. Molemmissa tapauksissa voidaan hyödyntää myös teleteknologiaa erilaisin lähi- ja etätoimintakombinaatioin. Kyselykierroksella on yksiselitteinen pääteaika, johon asti on mahdollisuus vastata kysymyksiin. Perinteisessä Delfoissa vastaajalla ei ollut mahdollisuutta seurata muiden vastailua tai tarkistaa vastauksiaan. Managerin tehtäväksi jäi koota kierroksen tulokset ja esittää ne seuraavan kierroksen pohjaksi. Osallistujille välitetään useimmiten valikoidusti tiedot muiden osallistujien näkemyksistä ja argumentaatioista. Asiantuntijat voivat halutessaan muuttaa esittämiään mielipiteitä ja arvioita tulevaisuuden kehityksestä. Se mahdollistuu kuitenkin vasta toisella kierroksella. Tavallista on, että postivälitteinen Delfoi -tutkimus kestää tilauksesta loppuraporttiin vähintään kolme kuukautta.

Televälitteisessä Delfoissa läpimeno voidaan supistaa kolmanteen osaan. (Hiltz & Turoff 1978, Nelms & Porter 1985, Rice & Associates, Turoff 1989, 1991, Linturi et alii 1998) Internet -välitteisessä Delfoissa analyysin tulokset voidaan esittää reaaliaikaisesti sitä mukaan kun vastauksia kertyy (esim. Professional Delphi Scan: http://nexusdelfix.internetix.fi). Samoin vastaajat voivat vastata vähän kerrallaan useissa istunnoissa. Yhtä lailla heillä on mahdollisuus jo ensimmäisen kierroksen aikana muuttaa vastauksiaan ja lisätä perusteluja. Verkkoympäristö häivyttää aiemmin selkeää I ja II kierroksen rajaa niin, että tutkimusprosessi voi samoin resurssein edetä dynaamisemmin ja pitemmälle. Toinen kierros on mahdollista rakentaa kuumimmille teemoille eli tutkimus tavallisesti fokusoidaan ja rajataan mielenkiintoisimmille alueille. Manageri voi myös pitkin kyselyn kulkua ohjata ja tiivistää prosessin kulkua sekä ”karhuta” mielipiteitä semiautomaattisin joukkosähköpostituksin.

II Delfoi-kierros

fi_image
Traditionaalisessa Delfoi -tekniikassa kierrosten välissä analysoidaan tulokset ja valitaan niistä kiintoisimmat uuden kierroksen pohjaksi. Tehtäväksi tuli silloin tulosten keräämisen ja analysoinnin ohella toisen kierroksen kyselylomakkeen rakentaminen ja testaus, mikäli sitä pidetään tarpeellisena. Atk-avusteisessa Delfoissa kyselyn evoluutio voi tapahtua ilman tarkkoja rajoja tilanteen sekä manageriston ja tutkijaryhmän päätösten mukaan. Määrittelykysymys on, milloin siirrytään toiseen tai kolmanteen kierrokseen. Useimmiten on kysymys tutkimuksen syvenemisestä ja tarkentumisesta.

Raportointi

fi_image
Uusi teknologia ei muuta raportointitapahtumaa muuten kuin siten, että aineisto voidaan autenttisesti kerätä digitaalisessa muodossa raportin pohjaksi. Tutkimuksen tulokset ja johtopäätökset jäävät edelleen tutkijaryhmän tulkittaviksi vähintään valinnan ja merkityksenannon mielessä. Olennaista raportoinnissa on, mitkä tulokset (tilastojakaumat ja argumentit) valitaan merkityksellisinä mukaan ja minkälaisin tulkinnoin. Raportointiin kuuluu myös tutkimuksen tulosten reflektointi ja arviointi. Arvioinnin perustana voi olla esimerkiksi menetelmän menestyneen käytön kuusi ehtoa:

  1. onnistuminen asiantuntijapaneelin valinnassa,
  2. anonyymi argumentointi, joka ei ole pelkästään asiantuntijoiden perustelemattomien mielipiteiden esittämistä vaan yhä enenevässä määrin keskittyy faktuaalisten argumenttien esittämiseen keskustelun kohteena olevista kysymyksistä,
  3. onnistuminen mielekkäiden kysymystenasettelujen kuten ns. topicien etsimisessä,
  4. stukturoitu keskustelu, jossa jatkuvasti ja systemaattisesti arvioidaan esitettyjen topicien ja niitä kommentoivien argumenttien pätevyyttä (arviointia tulee tulevaisuusväitteiden tai skenaarioiden osalta tehdä paitsi niiden toteutumisesta myös mm. tärkeydestä, toivottavuudesta ja toteutumisen erilaisista esteistä tai edellytyksistä),
  5. kyky koota systemaattisesti arvioiden, kasautuvasti ja käyttäjäystävällisesti relevantteja tulevaisuusargumentteja monilta ja monenlaisilta asiantuntijoilta esimerkiksi Internetin välityksellä tavoitettaviin tietopankkeihin, ja
  6. tuotetun aineiston relevanssi strategisen päätöksenteon kannalta.

Pohdiskelua

Delfoi -tekniikka skenaariomenetelmänä

Delfoi-menetelmä ajautui 1970-luvulla vakavaan kriisiin, joka kulminoitui vuonna 1975 julkaistuun Harold Sackmanin (1975) murskaavaan arvioon. Tämä Rand-yhtymän asiantuntijan kritiikki vaimensi Delfoi-menetelmän käytön noin vuosikymmeneksi kunnes harrastus virisi uudelta pohjalta 1980-luvun puolivälin jälkeen. Sackmanin kritiikin kaikuja oli kuultavissa vielä niinkin myöhään kuin 1990-luvun alussa.

Vuonna 1991 ilmestyneessä teknologian ennakoinnin ja strategisen suunnittelun käsikirjassa Millett ja Honton (1991) opastavat lukijoitaan seuraavasti: ”Delfoi-tutkimus vaatii tavallisesti liian paljon aikaa ja rahaa ja tulokset ovat usein epäoleellisia. Asiantuntijoiden yksimielisyys ei takaa, että tulokset olisivat osuvia. Monet Rand-yhtiön tukijat oivalsivat tämän siirtyen käyttämään toisia ennakoinnin välineitä kuten ristivaikutusanalyysiä ja skenaarioita.” Erityinen piirre, jota Millett ja Honton korostavat johtopäätöksessään on asiantuntijoiden yksimielisyyden tavoittelu, joka on osoittautunut perinteisen menetelmän selväksi heikkoudeksi. Itse asiassa jo 1970-luvun alussa Murray Turoff esitti Delfoi -menetelmän muunnoksen (ns. Policy Delphi), missä yksimielisyyden tavoittelun asemasta pyrittiin nostamaan esiin aidot mm. poikkeavista intresseistä johtuvat ristiriidat (Turoff 1975).

Tärkeimmät Delfoi-menetelmän uudelleenarvioinnit – paljolti tuloksena Sackmanin kritiikistä – liittyvät paitsi yksimielisyyden tavoitteluun myös tapaan esittää kritiikittömästi asiantuntijoiden mielipiteiden keskiarvoa asiantuntevimpana arviona. Jos asiantuntijapaneeli on kokoonpanoltaan yksipuolinen myös mielipiteiden keskiarvot ovat sitä. Sackmanin (1975, 22) esittämä ääriesimerkki oli asbestin terveyshaittoja koskeva konsulttitoimisto Arthur T. Littlen vuonna 1973 tekemä tutkimus. Tässä tutkimuksessa kaikki panelistit yhtä lukuun ottamatta olivat asbestia käyttäneissä yrityksissä tai näiden rahoittamissa hankkeissa työskennelleitä. Ei ihme, että yhdeltä poikkeavalta saatiin erilaisia näkemyksiä kuin muilta.

Nykyisin useimmat Delfoi-tekniikan soveltajat eivät enää tavoittele asiantuntijoiden yksimielisyyttä vaan monia perusteltuja näkemyksiä tulevasta kehityksestä. Myös ajatus, että asiantuntijat ilman muuta käyttävät vastauksissaan parasta tietoaan, on asetettu kyseenalaiseksi. Koska Delfoi- tutkimuksissa on pidetty tärkeänä että näkemyksen esittäjää ei voida tunnistaa, hänen on houkuttelevaa esittää kantoja, jotka muokkaavat yleistä mielipidettä hänen toivomaansa suuntaan. Delfoi- tekniikka skenaariomenetelmänä käyttävä tiedostaa, että tiedon esittäjän psyykkiset ominaisuudet, arvot ja intressit vaikuttavat hänen esittämiinsä tulevaisuusarvioihin. Asiantuntija tekee aina tietoisen tai tyypillisemmin alitajuisen valinnan siitä, miltä kannalta hän tarkastelee tulevaisuuden kehitysvaihtoehtoa. Tämä on tärkeää ottaa selkeästi huomioon tutkimusta suunniteltaessa.

Delfoi-paneelille voidaan asettaa kysymyksiä erilaisista näkökulmista käsin. Kysymykset asiantuntijapaneelin jäsenille voidaan asettaa niin, että vastaukset valottavat tulevaisuuden tarkastelun vaihtoehtoisia strategioita. Taulukossa 1 on esitetty (Kuusi 1993, 133) esittämä jaottelu tulevaisuuden tarkastelun vaihtoehtoisista strategioista. Kaiken kaikkiaan painopiste Delfoi-tekniikkaan perustuvissa tulevaisuusarvioissa on siirtynyt tapahtumien tai teknisten keksintöjen vuosilukujen ennakoinnista keskeisiin argumentteihin tai näkökohtiin, jotka perustelevat kehitysarvioita. Delfoi-menetelmän monia nykyisiä versioita voi kutsua skenaariomenetelmiksi: eri kantoja tulevasta kehityksestä edustavat asiantuntijat hahmottelevat Delfoi-prosessin kuluessa tulevaisuusarvioilla ja niiden perusteluilla erilaisia skenaarioita. Jotkut versiot, kuten tulevaisuusbarometrit, tuottavat puolestaan lähtökohta-aineistoa skenaarioille.

  1. Sivultaseuraavan näkökulma: Kehitystä tarkkaillaan pyrkien pitämään omat toiveet erossa arviosta. Arvioidaan mihin kehitys on todennäköisimmin johtamassa.
  2. Tulevaisuuden tekijän näkökulma: Hahmotellaan kehityskulkua, jonka puolesta kannattaa tehdä työtä. Tällainen tulevaisuus on tukevasti mahdollisuuksien rajoissa ja samalla toivottava. Eli sen eteen tehty työ ei ilmeisesti mene hukkaan.
  3. Uhkiin varautuvan näkökulma: Hahmotellaan tulevaisuutta, missä Murphyn lain mukaisesti kaikki, mikä voi mennä pieleen, todella menee. Tähän tulevaisuuteen varautuva voi kääntää uhkat mahdollisuuksiksi.
  4. Mahdollisuuksiin tarttuvan näkökulma: Tekninen ja muu kehitys tarjoaa mahdollisuuksia, joihin uskaliaasti tarttumalla hahmoteltu tulevaisuus voi toteutua. On kuitenkin suuri riski, että tavoiteltu tulevaisuus ei toteudu.

Kuusi, Osmo 1999. Delfoi-menetelmä. http://www.metodix.com. Menetelmäartikkelit

Lähteet

fi_image7

Adler, M. & Ziglio, E. (toim.) (1996) Gazing into the Oracle. The Delphi Method and its Application to Social Policy and Public Health. Jessica Kingsley Publishers. London and Bristol, Pennsylvania.

Anderson, D.R., Sweeney, D.J. & Williams, T.A. (1988) An Introduction to Management Science. Quantitative Approaches to Decision Making. Fifth Edition. West Publishing Company. United States of America.

Armstrong, J.S. (1985) Long-Range Forecasting. From Crystal Ball to Computer. Second Edition. Wiley-Internscience Publication. United States of America.

Ascher, W. (1989) Limits of ”Expert Systems” for Political Economic Forecasting. Technological Forecasting and Social Change. No. 36, 137-151.

Cicarelli, J. (1984) The Future of Economics. A Delphi Study. Technological Forecasting and Social Change. No. 25, 139-157.

Cuhls, Kerstin (1998) Technikvorausschau in Japan, Physica-Verlag, Heidelberg

Daellenbach, H.G. (1994) Systems and Decision Making. A Management Science Approach. John Wiley & Sons. Great Britain.

Delbecq, A.L., Van de Ven, A.H. & Gustafson, D.H. (1975) Group Techniques for Program Planning: A Guide to Nominal Group and Delphi Process. Scott-Foreman.

Glenview, IL.

Delphi ’98, Studie zur globalen Entwicklung von Wissenschaft und Technik (1998), Fraunhofer-Institut fur Systemtechnik and Innovationsforschung, Karlsruhe

Godet, M. (1993) From Anticipation to Action. A Handbook of Strategic Prospective. UNESCO Publishing. France.

Gordon, Jay and Jerome C. Glenn (1993) Issues in Creating the Millenium Project, the United Nations University, Washington.

Gordon Jay (1994). The Delphi Method. United Nations University’s Millennium Project Feasibility Study.

Granger, C.W.J. (1989) Forecasting in Business and Economics. Second Edition. Academic Press. Inc. United States of America.

Hiltz, S.R. & Turoff, M. (1978) The Network Nation: Human Communication via Computer. Reading M.A. Addison-Wesley.

Helmer, O. (1968) Analysis of Future: The Delphi Method. Technological Forecasting for Industry and Government. New Jersey.

Helmer, O. (1983) Looking Forward: A Guide to Futures Research. Sage Publications. Beverly Hills.

Hiltz, Starr R. – Murray Turoff (1995) The Network Nation, MIT Press, London.

Hurwood, D., Grossman, E. & Bailey, E. (1978) Sales Forecasting. The Conference Board Report No. 730.

Irvine, John and Ben R. Martin (1989) Research Foresight, A publication of Netherlands Ministry of Education and Science, the Hague.

Kaivo-oja, J. (1997) Professional Delphi Scan. Delfoi-asiantuntijajärjestelmän projektisuunnitelma. Turun kauppakorkeakoulu. Tulevaisuuden tutkimuskeskus. Turku.

Kaivo-oja, J. & Kuusi, O. (1997) Tietoyhteiskunnan työmarkkinakehityksen tulevaisuusarvio 1997. Proaktiivisen työvoimapolitiikan asiantuntijajärjestelmän tutkimus- ja kehittämishanke. Turun kauppakorkeakoulu. Tulevaisuuden tutkimuskeskus. Turku.

Kaivo-oja, Jari, Osmo Kuusi ja Jussi T. Koski (1997) Sivistyksen tulevaisuusbarometri 1997, Opetusministeriön suunnittelusihteeristön keskustelumuistioita 25

Kohonen, T. (1996) Avaako neurolaskenta oven virtuaalimaailmaan? Futura. Futura. Vsk. 15, No. 1, 7-11.
Kuusi, O. (1987) Palvelusta itsepalveluun. Kotien tietorekisteriyhteydet 2010. Taloudellinen suunnittelukeskus. Helsinki.

Kuusi, O. (1991) Uusi biotekniikka. Mahdollisuuksien ja uhkien teknologia. Tammi. Helsinki.

Kuusi, O. (1993) Delfoi-tekniikka tulevaisuuden tekemisen välineenä. Teoksessa M. Vapaavuori (toim.) Miten tutkimme tulevaisuutta? Acta Futura Fennica. No. 5. Tulevaisuuden tutkimuksen seura ry. Painatuskeskus. Helsinki, 132-140.

Kuusi, O. (1994) Materiaalit murroksessa. Valtion taloudellinen tutkimuskeskus. Vatt-julkaisuja 16. Helsinki.

Kuusi, O. (1996) Asiantuntijatiedon jalostaminen tulevaisuudentutkimuksessa. Futura. Vsk. 15, No. 4, 8-16.

Kuusi, Osmo (1999): Expertise in the Future Use of Generic Technologies. VATT:n tutkimuksia 59. Helsinki.

Lang, T. (1996) An Overview of Four Futures Methodologies. Delphi, Environmental Scanning, Issues Management and Emerging Issues Management. Hawaii.

Lewis, D.E. (1984) Charasteristics of Selected Delphi Studies and Their Perceived Impact on Higher Education. Doctoral Dissertation. University of Florida.

Linstone H. A. (1978) The Delphi Technique, sis. Jib Fowles (toim.) Handbook of futures research, Greenwood Press, Westport 1978

Linstone H. – Turoff M. (toim.) (1975) The Delphi Method, Techniques and Applications, Addison-Wesley Publishing Company, Massachusetts 1975

Linturi Hannu et alii (1998). Professional Delphi Scan. Käyttäjän opas. Tulevaisuuden tutkimuskeskus. Turun kauppakorkeakoulu.

Linturi Hannu et alii (1998). Professional Delphi Scan. Managerin opas. Tulevaisuuden tutkimuskeskus. Turun kauppakorkeakoulu.

Loveridge, D. – Georghiou, L. – Nevada, M. (1995): United Kingdom Foresight Programme – Delphi Survey. A Report to the Office of Science and Technology. PREST. University of Manchester (http://www.foresight.gov.uk).

Madridakis, S. & Wheelwright, S.C. (1978) Internactive Forecasting. Univariate and Multivariate Methods. Second Edition. Holden-Day. San Francisco.

Madridakis, S. & Wheelwright, S.C. (1989) Forecasting Methods for Management. Fifth Edition. John Wiley & Sons. Singapore.

Makridakis, S. (1996) Forecasting: Its Role and Value for Planning and Strategy. International Journal of Forecasting. No. 12, 513-537.

Malaska, P. (1993) Tulevaisuustietoisuus ja tulevaisuuteen tunkeutuminen. Teoksessa M. Vapaavuori (toim.) Miten tutkimme tulevaisuutta? Acta Futura Fennica. No. 5. Tulevaisuuden tutkimuksen seura ry. Painatuskeskus. Helsinki, 6-12.

Mannermaa Mika (1991) Evolutionaarinen tulevaisuudentutkimus, VAPK -kustannus, Helsinki 1991

Mannermaa, M. (1996) Asiantuntijamenetelmät jääneet tulevaisuudentutkimukseen. Futura. Vsk. 15, No. 4, 17-26.

Mannermaa, Mika (1999) Tulevaisuuden hallinta – skenaariot strategiatyöskentelyssä, WSOY, Porvoo

Mannermaa, Mika ja Mäkelä, Keijo (1994) Tulevaisuusbarometri 1993, Opetusministeriön suunnittelusihteeristön keskustelumuistioita 21, Helsinki.

Metcalfe, Mike (1995) Forecasting Profit, Kluwer, London

Millett M.M. – Honton E.J. (1991) A Manager`s Guide to Technology Forecasting and Strategy Analysis Methods, Battelle Press, Colum- bus 1991

Nelms, K.R. & Porter, A.L. (1985) EFTE: An Interactive Delphi Method. Technological Forecasting and Social Change. No. 28, 43-61.

Nonaka, I (1994) A Dynamic theory of organizational knowledge creation, Organizational Science, Vol. 5, No. 1.

Palsio, J. (1984) Skenaarioiden laadinta ristivaikutusanalyysimallia käyttäen. Talous- ja tilastomatematiikan projektitutkielma. Turun kauppakorkeakoulu. Turku.

Porter, M. (1997) Creating Tomorrow´s Advantages. Teoksessa R. Gibson (toim.) Rethinking the Future. Nicholas Brealey Publishing. London, 48-61.

Preble, J.F. (1983) Public Sector Use of Delphi Technique. Technological Forecasting and Social Change. No. 23, 75-88.

Rice & Associates (1984) The New Media: Communication, Research and Technology. CA: Sage Publications. Beverly-Hills.

Sackman, Harold (1975) Delphi Critique, The Rand Corporation, Lexington books, Toronto.

Simon, H. (1977) The New Science of Management Decision. Englewood Cliffs. NJ: Prentice-Hall.

Skutsch, M. & Schofer, J.L. (1973) Goals-Delphis for Urban Planning: Concepts in Their Design. Socio-Economic Planning Sciences. No. 7, 305-313.

The Sixth Technology Forecast Survey, Future Technology in Japan Toward the Year 2025 (1997), National Institute of Science and Technology Policy (NISTEP), report No.52

Tulevaisuuden tutkimuksen edistäminen. Suomen Akatemian julkaisuja 13/1980. Helsinki.

Turban, E. (1992) Expert Systems and Applied Artifical Intelligence. MacMillan. New York.

Turban, E. (1993) Decision Support And Expert Systems. Management Support Systems. Third Edition. United States of America.

Turoff, M. (1970) The Policy Delphi. Journal of Technological Forecasting and Social Change. No. 2, 149-172.

Turoff, M. (1972) Delphi Conferencing: Computer Base Conferencing with Anonymity. Journal of Technological Forecasting and Social Change. No. 2, 159-204.

Turoff, Murray (1975) The Policy Delphi in H.A. Linstone and M. Turoff (eds.) The Delphi Method: Techniques and and Applications, Addison-Wesley, Reading, MA.

Turoff, M. (1989) The Anatomy of Computer Application, Innovation: Computer Mediated Communications (CMC). Journal of Technological Forecasting and Social Change. No. 36, 101-122.

Turoff, M. (1991) Computer Mediated Communication Requirements for Group Support. Organizational Computing. No. 1, 1, 85-113.

Turoff, M. & Hiltz, S.R. (1996) Computer-Based Deplhi Processes. Jessica Kingsley Publishers. London. Teoksessa M. Adler & E. Ziglio (toim.) Gazing into the Oracle. The Delphi Method and its Application to Social Policy and Public Health, 56-85.

Uotila, Tuomo, Mannermaa, Mika ja Mäkelä, Keijo Sivistyksen tulevaisuusbarometri 1995, Opetusministeriön suunnittelusihteeristön keskustelumuistioita 23.

van Dijk, J.A.G.M. (1990) Delphi Method as a Learning Instrument. Bank Employees Discussing an Automation Project. Technological Forecasting and Social Change. No. 37, 399-407.

Waissi, G. (1979) Delfi-menetelmä. Otaniemi.

Woudenberg, Fred (1991) An Evaluation of Delphi, Technological Forecasting and Social Change 40.



Kategoriat:artikkeli, Artikkelit, Uutiset

Avainsanat:, ,

Vastaa

Täytä tietosi alle tai klikkaa kuvaketta kirjautuaksesi sisään:

WordPress.com-logo

Olet kommentoimassa WordPress.com -tilin nimissä. Log Out / Muuta )

Twitter-kuva

Olet kommentoimassa Twitter -tilin nimissä. Log Out / Muuta )

Facebook-kuva

Olet kommentoimassa Facebook -tilin nimissä. Log Out / Muuta )

Google+ photo

Olet kommentoimassa Google+ -tilin nimissä. Log Out / Muuta )

Muodostetaan yhteyttä palveluun %s

%d bloggers like this: