Seuraava teksti on osin Jarmo Heinosen lisensiaatintyöstä ”A Gap Analysis of Customers and Workers” Helsingin yliopistosta, vuodelta 1998. Tässä katsauksessa conjoint menetelmiin kerrotaan yleisesti conjoint menetelmistä, ortogonaalisista asetelmista, eli tässä tapauksessa conjoint korteista, attribuuttien suhteiden laskemisesta conjoint menetelmässä ja mallinnuksesta. Reliabiliteetista ja validiteetista conjoint analyysien tuloksissa on mukana myös osio.
Tämän tekstin loppuun on koottu selityksiä tekstissä vilisevistä conjoint menetelmiin liittyvistä sanoista, joiden suomenkielistä vastinetta ei ole tai sanan käännös saattaisi johtaa lukijaa harhaan.
Conjointin historia
Vaikka lähdeaineisto vie jopa 20 luvulle saakka, yleisesti hyväksytään vuosi 1964 conjoint laskennan lähtökohdaksi, viitaten psykologimatemaatikko Luceen ja tilastotieteilijä Tukeyn seminaaripaperiin (Luce ja Tukey 1964). Hiukan tämän jälkeen monia teoreettisia avustavia malleja (Krantz 1964; Tversky 1967) ja matemaattisesti kehittyneitä algoritmeja (Kruskal 1965; Carrol 1969; Young 1969) ilmestyi alan julkaisuissa. Psykologimatemaatikot ovat käyttäneet conjoint-mittausta pääasiassa tilanteissa, joissa on ollut sekä riippumattomia että riippuvia muuttujia. Nämä antavat järjestyksen ja yhteisvaikutuksen riippumattomille muuttujille ja ennakkoon määritellylle komposiittimallille. Tietokoneohjelmia on kehitetty tutkimaan miten hyvin aineisto kohtaa erilaisissa olosuhteissa nämä kompositiomallien säännöt. (Green ja Srinivasan 1978).
Termi conjoint analyysi (conjoint analysis) tarkoittaa osahyötyarvoista laskettua dekompositiomallia (part-worth utilities) tai yksittäisarvioinneista tai diskreettien vaihtoehtojen valintavaihtoehdoista laskettua mallia, johon arvot on valittu monivalintavaihtoehdoista. (Louviere 1988, 93). Conjoint analyysi on yleistermi analyyttisille tekniikoille, joilla avataan päätöstilanteissa yhteen nivoutuneita dekompositiomalleja.
Green ja Wind (1973) esittelivät aikoinaan mitattoman (nonmetric) conjoint analyysin, jota käytetään markkinoinnin tutkimuksissa. Tätä käytetään paremmuusjärjestyksellisenä asteikkona luomaan osahyötyarvoja, jotka ovat samoja kuin regressioanalyysissä beta arvot. Näiden avulla saadaan näkyviin vastaajien päävaikutusten kokonaishyötyarvo valintatilanteessa (Green ja Wind 1973; Priem 1992). Mitta-asteikollisessa (metric) conjoint analyysissä taas käytetään intervalliasteikollista aineistoa preferenssien tutkimiseen. Tällaisella asteikolla voidaan arvioida monilineaarista (päävaikutus sekä sen yhteisvaikutus) valintamallia, joka pohjautuu monimuuttujaregression virhekertoimeen. Tämä puolestaan mahdollistaa sen, että eri ominaisuuksien yhteisvaikutuksia voidaan verrata keskenään. Kliinisessä arvostelussa, kirjallisuus käyttää mitta-asteikollista conjoint tekniikkaa vaihtoehtovalintoja diagnosoidessaan. (Priem 1992)
Conjoint tehtäviä voidaan pitää moniattribuuttipäätösongelmina (Priem 1992; Krantz ja Tversky 1971). Analyysissä identifioidaan attribuuttien yhteydet ja niiden preferenssijärjestys tutkittavan asian suhteen esittelemällä vastaajille erilaisia attribuuttikombinaatioita (Priem 1992; Hair, Anderson ja Tatham 1987). Huolimatta yleisestä luottamuksesta kokemusperäisiin menetelmiin järjestellä attribuuttikombinaatioita eroavat eri conjoint menetelmien analysointitavat vastaustavoiltaan. Vastaustavat kertovat tutkittavaan kohteeseen käyvistä analyysimenetelmistä ja niiden keskinäisen yhteyden laskemistavoista. Näiden avulla voidaan arvioida valintakäyttäytymistä (Louviere 1988. 93).
Green ja Rao (1971) popularisoivat conjoint analyysin käytännön työkaluksi käyttämällä järjestysasteikollista aineistoa kuluttajan käyttäytymisen arvioinnissa. Teoria kehittyi monen kirjoittajan avulla, joiden teorioihin järjestysasteikollinen arviointi ja tutkimusasetelma perustui (Luce ja Tukey 1964 Kruskal 1965; Tversky 1967). Teorian veti yhteen Krantz kumppaneineen (Krantz et al. 1971). Kuitenkin Louviere (1988, 95) oli sitä mieltä, että teoria ja käytäntö järjestysasteikollisessa arvioinnissa oli jotakuinkin epärealistinen, koska menetelmä ja analyysi a) eivät perustuneet teoriaan, b) menetelmästä puuttui virhekerroin ja tästä johtuen c) teoriaa ei voi testata riittävästi.
Aksiomaattista teoriaa järjestysasteikollisen conjoint analyysin käyttämiseksi kutsutaan conjoint-mittaukseksi (conjoint measurement) (Krantz et al. 1971). Tässä teoriassa tarvitaan todellista järjestysasteikollista aineistoa, jotta suuri joukko järjestyksellisiä edellytyksiä on voimassa. Ennen tätä ei voida määritellä tarkkaa hyötyarvomäärittelyn skaalausta, eli arviointiin tarvittavia vastaajien osahyötyarvoja. Useimmat vastaajat eivät ole täysin tietoisia arviointijärjestyksestään ja siksi vastaajien vastauksissa on virheitä (Louviere 1988, 95).
Osahyötyarvot on laskettu pienimmän neliösumman menetelmällä. Tämä menetelmä optimoi tutkitun ja oletetun aineiston sopivuuden olettaen, että hyötyjen kokonaisarvon määritys on mennyt oikein. Tilastollisesti huono sopivuus tunnetaan myös stressiarvona. Stressiarvoa käytetään indeksilukuna sille, kuinka hyvin kokonaishyötyarvo tai muut lasketut luvut sopivat havaintoarvojen kanssa yhteen (Louviere 1988, 95). Dawes ja Corrigan (1974), Weiner (1976) ja Anderson ja Shanteau (1977) ovat osoittaneet, että a) conjoint tutkimuksista saadaan joko erittäin hyvin tai erittäin huonosti aineistoa kuvaavia tuloksia (high goodness-of-fit or low badness-of-fit) b) useimmat mahdolliset mallit voivat tuottaa lähes yhteneviä tuloksia ja c) väärä malli voi tuottaa paremmin sopivia tuloksia kuin oikea vääränlaisesta aineistosta. Erityisesti faktoriaalistyyppiset kokeet takaavat että päävaikutus tai muita yksinkertaisia otoksia voidaan laskea suuresta osasta kerättyä aineistoa, vaikka aineisto olisikin kerätty väärin. Näin tapahtuu, koska todelliset hyötyfunktiot ovat mahdollisesti monotonisia jokaisessa attribuutissa. Näiden yhteisvaikutus voidaan helposti arvioida tutkittavasta aineistosta, joihin vastaajilla on suurin hyötyodotus, joka sisältää enemmän korkeita osahyötyjä kuin muissa. Matalampi hyöty muodostuu puolestaan matalamman osahyödyn antavista attribuuteista. (Louviere 1988, 95).
Aineistosta arvioitujen hyötyominaisuuksien, joilla simuloidaan oletettuja valintoja aineistosta, käyttäminen on ongelmallista. Näin siksi, että täytyy olettaa että a) yksilöt pystyvät erottelemaan valintojaan ja ovat siinä johdonmukaisia b) vastaajilla ei ole arvioitavista ominaisuuksista ennakkoluuloja tai –oletuksia c) vastaajat ovat tietoisia kaikista vaihtoehdoista ja ovat tietoisia tutkittavien ominaisuuksien sisällöstä ja d) vastaajat eivät saa vastauksistaan palkkiota, heille ei ole annettu mitään ajallista rajoitetta vaihtoehtoja valitessaan tai mitään, joka voisi vaikuttaa heidän valintoihinsa. Tämän lisäksi on epäjohdonmukaista, jos stokastisia malleja käytetään tutkimuksen osahyötyattribuuttien valinnassa mutta deterministisiä malleja lopullisten ominaisuuksien valinnassa. Perinteisessä conjoint menetelmässä käytetään testaamatonta aineistoa ja monessa tapauksessa testaamattomia oletuksia tutkittavan aineiston ja valinnanvaihtoehtojen yhteyksistä. Tarvitaan tehtäviä, jotka ovat vastaajalle helppoa täyttää ja joissa on enemmän ulkoista validiteettia (Louviere 1988, 97 ja 99)
Conjoint analyysin käyttäminen markkinointitutkimuksissa
Conjoint analyysejä on käytetty laajasti markkinointitutkimuksissa arvioitaessa tarvittavan tuotteen tai palvelun ominaisuuksia, joita kuluttaja preferoi (Cattin ja Wittink 1982). De Bont (1992, 81) esitteli tieteellisissä julkaisuissa julkaistuja tutkimuksia, joissa arvioitiin conjoint tulosten reliabiliteettia ja validiteettia. Hänellä oli katsaus kirjallisuudesta löytyneistä conjoint tutkimuksista, joista muutamia käsiteltyjä aiheita olivat: paikallinen terveydenhuoltosysteemi (Parker ja Srinivasan 1976), pikakuva kamera (Acito 1977), apartementoksien virvoitusjuomat (McCullough ja Best 1979), miesten pukuliike (Cattin ja Weinberger 1980), taskukamerat (Leigh et al. 1981) huoneistot (Segall 1982), taskulaskimet (Leigh et al. 1984), siipikarjan käsittely (Scott ja Keiser 1984), väritelevisio, kirjoituskone, jogurtti, pankkipalvelut, pitkän matkan palvelut (Reibstein et al. 1988), kesätyöt (Wittink et al. 1982) terveydenhuolto organisaatiot (Akaah ja Korkaonkar 1983), jäätee (Huber 1975), työpaikkamatkustus (Srinivasan et al. 1981), koirat (Page ja Rosenbaum 1987). Näiden esimerkkien kautta voitaneen osoittaa, että conjoint analyysi on hyvin tunnettu menetelmä analysoitaessa markkinoita, tuotekehitystä, asiakkaita ja markkinoiden segmenttejä.
Greenin ja Griegerin (1991) mukaan markkinoiden segmentoinnissa oletetaan löytyvän heterogeenisuutta ostajien preferensseissä tuotteen, palvelun tai valintavaihtoehtojen suhteen. Preferenssien heterogeenisuus tuotteita tai palveluja kohtaan voidaan nähdä persoonallisina muunnoksina, joka liittyy demografiaeroihin, psykografisiin eroihin, tuotteen käyttöön, tämän hetkiseen merkkiuskollisuuteen jne. Tilanne voidaan myös nähdä tilannesidonnaisuuden muunnoksina liittyen esimerkiksi ruuan tyyppiin, joka tietyn virkistysjuoman kanssa tarjoillaan, tuotteen ostaminen itselle verrattuna siihen että se tulee lahjaksi jollekulle toiselle jne., ja niiden välimuodot. Yritykset voivat reagoida näihin tuote-eroihin tai mahdollisesti tuottaa uusia tuotteita modifioimalla nykyisen tuotteen hintaa, jakelureittiä, ilmoittelua tai mainontaa. Yrityksen tuotemuuntelu tai markkinointimix sisältää tuotelinjan lisäyksiä tai vähennyksiä tai nykyisten tuotteiden uudelleen kohdentamista.
Yritykset ovat motivoituneita tekemään näin, jos nettotulot modifioinnista ylittävät niihin uhratut kustannukset verrattuna siihen, että muutokset olisi jätetty tekemättä. Yrityksen tuotemodifioinnit tai markkinoitimixin muutokset sisältävät tuotelinjalisäykset tai vähennyspäätökset kuten myös nykyisten tuotteiden uudelleenpositioinnin.
Markkinoinnin segmentit ja tuotteen positiointi ovat sekaisessa suhteessa toisiinsa eli myyjät etsivät ostajia miellyttäviä sanattomia tuote- tai palvelutarjoomuksia, joilla parhaiten tyydyttävät asiakkaiden preferenssejä ja tuotetoiveita. Tässä prosessissa huomioidaan muiden tuotteiden ja tuotetarjoajien kilpailutilanne samassa tuotekategoriassa tai jopa muihin kilpaileviin tuotteisiin nähden (Green ja Krieger 1991). Conjoint analyysi on erittäin sopiva valikoidun tyyppisissä markkinasegmenteissä impelementointiin. Ensiksikin conjoint analyysissä mitataan ostajan perefenssejä tuotteen attribuuttitasoissa. Toisekseen conjoint analyysi on mikrotason mittaamistekniikka. Osahyödyt, eli preferenssien attribuuttitasot, mitataan yksilötasolla. Tutkija voi näin löytää preferenssien erilaisuuden, jos se on olemassa. Kolmanneksi conjoint tutkimukset tyypillisesti sisältää vastaajien taustatiedot, eli demografisen tiedon ja psykograafisen tiedon. Täytyy pitää kuitenkin mielessä, että ostajan taustatiedot muuttuvat, etenkin demografisesti, mikä ei välttämättä korreloi hyvin attribuuttien preferenssien kanssa (Moore 1980). Vieläpä niin, että taustatiedot sisältävät tietoa, jota on kerätty ostoksen käyttötavoista tai ostotavoista. Neljänneksi jopa karkeimmissakin conjoint tutkimuksissa on tavallisesti ostajan valintasimulaatioita, jonka avulla tutkija voi esitellä uusia tai modifioituja tuoteprofiileja ja löytää ne jotka valitsevat tällaisia tuotteita verrattuna kilpailijoiden tuotteisiin. (Green ja Krieger 1991)
Useista syistä johtuen ei voida kuitenkaan suoraan tehdä markkinaosuusarviointeja, jotka perustuvat conjoint analyysiin. Conjoint mallit perustuvat preferensseihin tai aikeisiin ostaa, eivät todelliseen ostokäyttäytymiseen. On todennäköisesti olemassa attribuutteja, joita ei ole otettu malliin mukaan, mutta jotka vaikuttavat markkinoilla ostokäyttäytymiseen. Näihin conjoint malleihin pitäisi sisällyttää massakommunikointi, jakelureitit ja kilpailureaktiot. Tuotteen ja siihen liittyvät odotukset ja ominaisuudet voidaan muotoilla conjoint tutkimuksessa niin, että ne sisältävät eroavuuksia ja linkkejä odotettuihin ominaisuuksiin. Uusien tuotteiden kehittäminen ja markkinoiminen voi viedä monia vuosia, jonka aikana kilpailutilanne onkin muuttunut ja kuluttajan toiveet ovat voineet muuttua systemaattisesti (Cattin ja Wittink 1982).
Tuotteen kiinnostavuus
Näkemyksellä haluista ja tarpeista voidaan kohdemarkkinoissa käyttää loistavaan, asiakkaan toiveiden mukaiseen tuotteen luomiseen. (Day ja Wensley 1988). Onnistuneimmissa yrityksissä käytetään markkinalähtöisiä ohjelmia kehitettäessä tuotteita eri asiakkaiden toiveisiin (Cooper 1986).
Toisaalta tuotteen kiinnostavuus asiakkaalle, eli kuinka paljon hyödyntäviä ominaisuuksia siihen lisätään riippuu sen nykyisistä ominaisuuksista. Toisin sanoen preferenssit ovat sen attribuuttien yhdistelmä. Tuottaakseen maksimimäärän hyötyä kuluttajalle, pitäisi tehdä tuote, jossa olisi optimoitu attribuuttien yhdistelmä (De Bont 1991). Full factorial mallissa, jossa esitetään kaikki mahdolliset saatavat attribuuttien kombinaatiot, voidaan löytää päämalli attribuuttien profiileista. Kontrastina fractional factorial -mallissa vain osa päämallista heijastuu attribuuttien tasoihin (De Bont 1992, 30).
Finin (1985, 37) mukaan ”Arvon ennustettavuus riippuu siitä, miten tutkimuksessa annetut ominaisuudet kuvaavat samaa asiaa kuin itse markkinapaikallakin myöhemmin esitelty tuote.” Uudet tuotekonseptit pitäisi esitellä niin realistisesti kuin mahdollista. Kuluttajien on vaikea arvioida jotain tiettyä tuotekonseptia, jos tarjolla on vain rajoitetusti tietoa kyseisestä kohteesta. (De Bont 1992, 20) Triesscheijn (1982) esitti että jotkut kuluttajat ovat kykenemättömiä hahmottamaan, miltä uusi tuote näyttää. Tutkimus huonosti täyttyneistä toiveista voi olla pohjana uuden tuotteen tarvitsemista ominaisuuksista (Roozenburg ja Eekels 1991). Crawfordin (1987) mukaan suurin heikkous konseptien testaamisessa on niiden kaksiselitteisyys; on olemassa suuri joukko mahdollisuuksia, jotka johtavat väärinymmärrykseen.
Attribuuttien joukko voisi perustua voimakkaammin suoraan kuluttajien vastauksia. Yleistäen pitäisi käyttää vastauksia kohdemarkkinoilta ja päälliköiltä. Attribuuttien pitäisikin sisältää kaikkein relevanteimmat, eli ne jotka ovat kaikkein potentiaalisimmat kuluttajille ja ne jotka tyydyttävät päällikkötason toiveita parhaiten (Cattin ja Wittink 1982).
Hyötyjen arviointi asiakkaille
Finnin (1985) termistössä hyöty tarkoittaa yksilön arviota määrästä hyötyä, jossain tietyssä tuotteessa. Hyödyn määrä voidaan johtaa tuotteesta attribuuttien kautta, joka taas johtuu siitä miten hyvin yksilö tuntee hyödykkeen. Hyödyn määrä voidaan siis ajatella kykynä arvioida erilaisia puolia uudesta tuotteesta ja poikkeamana marginaalisesta hyödystä. Hyödyn määrään vaikuttavat myös tutkittavassa yhteisössä käytettävän kuvakielen rikkaus, jossa kohtaavat hinta, paikka ja tuotteen edistäminen. Finnin mukaan hyöty voi olla myös lopputuloksena kulutusprosessissa. Hankkimalla, käyttämällä, valmistamalla ja järjestelemällä tuotetta, kuluttajat ovat kehittäneet raamit joiden sisällä arvioidaan uuden tuotteen hyötyominaisuuksia. Reynoldsin ja Gutmansin (1984) termein kuluttajat kykenevät erottamaan tuotteen muodolliset ja psykofyysiset ominaisuudet tietyistä tuoteominaisuuksista (De Bont 1992, 29).
Potentiaaliset ja tulevat asiakkaat täytyy saada käyttämään ja arvioimaan tuotetta, jotta tuotteen hyväksyttävyyttä voidaan testata. Tulevat ostajat ovat kaikkein toivotuimmat tuotetestaajat. (De Jonge ja Oppendijk van Veen 1982). Tarkemmin määriteltynä tulevilla ostajilla on jo tiettyjä odotuksia ja haluja ostaa tarjottua tuotetta. Tämä ei kuitenkaan pidä paikkaansa mahdollisiin ostajakandidaatteihin (De Bont 1991). Useimmat conjoint menetelmät sallivat maksimimäärän heterogeenisuutta vastaajien vastauksissa. Kuitenkin vastaajien segmentoinnilla saadaan suurin validius ennustettavuudelle. Ennakkoon määriteltyjä segmenttejä on käytetty kaupallisissa versioissa Euroopassa (Wittink ja muut 1994). Green ja Grieger (1991) raportoivat huonoista tuloksista käytettäessä ennakkoon suunniteltuja segmenttejä.
Lancasterin (1966) mukaan tuotteet ovat muodostuneet ominaisuuksiin paketoituneista asioista, attribuuteista. Kun kuluttajia pyydetään arvioimaan attribuuttiprofiileja, on paras attribuuttitasojen määrä 5-6 attribuuttia (Green ja Srinivasan 1978, De Bont 1992). Scottin ja Wrightin (1976) tutkimukset sekä Cattin ja Weinberger (1980) osoittivat että attribuuttien määrällä (6 verrattuna 9) on negatiivinen vaikutus tulosten validiuteen. Greenin ja Srinivasanin (1990) mukaan full-profile menetelmää pitäisi suosia niin kauan kuin conjoint tutkimuksessa käytettävien attribuuttien määrä pysyy pienenä eli alle kuuden. Suurempaan attribuuttijoukkoon he suosittelivat vaihtoehtomatriiseja ja sulautettuja malleja. Ainostaan sellaisiin tutkimuksiin, joissa oli yli 10 attribuuttia, he suosittivat ACA menetelmää tai vastaavia (Wittink ja muut 1994, 48).
Realismilla on kaksi puolta, eli aikaisempien tuotekonseptien ja todellisten tuotteiden erot. Tähän vaikuttaa yksittäisten tietojen määrä tuotteesta ja niiden esitystapa. Mitä enemmän tietoa annetaan sitä realistisempi tuote saadaan (De Bont 1992, 18). Meyer (1987) osoitti, että tuotekonseptien arviointi toimii erottamattomasti yleisten tiedon käsittelyprosessien sääntöjen mukaan. Suuren tietämyksen omaavat kuluttajat ovat paremmin varustautuneita arvioimaan tuotekonsepteja kuin ne kuluttajat, joilla on hyvin vähän tietoa kyseisestä tuotteesta (De Bont 1992, 35; Maheswaran ja Sternthal 1990).
Saman linjan mukaisesti Finn (1985) sanoo, että on tarpeen sisällyttää vastaajien ominaisuudet mukaan, koska erilaiset kuluttajat arvioivat samaa aihetta eri tavalla (De Bont 1992, 27). Ramsey (1926) tutki subjektiivista todennäköisyyttä päätöksentekotilanteessa epävarmuuden vallitessa: todennäköisyys on riippuvainen tilanteesta, jossa yksilön on tehtävä päätöksensä tulevaisuudenodotuksistaan maailmassa, jossa hänen päätöksensä ovat epävarmoja (Darnell ja Evans 1990, 13). Psykologisissa tutkimuksissa havainto tai käsitys attribuuteista, näyttävät olevan vastaajalle tärkeä, eikä itse attribuutti sinällään (Anderson 1981, Holbrook 1985). Lancasterin mukaan (1966, 1971) tuote voidaan ymmärtää kimpuksi ominaisuuksia. Kuitenkin Wittinkin et al. (1991) tutkimus osoitti, että valintavaihtoehtojen tasoille annetulle attribuutille – pidettäessä paras ja huonoin taso samoina – voi olla suurempi vaikutus tehdyille päätöksille kuin valitulla conjoint-menetelmällä.
Mahdollisesti uusien tuotteiden kehittämiskonseptit eivät ole niin hyvin tunnettuja, että niitä osattaisiin hyödyntää (Laric 1979, Virzi 1989). Crawford (1985) osoitti, että uusi tuote voidaan kehittää luomalla eroja markkinoilla olevan tuotteen ominaisuuksiin. Siinä tapauksessa uuden tuotteen muutokset eivät voi sisältää muutoksia sen ulkoisissa ominaisuuksissa, vaan viestinnällisissä muutoksissa, joilla tuotetta markkinoidaan.
Johdon täytyy varautua muuttamaan nykyistä tuotepolitiikkaansa markkinarakenteita ja laajempia toimintamahdollisuuksia tutkittaessa (Box ja van Eyk 1983). Johnen (1985) mukaan voisi olla edullista tutkia niin monta uutta tuotekonseptia kuin mahdollista suojaksi kalliita ja hämmentäviä virheitä vastaan. Petty et al (1983) keskusteli motivaation ja tuotetietouden käsittelyn puutteesta ja sen vaikutuksesta.
Useat oletukset, joita tuli ilmi Mahajanin (Mahajan et al. 1982) tutkimuksessa, ovat mahdollisesti motivaatio-oletuksia vastaan, eri tilanteissa. Esimerkiksi tietyn tuotteen hinnan lasku voi vaikuttaa uuteen kuluttajaryhmään siten, että tuotteesta toiseen vaihtaminen eroaakin siitä, mitä se oli alkuperäisessä kuluttajaryhmässä. Vieläpä lyhyellä aikavälillä hinnan lasku saattaa vaikuttaa nykykäyttäjiin siten, että nämä siirtyvät pois tuotteen vakiokäyttäjistä ja kulutusmuutoksien hallitsemiseksi yrityksen täytyy investoida lisää tulevaisuudessa. Toinen kysymys on nykyisten parametrien sopivuus mahdolliseen jaettuun vektoriin. Vai pitääkö muuttuneelle matriisille tehdä toinenkin vektori?
Katsaus conjoint-analyysimalleihin ja merkkeihin
Traditionaalisesti conjoint analyysi on ollut kattonimenä joukolle koottuja teorioita ja menetelmiä, joita voidaan käyttää suunnitteluun, esittelyyn ja analyysitulosten arviointiin (Green ja Srinivasan (1978) tai vaihtoehtoaineiston tutkimiseen (Louviere ja Hensher 1982). Yksi avainasia liittyy metodologiaan, jolla yksilön preferenssit tutkittavaa kohdetta kohtaan voidaan hajottaa preferenssipisteisiin tuotteittain ja ominaisuuksittain. Preferenssipisteet annetulla attribuuttitasolla eivät riipu mistään toisesta attribuutista, jos käytetään pääominaisuusmallia (main effects model). Tyypillisessä tietokoneen kanssa toimivassa sovelluksessa attribuuttiasetelma on määritelty yksittäisistä preferenssiarvioinneista (Cattin ja Wittink 1982).
Greenin ja Srinivasanin (1995) esittelemä yleiskatsaus conjoint analyyseistä kuluttajatutkimukseen on ollut käytössä vuodesta 1978 saakka ja heidän adaptiivinen mallinsa on vuodelta 1990. Carrol ja Green (1995, 385) esittelivät taksonomisen mallin erilaisista tutkimuksista ja sekoituksen aikaisemmista yhteyksistä kentällä. (Kuvio 1) Äärimmäisenä vasemmalla puumallissa on traditionaalinen kokonaisprofiiliaineisto (full-profile-only). Pääominaisuuden arviointimalli (principal parameter estimation methods) on MONANOVA (Kruskal 1965) ja pituusmatkaton (non-metric) malli PREFMAPin vektorimallista (Carroll 1973) ja LINMAP (Shocker ja Srinivasan 1977). Pienimmän neliösummamenetelmän (Ordinary Least Square) regressiomallia (Carmonen, Green ja Jain 1978; Cattin ja Wittink 1976) on käytetty etsittäessä parametrien sopivuutta. (Kuvio 1)
Kuvio 1
Kokonaisprofiilimallia (full profile conjoint) on käytetty erilaisissa tutkimuksissa mm. vapausasteita hyödyntämällä ja sisällyttämällä niiden toimivat muodot laskukaavoihin. Esimerkiksi tutkijat (Herman 1988, Krishnamutri ja Wittink 1989, Pekelman ja Sen 1979) lisäsivät traditionaaliseen osittaishyötymalliin (part-worth model) lineaarisia, neliöitäviä ja osittaishyöty parametreja. Reliabiliteetti ja validiteettitarkastelu saadaan myös esiin vertailemalla osahyötyjä attribuuttien välistä monotonisuutta (Srinivasan et al. 1983) tai erilaisia osittaisaggregointeja, joita käyttivät esimerkiksi Green ja De Sarbo (1979), Hagerty (1985) ja Kamakura (1988).
Tarkemmat parannukset ovat mahdollisia, jos tutkija keräisi myös itse täytettyjä lomakkeita yksilöiden attribuuttitasoista ja attribuuttien tärkeydestä, kuten Cattin et al. (1983). Tämä esitteli Bayesialaista malliaan ja parametrien pakotettua mallinnusta, jonka esitteli van der Lans ja Heiser (1992) (Kuvio 1). Kummassakin tapauksessa vaaditaan aineistolta huomattavasti enemmän, koska menetelmissä tarvitaan tarpeeksi laaja aineisto kokonaisprofiilien tekemiseen, jotta tätä kautta saadaan estimoitua osittaishyötyjä joko profiileista tai itse arviointilomakkeista.
Kontrastina hybridimallissa (Green, 1984; Green et al. 1981) ja Adaptive Conjoint
Analysis (ACA) mallissa (Johnson 1987) kerätään rajoitettu määrä kokonais- tai osittaisprofiileista, jotka auttavat tuottamaan itsearviointiosittaishyötyjä ACA-mallissa tai arvioimaan ryhmiteltyjä parametreja (hybridimalli). (Kuvio 1). Näistä viimeksi mainituissa tarvitsee kerätä vähemmän aineistoa kentältä kuin Bayesialaisissa malleissa ja ne ovatkin saaneet paremman kaupallisen suosion.
Oikealla puolella (Kuvio 1) on CASEMAP (Srinivasan 1988; Srinivasan ja Wyner 1989), jossa ei ole ollenkaan mukana profiiliaineistoa. Näissä tutkimuksissa on itsearviointiaineistoa kerättynä ja mallinnettuna.
Carrollin ja Greenin esityksessä (Kuvio 1) on historiallinen katsaus osittaishyötymallien (part-worth models) conjoint-analyysista. Kuvioon on merkitty henkilöt, jotka ovat menetelmät kehittäneet sekä milloin he ovat nämä menetelmät kehittäneet.
Kolme päämallia preferenssirakenteiden arvioinnissa conjoint analyysissa
Greenin ja Srinivasanin (1990) mukaan conjoint analyyseissa on olemassa kolme arviointirakennetta: komposiittimalli (itsearvioiden), dekomposiittimalli (conjoint analyysi) ja komposiitti-dekomposiittimallin yhdelmä (esimerkiksi hybridi ja ACA mallit).
Kuviossa keskimmäisestä pallukasta voi jättää pois tekstin ”(conjoint analyysi)” sillä kaikissa malleissa on siitä kuitenkin kyse. Riittää että siinä lukee dekomposiittimalli. Englanninkielisessä samoin. Tekstin sisällä se kuitenkin tarkentaa aihetta ja helpottaa lukemista.
Komposiittimallissa vastaajia pyydetään antamaan arvoja attribuuttitasoille ja käyttämään näitä attribuutteja preferoitaessa ominaisuustasojen ja attribuuttikeräymien profiileja (Huber 1974) Dekomposiittimalli alkaa arvioimalla tarkastelukohteiden monimuuttuja-atributteja ja antamalla arvoja attribuuttitasoille näitä arvioinneista. Molemmissa menetelmissä voidaan valita monista eri vaihtoehdoista, joista voidaan palata alkuperäiseen attribuuttiin. Ennusteen simuloinnista on suuri arvo päälliköille yksilöllisten valintojen mallinnuksen jälkeen ja arvioitaessa muutoksen vaikutusta tuotteen ominaisuuksiin ja hintaan. (Huber et al. 1992; Bucklin ja Srinivasan 1991; Green ja Srnivasan 1990, Wittink ja Cattin 1989). Kummassakin dekomposiitti ja komposiittimallissa vastauksia käytetään arvioinnissa hyödyksi. Nämä arviointipohjat ovat usein intervalliasteikollisia preferensseistä tai attribuuttien tärkeyksistä. Vastaaja valitsee sitten eri mahdollisuuksien joukosta sen vaihtoehdon, josta pitää eniten. Toisaalta tämä valinnan ja päätöksen välillä saattaa ensialkuun näyttää kategorinen valinta eri asteisista preferensseistä, joten monet tutkijat ovat painottaneet psykologista taustaa valinnan ja päätöksen välillä. (Huber et al. 1993)
Komposiittitekniikat
Komposiittimallit (De Bont 1992, 50) ovat kompromisseja tekniikoista (De Bont 1992, 50), jotka ovat lähteneet ajatuksena Rosenbergin (1956) Expectancy-Value mallista (myöskin Van Raaij 1977). Konseptitestauksen yhteydessä käytetään komposiittitekniikoita (Green ja Srinivasan 1978 kutsuvat sitä itsearviointimalliksi – self-explicated model), jotka kulkevat suunnilleen seuraavasti: rajoitettu määrä konsepteja esitellään erikseen vastaajalle. Erilaiset kysymyspaketit hakevat eri attribuuttien tasojen miellyttävyyttä ja jonkin tietyn attribuutin tärkeyttä. Kokonaishyöty lasketaan painotettujen summien kautta, joissa arvioidaan attribuuttitasoja. (Kuvio 2)
Kuvio 2. Perinteinen ja hybridi conjoint malli.
Komposiittimallissa attribuuttitasojen preferenssejä ja tärkeyksiä kysytään suoraan kuluttajilta. Eräs eniten käytetyistä komposiittimalleista on Fishbeinin Attitude-malli (Fishbein 1975).
Dekomposiittitekniikat
Dekomposiittimalleissa (De Bont 1992, 51) malli eroaa tietyissä kohdissa komposiittitekniikasta. Näiden erojen demonstroimisessa käytetään tässä yhteydessä askelia, joita seuraten dekomposiittitekniikka esitellään. On olemassa monia systemaattisia konseptin variaatioita, joiden tarkoituksena on arvioida tai valita näiden varioitujen konseptien välillä. Kokonaishyödyn arviointi tai rankkaus on hajotettu erilaisiksi esityksiksi attribuuttitasoilla. Tilastollisia menetelmiä on käytetty attribuuttien tärkeyden (herkkyyden) ja attribuuttitasojen preferointien (parth-worths) etsimiseksi kokonaishyötyarvoista.
Komposiitti-dekomposiitti hybriditekniikat
Hybridi conjoint analyysimalli (Green 1984) kehitettiin, jotta voitaisiin käsitellä jatkuvasti lisääntyvien attribuuttien määrää ja attribuuttitasoja conjoint analyysissa. Tarkoituksena oli (ala) ryhmien arviointi osahyötymalleista (parth-worth) tuottaen samalla esiin yksilölliset erot itsearvioinneista ja niiden hyödyistä. (Kuvio 2). Aineistonkeruussa jokainen vastaaja arvioi attribuuttitasoja, antaa näille attribuuteille oman painoarvonsa ja sen lisäksi arvioi näitä ainoastaan ortogonaallisesti tuotettuja malleja. ACA (Johnson 1987) käyttää itsearviointiattribuuttitasoja ja attribuuttien tärkeyksiä laskeakseen niiden yksittäisiä osahyötyjä. Seuraavaksi vastaaja arvioi nämä järjestelmällisesti käyttäen pareittain arviointia, jossa arvioitavina on ollut kaksi tai useampia attribuutteja kerrallaan. Jokainen arvioitava attribuuttipari on enemmän tai vähemmän riippuvainen esitellyistä osahyödyistä, jotka on laskettu tietokoneella itsearviointiaineistosta ja joista aikaisemmin tuotettiin parittaiset vertailut. Osittaishyödyt arvioidaan yksilövastausten tasolla (Van der Lans ja Heiser 1992, 326).
Vektori, lineaarinen ja numeerinen
Greenin ja Srinivasan (1987) esittelivät kolme preferenssimallia, joilla voidaan muodostaa attribuuttien arvoja preferensseistä: vektorimalli (lineaarinen), ideaalipistemalli (lineaarinen ja neliöiminen) ja osahyötyfunktiomalli (paloiteltu lineaarinen). Yhdistetyssä mallissa käytetään muutamien attribuuttien osittaishyötyfunktionmallia, kun muut attribuutit seuraavat vektori- tai ideaalipistemallia. Vektorimallissa arvioidaan vähiten parametreja käyttäen lineaarista funktiomuotoa, kun taas osittaishyötymallissa arvioidaan suurin määrä parametreja, koska se sallii kaikkein yleisimmän funktiomuodon. Ideaalipistemalli on näiden kahden mallin välissä (Green ja Srinivasan 1990, 4).
Conjoint analyysimallien erilaisuudet
Kaikkein eniten käytetty malli, jota on käytetty survey-tutkimuksissa (Cattin ja Wittink 1982) on osittaishyötymalli (part-worth model). Tässä mallissa kohteen preferoidut ominaisuudet ajatellaan rakentuneen lisääntyvistä arvoista (worths) ja sen komponenteista (attribuutiotasot). Vektorimallin jatkuvaa funktiota käytetään estämään attribuuttien preferenssien vaikutuksia. Jatkuvassa funktiossa attribuutti pitäisi mitata vähintään intervalliasteikolla. Neliöfunktioissa on esimerkki jatkuvista, epälineaarisista funktioista. Sellaista funktiota voidaan käyttää eri tapauksia toisiinsa verrattaessa, jossa preferenssin ajatellaan olevan monotonisesti laskeva (tai nouseva), kuten esimerkiksi auton bensan kulutus matkalla. Tätä erilaisuutta voidaan käyttää myös attribuuteille, jotka ovat ideaalipistemallisia, kuten esimerkiksi sokerin määrä jälkiruuassa. Hybridimallissa sisällytetään suora arviointiasteikko attribuuttitasoista ja attribuuttien tärkeydestä. (Cattin ja Wittink 1982, 47)
Cattin ja Wittinkin (1982) tutkimuksessa conjoint analyysien käyttäjistä useat vastaajat huomauttivat, ettei analyysiä ollut käytetty silloin, kun tutkittiin ns. pehmeitä arvoja. Conjoint analyysi ei toimi hyvin, jos tutkimuskohteen arviointiin tarvitaan tietynlaista kokoa ja tätä kokoa on hyvin vaikea erottaa sen fyysisistä ominaisuuksista. Muutamat vastaajat huomauttivat, että he eivät käytä conjoint menetelmää, jos attribuuttien määrä on suuri tai jos attribuutit korreloivat vahvasti keskenään. (Cattin ja Wittink 1982, 45)
Aineistonkeruumenetelmät conjoint analyysissa
Cattin ja Wittinkin (1982) mukaan on olemassa kaksi vaihtoehtoista menetelmää: kokonaisprofiili (full profile) ja konseptin arviointimallit (concept evaluation). Green ja Srinivasan (1978 ja 1990) kutsuvat näitä aineistonkeruumenetelmiä kokonaisprofiili (full profile) ja vaihtoehto (trad-of tai two-attribute-at-a-time) aineistonkeruumalleiksi. Cattin ja Wittink (1982) summasivat kahdeksan eri vastaajan aineistonkeruumahdollisuuksia. He pitivät parhaimpana kokonaisprofiilimallia, (kuvio 3) koska se on realistisempi, joka näkyy sen asettelusta. ”Se on kaikkein realistisin heijaste vaihtoehdoista valintatilanteessa.” ”Muita, vähemmän merkityksellisiä syitä valita tämä menetelmä olivat sen nopeus, helppo ohjattavuus, validiteetti, mukavuus haastattelijalle sekä se, että menetelmä on joustava analyysissa ja vähemmän väsyttävä. Syy miksi käyttää kahden vaihtoehdon väliltä valittavaa menetelmää on se että silloin on mahdollista käyttää monia attribuutteja, nopeus millä haastattelu käydään läpi ja johdolle sekä vastaajille tehtävän selkeys.” Syitä käyttää interaktiivisia menetelmiä ovat siis nopeus, aineiston keruun helppous, aineiston hyödynnettävyys ja aineiston peittävyys (Cattin ja Wittink 1982).
Vastaajilta vastaamiseen kuluva aika riippuu vastaajasta ja kysymysten asettelusta. Esimerkiksi Reibstein, Bateson ja Bouldingsin (1988) tutkimuksessa kokonaisprofiili tai vaihtoehtomenetelmillä tehdyissä kysymyslomakkeissa vastausaikojen keskiarvo oli 35 minuuttia. Kysymyslomakkeissa, joissa käytettiin pareittain vertailua, vastausaika oli keskimäärin 50 minuuttia (Reibstein et al. 1988, 277)
Attribuuttien keskinäisten suhteiden laskeminen
De Bont (1992, 49) käytti tutkimuksessaan Holbrooken ja Mooren (1981) tapaan suuria määriä tilastollisesti merkitseviä attribuutteja. Attribuuttien yhteys kertoo yleisestä prosessointitavasta, esimerkiksi pieni määrä kertoo analyyttisestä prosessointitavasta.
Attribuuttien yhteyksien laskemiseen käytettiin full factorial -mallia. Full factorial -mallissa kaikki mahdolliset pääsuunnitelman mukaiset attribuuttien kombinaatiot esiteltiin vastaajille. Monilineaaristamallia käytetään arvioitaessa päävaikutuksia (kokonaisvaikutuksia) ja keskinäisiä vaikutuksia. Kolmen attribuutin esimerkissä monilineaarinen malli näyttää seuraavalta:
Multilineaarinen malli
Attribuuttien yhteys toisiinsa on tilastollisesti merkitsevä jos regressioarvo ylittää kriittisen arvon. Kahden attribuutin yhteydestä (a ij) kutsutaan ensimmäisen tason yhteydeksi, seuraava yhteys kolmen attribuutin kesken (a ijk) toisen tason yhteydeksi.
Osittaishyötymalli (pert-worth model)
Osittaishyötymallissa käytetään regressiomallia, jossa on mukana myös dummy –muuttuja. Osittaishyötymallin kaava on seuraava:
Hagerty (1985, 170) osoitti, että pienimmän neliösumman menetelmä on todellinen malli jokaisesta vastauksesta. Wittink ja Cattin (1981) näyttivät että, conjoint aineistossa tällä mallilla on erittäin hyvä validiteetti. Hagerty (1985, 180) osoitti että tyypillinen R2 conjoint arvo on noin 0,85. Lähes jokainen conjoint tutkimus tarkastelee aineiston heterogeenisuutta ja siten käyttää jollakin tasolla regressiomalleja arvioidessaan osahyötyjä. (Hagerty 1985, 182)
Kysymyskortit ja niiden arviointimenetelmät conjoint analyysissa
Yleisesti esitetty kysymys on tilanteen realistisuus vastaajille. Hypotettisia kohteita toisiinsa vertaileva malli näyttää aika epärealistiselta niille, jotka työskentelevät conjoint-analyysi tutkimuksessa. Vastaajalla ei olisi vaikeuksia tuottaa realistisia arvioita, jos preferointipäätökset saisi markkinoilla jo olemassa olevilta kohteilta. Toisaalta tehtävä ei olisi niin vaativa ja päätöksenteko helpompaa jos tuotteet tai kohteet olisivat saatavilla ja valinnan voisi tehdä todellisessa markkinatilanteessa. (Cattin ja Wittink 1982)
Viitaten Cattin ja Wittinkin (1982) tutkimukseen on kiinni vastaajan mahdollisuuksista ja tahdosta tuottaa oikeita preferenssiarviointeja. Tämä on eritoten conjoint analyysin ja muiden vastaavien tutkimusten ongelma, jos niitä verrataan valintamallitutkimuksiin, jotka perustuvat esiin tulleisiin preferoituihin arvoihin. Vastaajat, jotka ovat olleet tutkimusyhteistyössä ovat eronneet todellisilla omilla vastaustasoillaan, jos preferoitava arviointitehtävä on ollut kiinnostamaton vastaajan kannalta (Cattin ja Wittink 1982). Itsearviointimalleissa itsessään on alempi ulkoinen validiteetti, verrattuna muihin conjoint malleihin (Cattin, Gelfand ja Danes (1981). Kuvallisissa esityksissä voidaan tietojen esitysprosessia muotoilla enemmän. (Holbrook ja Moore 1981)
Järjestysasteikkojen on sanottu tuottavan paremman reliabiliteetin (Green ja Srinivasan 1978). Cattin ja Wittinksin (1982) tutkimuksessa vastaajat esittivät syitä järjestysasteikon käyttämiseksi. Näitä olivat helppokäyttöisyys, helppo johdettavuus ja halu pitää arviointitehtävä niin lähellä kuluttajan tavallista ostoskäyttäytymistä. Luokitteluasteikkoja suosivat muutamat vastaajat. Heidän mukaansa luokitteluasteikot eivät vie niin paljon aikaa haastateltavalta ja luokitteluasteikot ovat haastateltavalle mukavia ja niiden analysoiminen on helppoa. (Cattin ja Wittink 1982)
Jos käytetään järjestysasteikollista arviointia, tutkijan pitäisi huomioida se mahdollisuus, että attribuuttitasojen määrällä saattaa olla systemaattista vaikutusta tuloksiin. Hienosäätö voi olla tarpeellista, ennen kuin attribuutteja vertaillaan keskenään vaihtelevien tasojen kanssa. (Wittink et al. 1982).
Ortogonaalisuus conjoint analyysissa ja kysymyskorttien attribuuttitasot
Lähes kaikissa julkaistuissa conjoint sovelluksissa ortogonaalisia asetelmia on käytetty kokonaisprofiilimalleissa (Green ja Srinivasan 1978; Green at al. 1988, 392). Ortogonaalinen asetelma on järjestelmä, jossa on mukana kaikki mahdolliset yhdistelmät, mutta joka silti sallii osahyötyjen arvioinnin päävaikutuksista. Yhden osahyödyn tason vaikutus toiseen ominaisuuteen pitäisi olla mahdollisimman pieni. Ortogonaalisessa asetelmassa jokaisella tasolla yhden ominaisuuden vaikutus näkyy ainakin jollain tavoin, ollen riippumaton päävaikutukselle (SPSS 1995). Esimerkiksi, jos on olemassa kolme pääattribuuttia, joista jokaisella on viisi attribuuttitasoa, saadaan 243 erilaista kombinaatiota (=35 ). Ongelma näiden järjestelemisessä tai 243 eri tuotteen arvioimisessa ei ole mikään helppo tehtävä. Faktorimallissa 35 muodostuisi kuitenkin vielä 81 kombinaatiota. Toisaalta ortogonaalisessa asetelmassa voidaan ainoastaan 27 kombinaatiolla testata päävaikutus jopa 313 faktoriaalisessa mallissa. (Green 1974). Ortogonaalisuus auttaa vähentämään kysymyskorttien määrää. Jaetun faktoriaalimallin (fractional factorial design) käyttäminen on melko yleinen tapa välttää vastaajien uupumusta. Koska useiden profiilien esittäminen lisää samalla attribuuttien ja tasojen määriä sellainen tutkimusasetelma, jolla voi vähentää vastaajien työmäärää eli vastattavien korttien määrää, on kiinnostava tutkimuksen kannalta (Reibstein et al. 1988).
Kuvio 3. Profiilit, pääattribuutit ja attribuuttitasot conjoint korteissa.
Huber (1987) esittää, että ortogonaalisten asetelmien käyttö tuottaa korkeamman asteen vahvuutta yli erilaisten yksinkertaistettujen tehtäväasettelujen. Tähän luetaan tasojen huomaamattomuus vastaajalle ja sen, että mukaan voi tuoda kokonaisia attribuutteja, joista voi tehdä uusia tuoteideoita, kun nämä attribuutit sekoittuvat profiilien sisään arvioitaessa. Etenkin ortogonaaliset asetelmat voivat suojata väärin määrittelyjä vastaan, joita voi syntyä kun erilaisia yksinkertaistavia strategioita käytetään (Green et al. 1988)
Ortogonaalinen erottelu, joka rajoittaa vaikutuksia ja yhteyksiä laskettaviin ominaisuuksiin, voidaan ratkaista ortogonaalisten muuttujien taulukossa. Ortogonaalisen erottelun etu on, että se rajoittaa keskinäisiä yhteyksiä ja vaikutuksia toisiinsa. Tämä nousee siitä tosiasiasta, että ortogonaaliset polynomit on rakennettu niin, että mikä tahansa termi polynomista on riippumaton toisesta siinä olevasta termistä. Tämä itsenäisyyden ominaisuus mahdollistaa sen, että regressiokerroin voidaan ratkaista tietokoneella itsenäisesti muista erillään, jolloin jokaista muuttujaa voidaan tarkastella erikseen. (Green ja Rao 1971; Green et al. 1978).
Tasakokoiset tasot omaavia ortogonaalisia polynomitaulukoita on saatavilla (Fisher ja Yates 1962; Anderson ja Houseman 1960). Olisi mahdotonta laskea ortogonaalisia polynomeja, joissa olisi erisuuruisia välejä lukujen välillä. On kuitenkin olemassa yksinkertaisia laskukaavoja, joilla näitä ortogonaalisia lukuja voi laskea. Ortogonaalistaulukoiden julkaiseminen ei ole tarpeellista, jos näitä epätasaisia välejä ei esiinny ortogonaalisessa suunnitelmassa määrävälein. Ortogonaaliset polynomit, jotka ovat tasaisin välein, mutta jotka eivät esiinny suunnitelmassa tietyin välein, täytyy laskea seuraavaan menetelmän avulla tasavälisiksi.
Mille tahansa ortogonaaliselle polynomille lineaarinen kontrasti on muotoa S(a + bx)Y, missä a ja b ovat muuttujia, x on se taso millä tämä muuttuja ilmenee ja y vaste siihen sopimukselliseen tai sovittuun kombinaatioon faktoreista tasolla x ja summaan, jossa jokainen arvo on yli edellä esitellyn x arvon. Laajennus suurempaan järjestyksen eroon on aika selvä. Kaksi lukua on ortogonaalisia jos jokaisen muuttujan summa on nolla ja tuotteiden summa korrespondenssimuuttujissa kahden muuttujan välillä on nolla (Green ja Rao 1971; Green et al. 1978)
Orthotest on kokeilemalla etsitty malli Posse ohjelmassa (Wind et al. 1984) ja testaa sen sarakkeiden ortogonaalisuuden, joka perustuu seuraavanlaiseen kaavaan.
Reliabiliteetti ja validiteetti yleisesti
Drenthin (1980) mukaan termi reliabiliteetti kattaa laajan alueen erilaisia ei systemaattisia virheitä, joilla mitataan muuttujia tai kahden tai useamman muuttujan yhteyttä toisiinsa. Validiteetti tarkastelee sitä, tutkiiko esitelty muuttuja kyseistä aihetta (De Bont 1992).
Conjoint analyysia laajemmin käytettäessä reliabiliteetin ja validiteetin pitää olla päähuomion kohteena. Reliabiliteetti on välttämätön, mutta ei välttämätön asiantila validiteetille. Tästä seuraa se, että jos prosessi ei ole reliaabeli, niin se ei silloin voi olla myöskään validi. Johdon taholta tarkastellen kuitenkin tarkasteltava kohde ei useinkaan ole täysin reliaabeli. Sen sijaan tutkijan täytyy tietää mikä monista vaihtoehdoista on reliaabeli, eli verrattaessa reliabiliteettia eri menetelmiin (Reibstein et al. 1988, 271).
Conjoint analyysin suosio perustuu ainakin jossain määrin sen hyvään reliabilitettiin ja validiteettiin verrattuna yksinkertaisempiin ja vähemmän kalliisiin tekniikoihin, kuten esimerkiksi itse kerättyihin attribuuttien painoihin (Leigh et al. 1984, 456). Kuitenkin Leigh, Mackay ja Summers (1984) raportoivat tutkimuksensa tuloksista, joissa verrattiin testattujen ja uudelleen testattujen reliabiliteettia ja validiteettia useilla eri tekniikoilla. Näitä tuloksia verrattiin itsearvioituihin painotuksiin tilanteessa, jossa kaikki attribuutit olivat dikotomisia. Löydöksistä ei pystytty osoittamaan suurempaa reliabiliteettia ja validiteettia conjoint analyysien kohdalla (Leigh et al. 1984)
Reliabiliteetti
Reliabiliteetti tarkastelee pääosin kahden aineiston yhteinäisyyden astetta, kun aineistoa tutkitaan mahdollisimman samankaltaisin menetelmin. Toinen menetelmä on aineiston jakaminen, jossa havainnot on jaettu kahteen tai useampaan ryhmään. Reliabiliteetti on huomattava, jos hyvin korkea samankaltaisuus löydetään jokaisen eri alaryhmän väliltä.
Conjoint menetelmien stabiilisuutta on tutkittu vertailemalla joko eri conjoint analyysien tuloksia keskenään tai tutkimuksia keskenään, tai tuloksia eri attribuuttipainotuksin. Useimmiten nämä suorat menetelmät ovat olleet itsearviointimalleja. Kokonaiskorrelaatiota, useimmiten Pearsonin korrelaatiota, on käytetty näissä tutkimuksissa stabiilisuutta vertaavana menetelmänä. Reibsteinin (et al. 1988) ja De Bontin (1991, 85) mukaan on mahdollista käyttää myös testin ja sen vastatestin muunnosta korrelaation sijasta.
Huolimatta useista eri menetelmistä, useimmiten korrelaatio lasketaan kahden vektorimallin välillä, jotka mittaavat vastaajien vastauksia keskenään. Näissä tutkimuksissa verrataan standardoituja vastaajien valintoja, joita tarkastellaan korrelaatiolla (Cattin ja Weinberger 1979; Green, Wind ja Jain 1972). Huolestuttavissa analyysimalleissa korrelaatio lasketaan vain niistä attribuuteista ja tasoista, jotka ovat yhteisiä molemmilla puolilla (Reibstein et al. 1988).
Bateson, Reibstein ja Boulding (1987 ja 1988) tarkastelivat eri reliabiliteettimalleja conjoint analyyseissä. He esittelivät neljä eri mallia, joita niissä esiintyy: 1. aikamalli, jossa conjoint mittaukset tehdään uudelleen jonkin ajan kuluttua 2. Reliabiliteetti attribuuttiryhmistä, eli attribuuttien reliabiliteettia on tarkasteltu vaihtamalla muita kuin yhteisiä attribuutteja. 3. Reliabiliteettia esitysryhmittäin, eli esitettävien ryhmien herkkyyttä niiden kokonaisprofiiliin. ja 4. Reliabiliteettia aineiston keräämisessä, jossa osittaishyötyjen herkkyyttä on tutkittu suhteessa siihen , miten aineistoa on kerätty, mitä aineistoa on kerätty tai suhteessa riippuvaan muuttujaan.
On olemassa erilaisia tutkimuksia, joissa on tutkittu eri asioiden vaikutusta mentelmän reliabiliteettiin (Scott ja Wrihgt 1976, Malhotra 1982 ja Acito 1979). Näissä tutkimuksissa on todettu, että faktoreiden lisääntyessä reliabiliteetti vähenee. On kuitenkin huomattava, että näissä tutkimuksissa on käytetty kokonaisprofiilimenetelmää ja jätetty huomioimatta muut aineiston keruutavat. (Reibstein et al. 1988)
Tärkein huomio Reibsteinin, Bateosnin ja Bouldingsin (1988) työssä oli se, että attribuuttiasetelman reliabiliteetti oli todella hyvä. Tämä tarkoittaa sitä, että attribuuttiasetelmien reliabiliteetin hyvyyden takia kaikkia attribuutteja ei tarvitse suunnitelmassa ottaa mukaan. Heidän tutkimuksensa osoittaa sen, että jos attribuuttiasetelmaan on jo kaikki avainattrbuutit sisällytetty, ulosjätetyillä attribuuteilla on vain pieni vaikutus lopputulokseen (Reibstein et al. 1988). Absoluuttisessa mielessä eri conjoint menetelmät ja niiden aineistonkeruutavat eri tuotemallien välillä ovat reliaabeleita. Voidaan sanoa, että attribuuttien valintatavalla on hyvin vähäistä merkitystä menetelmän reliabiliteettiin. (Reibstein et al. 1988, 284)
Reliabiliteetti on suhteessa tutkimukseen osallistuneiden määrään. Otoskoko on osittain ollut suhteessa tutkimuksen tarkoitukseen ja budjettiin. Cattin ja Wittinkin (1982) tulokset osoittavat, että otoskoko vaihtelee tutkimusten välillä. Mediaani otoskokojen välillä on vaihdellut sadasta tuhanteen, vaikka mediaani on ollut 300 ja 550 välillä (Cattin ja Wittink 1982)
Validiteetti
Ero sisäisestä ja ulkoisesta validiteetista käydään keskusteltaessa eri kokeista (Cook ja Campbell 1979, Christensen 1988). Sisäisestä validiteetista keskustellaan silloin kun yhdellä riippumattomalla muuttujalla on vaikutus toiseen muuttujaan. Sisäinen validiteetti, mitattu tai huomioitu yhteys, ylittää reliabiliteetin. (Cook ja Campbell 1979). Ulkoinen validiteetti on pääosassa laboratoriotutkimuksissa, johtuen siitä että käyttäytyminen eksperimenttikokeissa on erilainen kuin luonnollisissa tutkimusolosuhteissa.
Useissa tutkimuksissa on osoitettu conjoint analyysin mittaavan todellista valintakäyttäytymistä (Green ja Srinivasan 1990). Näissä validitaatiotutkimuksissa on tyypillisesti käytetty kolmea eri tapaa 1. Vertaamalla conjoint simulaatiota todelliseen markkinaosuuteen (Clarke 1987; Davidson 1973; Page ja Rosennbaum 1987). 2. Yksittäistason vertailua, jolloin conjoint analyysissä on vertailtu oletettavaa käyttäytymistä ja todellista käyttäytymistä toisiinsa (Mohn 1990), esimerkiksi mikä tuote tuli todella valituksi simuloidussa ostostilanteessa (Leigh, MacKay ja Summmers 1984), mikä tuotekuponki valittiin (Anderson ja Donthu 1988). 3. Yksilötason vertailuun, mitä todella valittiin muutamia päiviä myöhemmin (Krishnamutri 1988; Srinivasan 1988; Swinnwn 1983; Wittink ja Montgomery 1979; Wright ja Kriewall 1980, Green ja Srinivasan 1990, 13). Vertailtaessa keskimääräisesti normaalijakautunutta osittaishyötyä attribuuttitasoihin, huomattiin että ulkoinen validiteetti oli parhain regressioanalyysimalleissa (Cattin ja Wittink 1981).
Muutamissa conjoint tutkimuksissa, useimmiten (tai kaikki) attribuutit ovat monotonisia siinä mielessä, että useimmat vastaajat valitsisivat attribuuttitasot samoin; joka on ”enemmän on parempi”. Esierkkejä on tuotteen kestävyydessä, takuun pituudessa, hinnassa, mukavuuden kasvussa, jne. Sellaisissa tapauksissa muutamat profiilit dominoivat muita ominaisuuksia selvästi enemmän ortogonaalisissa järjestelmissä (eli muutamat profiilit saattavat olla lähes yhtä hyviä kuin dominoiva profiili, ollen selvästi parempia ainakin yhdessä ominaisuudessa.) Vaikka tällainen tilanne tekee preferointitehtävän helpommaksi esittää, todellisessa markkinapaikassa ostajat eivät todennäköisesti löydä dominoivia ominaisuuksia. Vaikka dominoiva ominaisuus löytyisikin, asiakkaat eliminoivat sen valintatilanteen alussa (Green et al. 1988)
Huber ja Hansen (1986) huomasivat, että profiiliparien, joiden välillä oli vain pieni ero hyötyarvoissa, tuottivat korkean sisäisen validiteetin (vaikka valinta oli vaikeampi tehdä). Huber ja Hansen valitsivat validitointiin asetelman toisiaan läheisistä hyötyarvopareista. Kaksi tärkeää seikkaa nousi esiin Huberin ja Hansenin (1986, 163) tutkimuksessa 1. Vaikeus valita kahden välillä tuotti hedelmällisempiä valintoja ja suuremman yhdenmukaisuuden valintojen välille. 2. On oletettavaa että kompleksisemmat valinnat toisivat paremmin eroja esiin. Kontrastina edellä kuvattuihin huomioihin Green et al. (1988) ei löytänyt kokemuksellista tukea sisäiselle validiteetille, käytettäessä stimulanttia valintaa tutkimuksessa mukana.
Reliabiliteetti ja validiteetti conjoint analyysin tuloksissa
Conjoint tutkimuksissa vastaajille annetaan arvioitaviksi attribuuttitasoja (tai attribuuttitasoisia yhdistelmiä). Mitä todella arvioidaan, on toisaalta annetut attribuuttitasot ja toisaalta arviointi itsessään. Näiden yhteydestä luodaan tilastollinen malli ja yksilötason osahyötykuvaaja josta johdetaan yksilön prefrenssit tuotetta kohtaan.
Conjoint analyysin tärkein tehtävä on löytää yksittäisen henkilön preferenssipäätökset. Perustuen suureen määrään preferenssirakenteita, yksi tai useampia optimaalista attribuuttikombinaatiota voidaan rakentaa. Myöhemmin näistä päätöksistä voidaan tehdä tietynlainen konsepti, attribuuttien kombinaatio. Yksinkertaistaen näistä päätöksien pohjalta voidaan rakentaa markkinoille tuote, joka sisältää optimaalisen yhdistelmän näitä attribuutteja, jota pidetään parempana kuin vastaavia tuotteita markkinoilla.
Tutkimustehtävän muodossa conjoint analyysissä pyritään kuvaamaan, selittämään ja ennustamaan tuotteen menestymistä markkinoilla. Reliabiliteetti voidaan laskea mittaamalla attribuuttitasojen ja evaluointien yhteyttä toisiinsa. Havaittu validiteetti kuvaa sitä astetta, mitä havainnossa voidaan nähdä. Sisäinen validiteetti johtuu attribuuttien valinnoista ja attribuuttitasoista ja siitä miten ne toimivat keskenään attribuuttiprofiilien kanssa. Rakenteellinen validiteetti tarkoittaa sitä, miten hyvin evaluointi kuvaa yksilön valintojen kanssa. Mahdollinen ongelma rakenteellisen validiteetin kanssa on joissakin tapauksissa se, miten evaluointi suhteutuu salientteihin attribuutteihin. Joissain tapauksissa vastaajan arvioinnit ohjautuvat muiden tarpeista. Kriteerinä on, kuinka hyvin ennusteet voidaan tehdä preferenssirakenteesta. (De Bont 1992)
Jos joku valitsee conjoint menetelmäkseen kokonaisprofilimallin, tulokset (Huber et al. 1993) osoittavat, että tehokkuutta voi parantaa kahdella tapaa. Kokonaisprofiili conjoint mallin validiteetti on suhteessa siihen kuin ka monta attribuuttia on käytössä. Greenin ja Srinivasanin (1990) mukaan pitäisi käyttää hybrid conjoint mentelmää tai ACA menetelmää, jos attribuutteja on enemmän kuin kuusi. Toiseksi kokonaisprofiilimallli on tehokkaampi, jos sen käyttöä on edeltänyt lämmittely, jossa vastaajat tulevat tutuiksi arvioitavien attribuuttien ja niiden tasojen suhteen (Huber et a. 1993).
Heinonen, Jarmo 2004. Conjoint-menetelmä. www.metodix.com. Menetelmäartikkelit
Lähdeluettelo
Acito, F. 1979. An Investigation of Reliability of Conjoint Measurement for Various Orthogonal Designs. Proceedings Southern Marketing Association 1979 Conference. Franz, R.S., Hopkins, A.T (ed) University of Southwestern Lousiana. 175-178.
Anderson, P.F. 1986. On Method in Consumer Research. A Critical Relativist Perspective. Journal of Consumer Research. No 13. Pages 155-173.
Anderson, N.H. 1981. Foundations of information integration theory. New York: Academic Press.
Bateson, J.E.G., Reibstein, D.J. & Boulding, W. 1987. Conjoint Analysis Reliability and Validity: A framework for future research. In Review of Marketing, Houston M. J. ed. Chicago: American Marketing Association, 451-481.
De Bont, C.J.P.M. 1992. Consumer evaluations of early product-consepts, 181, 13.
Box, J.M.F. & G.H.A. van Eyk 1983. Industriele produktontwikkeling en marktonderzoek. Deel II de stand van zakken. In: Handboek Marketing. Kluwer 13-34.
Carroll, J.D. 1973. Models and Algorihms for Multidimensional Scaling, Conjoint Measurement, and Related Techniques, in P.E. Green and Y. Wind (eds.): Multiattribute Decisions in Marketing. Hinsdale, IL. Dryden Press. Pages 335-348.
Carroll, J.D. & Green, P.E. Psychometric Methods in Marketing. Research: Part I, Conjoint Analysis. Journal of Marketing Research, November 1995. Pages 385-391.
Cattin, P. & Weinberger M. 1980. Some validity and reliability issues in the measurement of attribute utilities. Association for Consumer Research 7. , 780-783.
Cattin, P. & Wittink D.R. 1982. Commercial Use of Conjoint Analysis: A Survey. Journal of Marketing Vol 46 (Summer 1982), pp. 44-53.
Cattin, P., Gelfand, A.E. & Danes, J. 1981. A Simple Bayesian Procedure for Estimation in a Conjoint Model. Working paper No 10-81, Center for Research and Management Development, University of Connecticut.
Cook, T.D. & Campbell D.T. 1979. Design and analysis of quasi-experiments for field settings. Chicago: Rand McNally.Cooper, R.G. 1986. New product performance and product innovation strategies. Research Management, 29, 17-25.
Crawford, C. M. 1987. New products Management. Homewood, Illinois: Irwin.
Darnell, A. C. & Evans J. L. 1990. The Limits of Econometrics. Gower Publishing Company, Brookfield, Vermont, USA p.173
Day, G.S. & R. Wensley 1988. Assessing advantage: a framework for diagnosing competitive superiority. Journal of Marketing 52, 1-20.
Drenth, P.J.D. 1975. Inleiding in de testtheorie. Deventer: Van loghum Slaterus.
Finn, A. 1985. A Theory of the consumer evaluation process for new product concepts. In: Research in consumer behavior. Sheth, J.N. (Ed.) 35-65.
Fishbein, M. & Ajzen I. 1975. Belief, attitude, intention and behavior. An introduction to theory and research. Reading, Mass.: Addison-Wesley.
Carmone, F. 1987. ACA system for adaptive conjoint analysis. University of Oregon. Journal of Marketing Research, August 1987. pp 325-327.
Green, P.E. 1984. Hybrid models for conjoint analysis: An expository review. Journal of Marketing Research 21, 155-169.
Green, P.E. 1987. Conjoint analyzer. Drexel University. Journal of Marketing Research, August 1987. pp 327-329.
Green, P.E. & DeSarbo, W.S. 1979. Componential Segmentation in the Analysis of Consumer Tradeoffs. Journal of Marketing No 43. Pages 83-91.
Green, P.E. & Krieger, A.M. 1991. Segmenting Markets With Conjoint Analysis. Journal of Marketing. Vol. 55 (October) pp. 20-31.
Green, P.E., Krieger, A.M. & Agarwal, M.K. 1991. Adaptive conjoint analysis: some cautions and caveats. Journal of Marketing Research 28 (May), 215-222.
Green, P.E. & Rao, V.R. 1971. Conjoint measurement for quantifying judgmental data. Journal of Marketing Research 8, 355-636.
Green, P.E. & Srinivasan V. 1978. Conjoint analysis in consumer research; issues and outlook. Journal of consumer Research 5, 103-123.
Green, P.E., Wind, Y. & Jain, A.K. 1972. Preference Measurement of Item Collection. Journal of Marketing Research 9 November 1972. pp. 362-371.
Gutman, J. 1982. A means-end chain model based on consumer categorization processes. Journal of Marketing No 46. Pages 60-72.
Hagerty, M.R. 1985. Improving the Predictive Power of Conjoint Analysis: The Use of Factor Analysis and Cluster Analysis. Journal of Marketing Research Vol XXII (May 1985). Pages 168-184.
Hair, J.F., Jr., Anderson, R.E. & Tatham, R.I. 1987. Multivariate Data Analysis. Macmillan, New York.
Heinonen, J.E.A. 1998. A Gap Analysis of Customers and Workers. Helsinki: University of Helsinki.
Herman, S. 1988. Software for Full-Profile Conjoint Analysis. In M. Metegrano (eds.): Proceeding of the Sawtooth Conference on Perceptual Mapping, Conjoint Analysis, and Computer Interviewing. Sawtooth Software. Ketchum, ID.
Holbrook, M.B. and Corfman, K.P. 1985. Quality and value in the consumption experience. Phaedrus rides again. In the book Perceived quality, eds. Jacoby, J and Olson, J. Lexington, MA. Pages 31-57.
Holbrook, M.B. & Moore W.L.1981. Feature interactions in consumer judgments of verbal versus pictorial presentations. Journal of Consumer Research 8., 103-113.
Huber, J. 1987. Conjoint analysis: How we got here and where we are.: in Proceedings of the Sawtooth Software Conference on Perpetual Mapping, Conjoint analysis and computer interviewing. ed. Richard M. Johnson, Ketchum, ID: Sawtooth Software, 237-252.
Huber, J. & Hansen, D. 1986. Testing the impact of dimensional complexity and affective differences of paired concepts in adaptive conjoint analysis,; in Advances in Consumer Research vol 14. eds. Melanie Wallendorf and Paul Anderson. Provo UT; Association for Consumer Research, 159-163.
Huber, J., Wittink, D.R., Fiedler, J.A. & Miller, J.1993. The Effectiveness of Alternative Preference Elicitation Procedures in Predicting Choice. Journal of Marketing Research Vol. XXX (February 1993), pp. 105-114.
Johne, F.A. 1985. Industrial product innovation, organization and management. London: Croom Helm.
Johnson, R. 1995. Service failure and recovery: Impact, attributes and process. Advances in Services Marketing and Management No 3. Pages 211-228.
De Jonge L. & Oppejdijk van Veen W.M. 1982. The prospective buyer of consumer durables. Groningen: doctoral thesis of State University of Groningen
Kamakura, W. 1988. A least Squares Procedure for Benefit Segmentation with Conjoint Experiments. Journal of Marketing Research No 25. Pages 157-167.
Krantz, D.H. & Tversky, A. 1971. Conjoint-measurement analysis of composition rules in psychology. Psychological Review. 1971. pp. 342-365.
Krishnamurthi, L. & Wittink, D.R. 1991. The value of idiosyncratic functional forms in conjoint analysis. Intern J. of Research in Marketing 8 (1991). Pages 301-313.
Kruskal, J.B. 1965. Analysis of factorial experiments by estimating monotone transformations of the data. Journal of the Royal Statistical Society. Series B, 27. Pages 251-63.
Lancaster, K.J. 1966. A new approach to consumer theory. Journal of Political Economy 74, 132-157.
Van der Lans, I. A. & Heiser, W.J. 1992. Constrained part-worth estimation in conjoint analysis using the self-explicated utility model. Journal of Research in Marketing 9 (1992) 325-344. North-Holland.
Laric, M. 1979. Are consumers able to understand concepts in the early stages of development; cost effective approaches. Amsterdam: Esomar conference papers, Dubrovnik, 103-106.
Leigh, T. W., MacKay, D.B. & Summers J. O. 1984. Reliability and Validity of Conjoint Analysis and Self-Explicated Weights: A Comparison. Journal of Marketing Research. Vol XXI, November 1984. Pages 456-462.
Louviere, J.J. 1988. Conjoint analysis modelling of stated preferences. Journal of transport economics and policy. January 1988, 93-119.
Mahajan, V., Green P.E. & Goldberg S.M. 1982. A Conjoint Model for Measuring Self- and Cross-Price/Demand Relationships. Journal of Marketing Research. August 1982. pp. 334-343.
Maheswaran, D. & Sternthal B. 1990. The effects of knowledge, motivation, and type of message on ad processing and product judgments. Journal of Consumer Research 17, 66-73.
Malhotra, N.K. 1982. Structural Reliability and Stability of Nonmetric Conjoint Analysis. Journal of Marketing Research. 19 May, 1982. Pages 199-207.
Moore, A.N. and Tutthill, B.H. ed. 1971. Computer Assisted Food Management Systems. Columbia, Mo. University of Missouri.
Pekelman, D. and Subrata L.S. 1979. Improving Prediction in Conjoint Analysis. Journal of the American Statistical Association No 75. Pages 801-816.
Petty, R.E., Cacioppo, J.T. & Schuman D. 1983. Central and peripheral routes to advertising effectiveness: the moderating role of involvement. Journal of consumer Research 10. 135-146.
Priem, R.L. 1992. An application of metric conjoint analysis for the evaluation of top managers’ individual strategic decision making processes: a research note. Strategic Management Journal, Vol. 13 1992, pp. 143-151.
Ramsey, F.P. 1926. Truth and Probability, reprinted in Kyburg, H. E and Smolker, H.G. (eds) 1964 Studies in Subjective Probability, New York, Wiley.
Reibstein, D. Bateson, J.E.G. & Boulding W. 1988. Conjoint analysis reliability: empirical findings. Marketing Science 7, No. 3 pp. 271-286.
Reynolds, T.J. & Gutman, J, 1984. Advertising is image management. Journal of Advertising Research 24, 27-37.
Roozenburg, N. & Eekels J. 1991. Produktontwerpen, Struktuur en methoden. Utrecht: Lemma.
Scott, J. E. & Wright P. 1976. Modelling an organizational buyer’s product evaluation strategy: validity and procedural considerations. Journal of Marketing Research 13. p 211-224.
Shocker, A.D. and Srinivasan, V. 1977. LINMAP (Version II): A FORTRAN IV Computer Program for Analyzing Ordinal Preference (Dominance) Judgments Via Linear Programming Techniques for Conjoint Measurement. Journal of Marketing Research No 14. Pages 101-103.
Srinivasan, V. 1988. A Conjunctive-Compensatory Approach to the Self-Explication of Multiattributed Preferences. Decision Sciences No 19. Pages 295-305.
Srinivasan, A., Jain, K. and Malhotra, N.K. 1983. Improving the Predictive Power of Conjoint Analysis by ConstrainedParameter Estimation. Journal of Marketing Research No 20. Pages 433-438.
Srinivasan, V. and Wyner, G.A. 1989. 1989. CASEMAP: Computer -Assisted Self-Explication of Multi-Attributed Preferences. In Henry, W., Menasco, M. and Takada, H. (eds.) : New Product Development and Testing. Lexington MA. Lexington books. Pages 91-111.
Triesscheijn, E.W.M. 1982. De rol van martondenzoek bij industriele vormgeving. Tidschrift voor Marketing, 28-31.Trilling, L. 1972. Sincerity and Authenticity. Cambridge, Mass. Harward University Press.
Weiner, B. 1985. ”Spontaneous” causal thinking. Psychological Bulletin. No 97. Pages 74-84.
Zaltman, G., LeMasters, K. and Heffring M. 1982. Theory Constructing in Marketing. Some Thoughts on Thinking. John Wiley & Sons Inc., New York
Kategoriat:artikkeli, Artikkelit
METODIX 
Vastaa