萍鄉(xiāng)新高度市場(chǎng)調(diào)查研究有限公司

文 | Ben Leet

最近我被邀請(qǐng)?jiān)跉W洲的洞察創(chuàng)新變化大會(huì)上作題為2020年的研究是什么樣的演講。我決定談?wù)剣@我們?cè)诰€(xiàn)調(diào)查和樣本庫(kù)管理這部分的行業(yè)趨勢(shì)，以及我覺(jué)得未來(lái)會(huì)怎么樣。

問(wèn)題 1 –不耐煩的受訪(fǎng)者

我們?cè)谧约旱膒anel中做了一些全面的測(cè)試，以了解受訪(fǎng)者的心態(tài)。其結(jié)果是讓人意外的：幾乎60%的panel每次使用超過(guò)15分鐘，而其中幾乎80%想要做超過(guò)15分鐘的調(diào)查。然而我們發(fā)現(xiàn)大部分受訪(fǎng)者承認(rèn)至少有時(shí)會(huì)在調(diào)查中為提高速度而降低回答質(zhì)量，在給出的原因中，名列前茅的是無(wú)聊或啰嗦或低刺激（謝禮）。

問(wèn)題 2 –不好的研究者讓在線(xiàn)調(diào)查變得更長(zhǎng)更復(fù)雜

要求我們實(shí)施的調(diào)查在變得更長(zhǎng)、更復(fù)雜、更重復(fù)。現(xiàn)在平均調(diào)查時(shí)間超過(guò)了20分鐘，而且其中很多還不能進(jìn)行移動(dòng)操作。為了獲得高質(zhì)量的數(shù)據(jù)，并避免這種在調(diào)查中提高速度的趨勢(shì)，應(yīng)該提高刺激（謝禮）作為花費(fèi)的時(shí)間和所帶來(lái)的不便的補(bǔ)償。

問(wèn)題 3 –不對(duì)等對(duì)待Panel用戶(hù)就得到不好的質(zhì)量

研究公司相信所有的panels都是用同樣的方式建立的，因此，他們只關(guān)心他們購(gòu)買(mǎi)樣本的價(jià)格。當(dāng)然，他們會(huì)“說(shuō)”質(zhì)量是重要的，但是甚至沒(méi)有詢(xún)問(wèn)過(guò)正確的質(zhì)量問(wèn)題，而是基于價(jià)格作出購(gòu)買(mǎi)決定。

研究公司在寫(xiě)著冗長(zhǎng)而無(wú)聊的問(wèn)卷，認(rèn)為受訪(fǎng)者會(huì)在意他們給出的答案，然后研究公司會(huì)付幾個(gè)子兒給受訪(fǎng)者。因此受訪(fǎng)者的行為也就變得要盡量快地加速完成調(diào)查以得到他們少得可憐的謝禮。總的來(lái)說(shuō)，行業(yè)在任務(wù)上有誤差，這就意味著縱向的數(shù)據(jù)會(huì)隨著時(shí)間而變化，即使方法“必須不變以保持一致性”。

問(wèn)題 4 –樣本的來(lái)源

業(yè)內(nèi)有一種常見(jiàn)的錯(cuò)誤概念即所有的panel都是以同樣的方式建立起來(lái)的所以panel = 好的質(zhì)量，而攔截 = 壞的質(zhì)量。即使是ESOMAR 的28個(gè)問(wèn)題也有這樣的暗指。

“請(qǐng)描述并解釋您得到受訪(fǎng)者的不同類(lèi)型的網(wǎng)絡(luò)樣本來(lái)源。是數(shù)據(jù)庫(kù)嗎？積極管理的研究panel？直銷(xiāo)清單？社交網(wǎng)絡(luò)？網(wǎng)絡(luò)攔截(river) 樣本？”這種語(yǔ)境暗示了對(duì)于網(wǎng)絡(luò)樣本提供者的來(lái)源類(lèi)型描述能夠提供對(duì)樣本質(zhì)量的洞察。

首先，這種語(yǔ)境是完全錯(cuò)誤的。樣本的購(gòu)買(mǎi)者絕對(duì)無(wú)法僅僅通過(guò)了解樣本panal是來(lái)自panel還是攔截而得到任何關(guān)于樣本質(zhì)量的洞察。正如我在阿姆斯特丹說(shuō)過(guò)的，一個(gè)好的類(lèi)比是釣魚(yú)。您更愿意吃一條今天剛從河里釣來(lái)的魚(yú),還是上周從恒河釣來(lái)并包裝好的魚(yú)？湖里的魚(yú)味道更好，但是因?yàn)槲覀儗?duì)它一無(wú)所知，所以我們更愿意選擇從恒河大量打撈的，能傳染疾病的，包裝好的魚(yú)？我對(duì)此表示懷疑。

網(wǎng)絡(luò)樣本的質(zhì)量取決于樣本的實(shí)際來(lái)源。Panel還是攔截并不是來(lái)源，它只是方法。有許多聯(lián)合機(jī)構(gòu)和發(fā)布者的流量不是用于survey router (攔截)，就是用于panel，而且同樣的來(lái)源常常同時(shí)被攔截和panel所用，所以所有這些其實(shí)都是關(guān)于流動(dòng)的來(lái)源。

真正能夠確定樣本質(zhì)量的問(wèn)題應(yīng)該是：

你們是怎樣進(jìn)行招募的？請(qǐng)描述不同的來(lái)源，以及混合使用是怎樣建立起研究panels/推動(dòng)survey routers的。

你的公司是否有能力追溯來(lái)源中受訪(fǎng)者的質(zhì)量，并積極主動(dòng)地對(duì)這些來(lái)源進(jìn)行管理？具體是怎么做的？

在你管理的panel中，平均退出率、不合適率和召回率分別是多少？

問(wèn)題 5 – panel公司更在意效率而不是質(zhì)量

他們當(dāng)然是這樣的。在商品化的市場(chǎng)中，質(zhì)量在銷(xiāo)售過(guò)程中其實(shí)什么也不是，企業(yè)沒(méi)有別的選擇，只能追求維持利潤(rùn)的效率。所有的業(yè)務(wù)都有股東在后面盯著，要從創(chuàng)造的利潤(rùn)中賺錢(qián)，這就意味著如果價(jià)格降低了，就一定要削減費(fèi)用。

大部分panel公司是怎樣削減費(fèi)用的：

最明顯的就是確保受訪(fǎng)者看到盡可能多的調(diào)查，并完成盡可能多的調(diào)查。這就需要通過(guò)發(fā)送對(duì)他們進(jìn)行預(yù)處理。這樣能夠優(yōu)化panels，但會(huì)帶來(lái)數(shù)據(jù)的偏離。 “一份邀請(qǐng)針對(duì)一個(gè)調(diào)查”的日子已經(jīng)遠(yuǎn)去很久了。

減少謝禮。相對(duì)于總是很長(zhǎng)時(shí)間的低質(zhì)量調(diào)查來(lái)說(shuō)，謝禮總是很低。

更便宜的來(lái)源。更便宜的網(wǎng)絡(luò)流量來(lái)源總是傾向于轉(zhuǎn)化出更高的利潤(rùn)，這并不是什么巧合，因?yàn)檫@些來(lái)源只驅(qū)使那些非常為了錢(qián)主動(dòng)積極的調(diào)查接受者。能否運(yùn)用機(jī)器學(xué)習(xí)和一些智能數(shù)據(jù)技術(shù)（運(yùn)算法則）以便在不詢(xún)問(wèn)受眾的情況下，就能更好地預(yù)測(cè)哪些調(diào)查與哪些受眾相關(guān)？這能帶來(lái)更好的受訪(fǎng)者體驗(yàn)，而不需要對(duì)他們進(jìn)行傳統(tǒng)方式需要進(jìn)行的預(yù)處理。這意味著我們還是能夠承擔(dān)接近于低質(zhì)量來(lái)源的成本，而不必在基本目標(biāo)上作出妥協(xié)。

我們的世界在2020年會(huì)是什么樣子？想想大數(shù)據(jù)和機(jī)器學(xué)習(xí)涌現(xiàn)的速度吧，一個(gè)災(zāi)難性的后果是有人會(huì)建立一種運(yùn)算法則來(lái)代替受訪(fǎng)者，而我們的研究客戶(hù)不會(huì)注意到數(shù)據(jù)有任何不同。事實(shí)上，我們已經(jīng)在使我們的受訪(fǎng)者像機(jī)器一樣思考了。如果我們想要阻止這種趨勢(shì)，我們就必須在與受訪(fǎng)者的溝通方面做得更好：

1.保持簡(jiǎn)短。時(shí)間是寶貴的。我們已經(jīng)對(duì)他們了解了那么多，為什么還要一遍又一遍地問(wèn)那些同樣的該死的問(wèn)題？在這里我們可以更聰明一點(diǎn)。

2.要更多考慮移動(dòng)端。沒(méi)有人想坐在電腦前30分鐘回答你的問(wèn)題，把它縮短到10分鐘，發(fā)到他們的移動(dòng)設(shè)備上，這樣所獲得的洞察就會(huì)更豐富更精確。

這個(gè)行業(yè)的變化比以往任何時(shí)候都快，現(xiàn)在是在機(jī)器完全取代我們之前擁抱變化的時(shí)候了。