盡管存在質(zhì)疑，許多公司仍然在通過傳統(tǒng)的市場調(diào)查來獲取洞察，而一些技術(shù)公司則聲稱能從龐大的原始信息中獲取比傳統(tǒng)市場研究更好的洞察。Rick Kieser指出，兩者必須被整合在一起，否則市場研究將會被邊緣化。 Rick Kieser進(jìn)一步說明要如何將非結(jié)構(gòu)化文本處理的最新進(jìn)展納入到市場研究人員的能力范圍內(nèi)。

駕馭新的數(shù)據(jù)流

由于數(shù)字通信帶來越來越多的選擇，現(xiàn)在, 客戶有無數(shù)的方式來分享他們對企業(yè)的反饋，包括正面和負(fù)面的信息。許多以客戶為導(dǎo)向的企業(yè)現(xiàn)在都擁有客戶體驗(yàn)管理(customer experience management，CEM)或客戶之聲(voice-of-the-customer,VOC)平臺來管理海量的信息流。

與此同時，盡管存在質(zhì)疑，許多公司繼續(xù)通過傳統(tǒng)的市場調(diào)查來獲取洞察。而一些在數(shù)字通訊領(lǐng)域有優(yōu)勢的供應(yīng)商，則聲稱能從龐大的原始信息中獲取比傳統(tǒng)市場研究更好的洞察。

這些不同的領(lǐng)域很少被整合在一起，而市場研究人員也很少使用運(yùn)營平臺上的客戶反饋?zhàn)鳛槎床飚a(chǎn)生的主要數(shù)據(jù)源。在這篇文章中，我會闡釋，為什么整合的方法是必須的。如果不這樣做，就像我們所擔(dān)心的那樣，市場研究將會被邊緣化。我還會進(jìn)一步說明，如何將非結(jié)構(gòu)化文本處理的最新進(jìn)展納入市場研究人員的能力范圍內(nèi)。

客戶體驗(yàn)管理(CEM)和客戶之聲(VOC)

對消費(fèi)者來說，客戶體驗(yàn)正日益成為唯一有意義的差異化因素。今天，企業(yè)對產(chǎn)品設(shè)計和質(zhì)量控制極為重視，這意味著在絕大多數(shù)品類上，不同品牌在質(zhì)量和效用上幾乎沒有差異。線上市場的速度和透明度，使得消費(fèi)者在價格、使用體驗(yàn)和聲譽(yù)等方面的決策上，更多依賴他人的體驗(yàn)，即使線下發(fā)生的購買行為也是如此。

我們能否更重視品牌信譽(yù)的價值?根據(jù)一項調(diào)查，由于客戶體驗(yàn)不佳，每年有超過830億美元的商業(yè)損失1。在這個充滿活力和瞬息萬變的環(huán)境中，營銷人員必須不斷重新審視如何了解和吸引客戶，重新確定渠道優(yōu)先級，并在所有渠道中保持一致的客戶體驗(yàn)，同時優(yōu)化營銷支出。

每項舉措都必須依賴可靠的數(shù)據(jù)產(chǎn)生高質(zhì)量的洞察，從而驅(qū)動決策。過去，市場研究往往是收集和處理相關(guān)信息的唯一可行手段，如今，客戶體驗(yàn)的每個不同方面通常都有充足的數(shù)據(jù)，并且能夠很容易地整合在一起。現(xiàn)在，市場研究數(shù)據(jù)反而與業(yè)務(wù)有些脫節(jié)。

客戶體驗(yàn)管理(CEM)和客戶之聲(VOC)2行業(yè)大約誕生于20年前，兩者最初并不相同，但現(xiàn)在兩個術(shù)語基本上是同義的。兩者都專注于在客戶的整個生命周期中，通過自動化的流程，追蹤、監(jiān)控和管理客戶與企業(yè)之間的每個交互。

而企業(yè)反饋管理系統(tǒng)(enterprise feedback management，EFM)是研究技術(shù)提供商創(chuàng)造的一個術(shù)語，用來描述基于調(diào)查的反饋征集。 EFM交互通常由客戶接觸點(diǎn)觸發(fā)，這使得它成為許多VOC解決方案的便捷數(shù)據(jù)源。但是，一些VOC計劃并不依賴于調(diào)查，而是通過其他方式獲得數(shù)據(jù)。

2012年至2017年，客戶體驗(yàn)管理(CEM)行業(yè)每年增長近20%，市場規(guī)模預(yù)計增長近三倍，超過68億美元( Figure 1)。可以對比一下，市場研究行業(yè)在2012年的全球收入為390億美元，排除通貨膨脹因素后的增長率只有0.7%4。

我發(fā)現(xiàn)，CEM行業(yè)增長背后有三個主要驅(qū)動因素：

1、企業(yè)越來越以客戶為中心。企業(yè)意識到，越是能滿足客戶的期望，越有可能成功。

2、企業(yè)已經(jīng)認(rèn)識到，獲得新客戶比保留現(xiàn)有客戶成本更高(一項研究說， 獲得新客戶的成本最高多達(dá)五倍以上5)。

3、目前，技術(shù)能夠方便地跟蹤廣泛的客戶觸點(diǎn)上的客戶交互，并形成洞察。

這些趨勢導(dǎo)致客戶反饋如海嘯般迸發(fā)。如果公司打算利用這些客戶反饋，必須將其轉(zhuǎn)化為洞察。對每個行業(yè)來說，它是新的原材料，如果以正確的方式加以處理和應(yīng)用，數(shù)據(jù)會產(chǎn)生巨大的價值。但是，如果不努力從中獲取洞察，數(shù)據(jù)就只是簡單的累積，不會對公司的發(fā)展有任何幫助。

市場研究面臨的挑戰(zhàn)和新來者的困境

在市場研究和企業(yè)反饋管理系統(tǒng)(EFM)中，客戶反饋的傳統(tǒng)范式依賴于以調(diào)查為基礎(chǔ)的介入，這種介入是企業(yè)指導(dǎo)和管理的。最初，隨著在線調(diào)查和社區(qū)(MROCs)的出現(xiàn)，數(shù)字通信的興起只是增加了獲取客戶反饋的渠道。但是現(xiàn)在，隨著社交媒體的興起，消費(fèi)者在各種渠道上變得越來越健談，而這些渠道是市場營銷人員無法控制的。例如， 即使沒有要求，客戶也會通過Facebook、Twitter、TripAdvisor等評論網(wǎng)站和個人博客，和外界分享他們的各種體驗(yàn)。

這種大量的自發(fā)反饋，挑戰(zhàn)了傳統(tǒng)市場研究的方法。在傳統(tǒng)市場研究中，樣本是受控制的，問題也是精心構(gòu)造的。這就形成了一個以高級分析技術(shù)為基礎(chǔ)的新的競爭環(huán)境——分析大量的非結(jié)構(gòu)化的數(shù)值和文本數(shù)據(jù)。在新的競爭環(huán)境下，新來者扮演著數(shù)據(jù)提供商和知識管理公司的角色，其方法和傳統(tǒng)研究公司截然不同。

由于處理海量數(shù)據(jù)以及高度的非結(jié)構(gòu)化特性是大數(shù)據(jù)最大挑戰(zhàn)之一，因此，在形成洞察上，新來者想逆轉(zhuǎn)卻是很困難的。雖然技術(shù)能夠管理巨大的數(shù)據(jù)流，但大量的內(nèi)容都是和數(shù)值數(shù)據(jù)連在一起的原始文本，因此，我們必須使用一些工具，這些工具要能夠同時理解主觀變量和客觀變量，也就是文本和“硬數(shù)據(jù)”。

不同文本洞察技術(shù)的優(yōu)劣勢

和CEM軟件一樣，文本分析軟件也達(dá)到了很成熟的程度。文本分析軟件主要基于一種被稱為自然語言處理(NLP)的底層技術(shù)。由于這種方法在商業(yè)軟件中占據(jù)主導(dǎo)地位，從而掩蓋了另外兩種互補(bǔ)的文本處理方法。其實(shí)這兩種方法也很有價值，在某些情況下，它們更適合處理大量的反饋數(shù)據(jù)。

自然語言處理(NLP)

NLP或文本分析背后的技術(shù)，是使用詞匯、字典以及相應(yīng)的一系列確定性規(guī)則，將相似內(nèi)容的回答集合在一起，以識別特定主題或識別情緒，如正面或負(fù)面情緒。當(dāng)用作詢問或?qū)徲嵐ぞ邥r，NLP特別適用于發(fā)現(xiàn)其在大數(shù)據(jù)集中的意義或情緒。在開發(fā)分析框架(一種稱為文本挖掘的方法)時同樣適用。

為了達(dá)到可接受的精確度水平，需要受過很好訓(xùn)練的人力投入來詮釋內(nèi)容，并通過編寫附加規(guī)則來改進(jìn)主題和情緒提取。這種優(yōu)化過程費(fèi)時費(fèi)力，而且常常被人們省略掉。

機(jī)器學(xué)習(xí)(Machine learning)

NLP的一個可行的替代方案是機(jī)器學(xué)習(xí)，這是一種人工智能方法，它從手動編碼的學(xué)習(xí)樣本(training examples)中自動學(xué)習(xí)如何對文本進(jìn)行分類和解釋。隨著越來越多的學(xué)習(xí)樣本被提供，總體的準(zhǔn)確性在不斷提高。

機(jī)器學(xué)習(xí)特別適用于大規(guī)模的重復(fù)性工作，可以自動運(yùn)行，一旦接受訓(xùn)練，只需極少干預(yù)。因?yàn)樾枰粋€訓(xùn)練集(每個主題或類別通常需要20個樣本)，初始投入更適合大規(guī)模或連續(xù)性項目;然而，一旦運(yùn)行，與NLP不同，它不需要持續(xù)投入昂貴的人工詮釋或技術(shù)。與NLP相比，機(jī)器學(xué)習(xí)是一種較低成本的自動化解決方案。

半自動或計算機(jī)輔助編碼(Semi-automated or computer-assisted coding)

自動輔助的方法可以智能化地進(jìn)行工作，它是在一個整體的組織結(jié)構(gòu)中，通過使用強(qiáng)力搜索、模糊匹配來對客戶評論進(jìn)行分類，并優(yōu)化人工決策。可以說，這種方法會產(chǎn)生最準(zhǔn)確的結(jié)果，但是它不能很好地擴(kuò)展。投入會隨著工作量的增加而線性增加，管理負(fù)擔(dān)也呈指數(shù)級增長。這種方法與其他方法相比，除了較低的容量外，成本也很高。

如果一家公司正在從單一來源分析相同類型的客戶反饋，一種技術(shù)可能就夠了。然而，在當(dāng)今多樣化和數(shù)據(jù)豐富的環(huán)境中，這種情況很少。在處理多個渠道的反饋(包括企業(yè)發(fā)出的和自發(fā)的)時，最大的挑戰(zhàn)在于其特征的多樣性。可以拿自行車作類比：如果要騎行的道路平坦而筆直，一輛單速自行車就可以了。然而，如果是復(fù)雜多變的地形，變速自行車將使旅程更輕松，更快捷，更有效率。

例如，與Facebook更新相比，轉(zhuǎn)錄電話會顯示出非常不同的語言使用，客戶調(diào)查中的評論與酒店評論網(wǎng)站上發(fā)表的評論也大不相同。由于模糊的內(nèi)容和嵌入的交叉引用，Twitter上的評論又完全不同了。每種類型的語言需要不同的解決方案。根據(jù)我的經(jīng)驗(yàn)，即使大公司也難以找到有效的解決方案，因?yàn)榇嬖谄毡榈腻e誤認(rèn)識：單一技術(shù)(通常被認(rèn)為是NLP)可以適用于所有情況。

分析不同渠道的客戶反饋，面臨不同的挑戰(zhàn)

為優(yōu)化客戶洞察，在實(shí)施任何有效的VOC或CEM方案時，都需要平衡五個方面的因素，即：

方案的目標(biāo)

反饋渠道類型

部署的洞察技術(shù)

成本約束

客戶反饋的數(shù)量級

詳細(xì)闡述這些考慮因素超出了本文的范圍，我會把重點(diǎn)放在主要的考慮因素上。需要結(jié)合各種技術(shù)來讓各種渠道的反饋更易于管理。要理解這一點(diǎn)，你必須了解你的反饋渠道以及你的文本洞察技術(shù)，然后將這些渠道與最合適的技術(shù)相匹配。

任何企業(yè)都有可能擁有廣泛的反饋渠道。每一個都具有非常不同的特征，從分析的視角看，各具挑戰(zhàn)。

社交媒體評論的數(shù)量非常之多，但很難解釋，因?yàn)樗鼈兺翘囟ㄇ榫跋潞茈[晦的表述，充斥著難懂的術(shù)語，甚至很多具有反諷含義。盡管如此，社交媒體依然是洞察的重要來源，有助于公司快速響應(yīng)事件和新情況，應(yīng)對危機(jī)和各種趨勢。

而調(diào)查數(shù)據(jù)則容易解釋得多，因?yàn)閱栴}是預(yù)先確定的，答案更加聚焦。獲取調(diào)查數(shù)據(jù)的高成本通常意味著數(shù)據(jù)量不大，因此，在收集的數(shù)據(jù)中不會存在薄弱或突發(fā)趨勢。

呼叫中心的記錄可以提供大量的反饋，而且相對容易理解，但它們是中介信息，并且可能由呼叫中心坐席員總結(jié)過。相比之下，呼叫中心的音頻可能比較難理解，通常需要先進(jìn)行文字轉(zhuǎn)錄，以便容易使用。

市場調(diào)研在線社區(qū)的數(shù)據(jù)通常都是基于文本的，但數(shù)量相對較少。從表面上看，格式很像社交媒體的格式，但它容易解釋得多，因?yàn)閮?nèi)容是被訪者仔細(xì)考慮過的，通常聚焦于特定情境。

在許多方面，入站電子郵件，就其形式和結(jié)構(gòu)而言，處于這些信息渠道的中心位置。客服電子郵件可以是高度結(jié)構(gòu)化的，有一系列的問題和答案，與一項調(diào)查沒有什么不同。

在尋找適用于每個渠道的合適工具和方法時，必須理解特定企業(yè)中可用的反饋渠道的特征。兩個最有價值的變量是數(shù)據(jù)量(volume of data)和闡釋渠道信息的難度(difficulty of interpreting the channel)。對其進(jìn)行分析，能看出在規(guī)模上，要完成的工作存在很大的差異。圖2概括了這一結(jié)果。

將技術(shù)與反饋類型相匹配

最后一步是將最佳技術(shù)與反饋類型相匹配。圖3顯示了在綜合考慮兩個相同的變量——數(shù)據(jù)量和解釋難度的情況下，在成本效益方面，三種不同技術(shù)方案的的最佳范圍。

NLP可以處理大量的數(shù)據(jù)，但由于它是一種挖掘工具，而不是一種解釋工具，它更擅長提供快速的方向性洞察。 NLP不太適合對特定內(nèi)容進(jìn)行細(xì)致的分析，當(dāng)存在多種反饋渠道時，效果就比較差，數(shù)據(jù)也很難解釋。

在處理大量文本時，機(jī)器學(xué)習(xí)的效果最佳，增加工作量的邊際成本可以忽略不計。因?yàn)樗峭ㄟ^特定背景的樣本來訓(xùn)練的，一旦它有了一套有效的學(xué)習(xí)樣本，它就有能力解釋難以識別的概念或情緒。

當(dāng)應(yīng)用到一個新的反饋渠道上，這兩個自動化的方法都需要付出很多投入，無論是調(diào)整NLP的規(guī)則或字典，還是機(jī)器學(xué)習(xí)的訓(xùn)練和驗(yàn)證。

半自動化方法非常適合內(nèi)容難以解釋的渠道，因?yàn)樾枰四X參與確定內(nèi)容的意義。另外，不像自動化方法那樣，半自動化方法門檻不高，因此數(shù)據(jù)量不大時成本低廉。對于數(shù)據(jù)量大的渠道，半自動化的方法需要平衡其成本和收益。

如果你只使用一個單一的渠道，就有可能找到一個最優(yōu)的解決方案。然而，有三到四個不同的渠道，你肯定不能靠一輛單速自行車來面對各種復(fù)雜地形(回到我之前的比喻)。這不是自動文本處理的固有缺陷，相反，謹(jǐn)慎的組合方法實(shí)際上構(gòu)建了更強(qiáng)大、性價比更高的解決方案，每一項技術(shù)都發(fā)揮了最佳特點(diǎn)。

這意味著，你不僅可以優(yōu)化時間和質(zhì)量，而且，通過將人為干預(yù)集中在幾個能發(fā)揮最大價值的小領(lǐng)域，你還可以降低成本。例如，將目標(biāo)聚焦在質(zhì)量控制上，或者讓分析師解釋自動文本挖掘報告。

開啟未來的洞察

由于客戶洞察實(shí)施和客戶反饋渠道目前是不一致的，而且經(jīng)常脫節(jié)，在這個背景下，企業(yè)如果充分評估他們的內(nèi)部需求，并且不滿足于次優(yōu)的技術(shù)解決方案，就可以開始著手構(gòu)建高效的技術(shù)解決方案來整合各種反饋。目前的技術(shù)已經(jīng)可以讓不同的反饋渠道信息(主動征集的和自發(fā)的)轉(zhuǎn)化為及時的、可行動的洞察。當(dāng)然，這需要一些投資，但結(jié)果可能是非常有價值的，在一個財政周期內(nèi)，可以預(yù)期會有一個很好的回報。

據(jù)哈佛商學(xué)院報道，客戶保留率提高5個百分點(diǎn)，企業(yè)利潤會提高25%到95%6。而我在這里討論的技術(shù)上的投資可能只是收入的百分之一。

好消息是，最好的還未到來，技術(shù)在不斷進(jìn)步。企業(yè)現(xiàn)在可以選擇各種有效的工具，組合使用來管理他們的客戶反饋流。市場研究人員擁有更豐富的數(shù)據(jù)資源可用，來補(bǔ)充調(diào)查數(shù)據(jù)(survey data)和傳統(tǒng)的硬的大數(shù)據(jù)反饋(hard number big data feed，指銷量等傳統(tǒng)的交易數(shù)據(jù))。我相信，若干年后如果我們回顧今天，會驚訝：我們只是開啟了待發(fā)掘的潛在洞察中很小的一部分。