進入2016年，Chatbot 無疑已經成為互聯網業界和投資領域的熱點之一。在短短幾個月的時間之內，行業巨頭微軟、Facebook、亞馬遜、Google 和蘋果紛紛發布了各自在 Chatbot 領域的戰略和相關產品。

3月，微軟在 BUILD 大會上發布聊天機器人框架 Bot Farmework；

4月，Facebook 在 F8大會上展示了 Messenger 平臺，Telegram 宣布為機器人開發者設立獎金；

5月，Google 在 I/O 大會上正式推出 Google Assistant，同時發布了 Allo Messenger 以及語音家用音箱；Amazon 把智能音箱 Echo 背后的大腦 Alexa 開放出來，讓用戶可以通過瀏覽器使用；

6月，蘋果在 WWDC 大會上開放 iMessage 給第三方集成，并且發布了 Siri SDK；IBM 的第一個法律機器人已經被華爾街雇傭；

最近，Yahoo 也不甘寂寞在聊天工具中發布了第一款 Chatbot — Kik Messenger。

至于 Chatbot 領域的創業公司，更是如雨后春筍般層出不窮。VentureRadar 總結了截止到6月份 Chatbot 領域最受矚目的25家創業公司，所處的行業也是五花八門：包括個人助理、客戶服務、招聘助手、品牌溝通、虛擬買手、保險代理以及機器人平臺等等，大都拿到了天使或 A/B 輪融資，一派欣欣向榮的景象。 

25 Chatbot Startups You Should Know, Andrew Thomson, June 14, 2016, Venture Radar

Chatbot 歷史

追根溯源，Chatbot 并不是個新鮮的概念。

上點兒年紀的 IT 從業者很多都知道 ELIZA，這是上世紀60年代一位 MIT 的教授 Joseph Weizenbaum 開發的人工智能機器人，可以和人進行簡單對話，但更多的時候可能你看到最多的回復是“What are you saying about…” （可以在 GNU Emacs 中運行 M-x doctor 喚出 ELIZA 的一個版本分支 DOCTOR）。

上個世紀90年代微軟為 Office 軟件配備的虛擬助手 Clippy（回形針），可能是最早大規模推向市場并接觸到主流人群的 Chatbot 原型，它可以在用戶使用 Office 軟件的過程中提供對話形式的幫助，不過很多用戶對它的評價是“intrusive and annoying”（冒冒失失令人討厭），也正是因為反對的聲音太多，2003年它就正式下線了。

進入二十一世紀，一款名為 A.L.I.C.E （Artificial Linguistic Internet Computer Entity）的聊天機器人吸引了行業目光，它嵌入了 AIML（Artificial Intelligence Markup Language）并結合一系列啟發式規則重寫了后臺的處理引擎，大大改善了對話質量。由于和同類應用相比顯著的優勢，AliceBot 三次獲得了 Leobner Prize ——機器人領域最重要的獎項之一。

遺憾的是，無論是 ELIZA 還是 ALICE，離通過圖靈測試都還差得遠。任何人跟他們聊上幾句就會發現其中的破綻，或者答非所問，或者掉進明顯的模式循環之中，感覺都是套路。

由于對話質量不盡如人意，以及應用場景的缺失，Chatbot 在過去的十年間并未吸引太多的注意，僅僅是作為一項有趣的、半科幻的不太成熟的玩具存在著。

從2016年3月份開始，如本文開始所提到的，巨頭們的介入使得 Chatbot 以一種意想不到的方式迅速成為各個科技媒體和開發者社區討論的焦點。

進入6月份，不光是科技和風投界的媒體，Forbes、Fortune、Financial Times 這些老牌的商業媒體也把目光投了過來，紛紛討論 Chatbot 的廣泛應用到底能夠給目前的商業環境帶來什么樣的影響。難道真的是一夜之間 Chatbot 相關的技術發生了天翻地覆的變化，你手機里的 Siri 從一個呆萌的應聲蟲搖身一變，成為了無所不知無所不能的百事通？

先不忙下結論，我們看看過去幾年，互聯網的商業和技術環境中都發生了什么。 

“chatbot” 在 Google Trends 上的熱度隨時間變化趨勢

網絡生態與技術變革

過去5年間，消息服務無疑是增長最快的網絡應用。內有微信，外有 What’sApp、Facebook Messenger，月活超過6億，在過去幾年中成功占領了絕大部分用戶的碎片時間，成為新的、事實上的移動互聯網時代的“瀏覽器“入口。

并且，和 web 時代相比，由于移動應用的封閉性，缺少網頁之間彼此互通有無的超鏈接作為聯系紐帶，移動互聯網環境下的信息孤島效應更加明顯。據統計，當前平均每個用戶手機上應用的數量大約是55個，平均每月使用的應用數量大約是23個，每天使用的數量大約是12個。不過，其中大約有一半左右的使用時間給了排第一位的應用，80%的時間給了排前三位的應用。

這種比”二八原則“還要夸張的注意力分配還造成了一個尷尬的事實，下載移動應用所帶來的流量紅利正在慢慢消失。在北美市場，2015年5月到2016年5月全年的移動應用下載量比前一年下降了20%（全球的數字為增加2%，主要由新興市場貢獻），并且，大約有65%的用戶在過去一個月中沒有下載任何應用。

在這樣的大趨勢下，大家意外的發現，Chatbot 似乎可以解決 App 生態環境面臨的一系列困境。Chatbot 開發成本低，而且是真正的跨平臺，不必考慮 Android/iOS 資源的投入。

在移動時代成長起來的用戶天然接受即時消息通訊的方式，進入門檻低、粘性高，依附于大的平臺，似乎是可以繞開 App 越來越低的下載率和活躍度的問題。消息服務作為 Chatbot 天然的載體，儼然已經成為移動生態環境的基礎設施；那么，Chatbot 作為消息服務之上最自然的應用，會不會取代 App，構建出自己的生態環境？ 

Source: Business Insider, Fortune, Mashable, AppAnnie, AdWeek, Quartz, Yahoo Finance, Experian, TechCrunch, Forbes, Tehc in Asia, eMarketer, Compete, Activate analysis

在技術層面，人工智能以一種出人意料的方式重回大眾視野。

2016年3月，Google Deep Mind AlphaGo 在五番棋中以壓倒性的優勢擊敗世界冠軍李世石，人工智能在圍棋領域戰勝人類頂尖棋手，這在5年前還是遙不可及的夢想，如今卻成為現實。

事實上，自上世紀五十年代現代意義的人工智能誕生以來，已經至少經歷過兩次大起大落，也分化出大大小小各種流派，在最近一次低潮期，從業者們甚至更愿意用“數據挖掘”、“知識推理”、“機器學習”或“統計學習”這樣的字眼來指代自己的工作，小心的避免使用“人工智能”這樣過于耀眼承載了太多希望的詞語。

2006年至今深度學習技術的飛速進展，無疑是當前這次人工智能崛起的最重要基石。多層神經網絡在計算機視覺和語音識別領域已經取得突破性進展，在效果上比之前的方法有了質的飛躍。比如在圖像識別領域的 ImageNet 競賽中，2012年 Hinton 研究小組利用 GPU 跑的深度卷積神經網絡算法遠遠超過了原有的各種機器學習方法，識別率甚至超過了人類。

包括原本認為很難突破的圍棋，機器在原本人類擅長的領域表現得更加優異，所帶來的心理沖擊無疑是全方位的。驗證了深度學習的威力之后，人們自然而然的希望擴展到各個領域，特別是一直自成體系，也公認難度很高的自然語言處理。

自從現代計算機概念誕生的第一天開始就對人類的語言處理問題有著強烈的興趣，著名的圖靈測試，也是圍繞著測試者能夠在多大程度上區分機器還是人類產生的語言來設計的。而 Chatbot 所做的事情，恰好綜合了自然語言處理技術的各個方面。借人工智能崛起的這一波東風，一舉突破當前在 Chatbot 領域面臨的各種瓶頸，甚至通過圖靈測試，也似乎不再是遙不可及的事情。

此外，自然語言作為人機交互界面，這無疑是比從鼠標鍵盤到觸摸屏還要令人激動的巨大變革，徹底把各種智能設備的使用門檻降低為零。并且，如果能夠在理解文本語義的基礎上自動進行下一步動作，很多繁瑣、重復的文字類的人工勞動將被自動化的機器取代，釋放出的市場潛力無疑是非常巨大的——這會不會是“The next big thing”？看起來市場環境和技術各自沿著自己的軌道向前發展，在這個時間點雙方交匯到了一個點上。

也正是因為這樣的原因，在 Chatbot 領域巨頭們爭相投入，從前沿的算法研究到底層的基礎設施平臺搭建，從面向普通用戶的最終應用到面向開發者的一線列工具，迅速成型并投入使用，唯恐在未來的競爭中落了后手。無論前景如何，從客觀上來看，至少目前我們能夠便捷的使用一系列平臺和工具，使用這些工具，搭建一個 Chatbot 要比開發一個移動應用、或者是建個網站快得多。

Chatbot 相關技術

從應用的場景來看，Chatbot 可以分為開放域（Open-Domain）問題和封閉域（Closed-Domain）問題兩大類。

開放域問題和圖靈測試更接近，也更困難。沒有任何限定的主題或明確的目標，用戶和 Chatbot 之間可以進行任何話題的自由對話。可想而知，由于話題內容和形式的不確定性，開放域 Chatbot 要準備的知識庫和模型要復雜很多。

并且，從實際的應用場景來看，開放域 Chatbot 更多應用在聊天、虛擬形象等泛娛樂領域，雖然用戶基數比較大，也容易傳播，但由于目的性不強、內容深度不夠、對話質量不高等等一系列問題，用戶粘性有限、商業價值較低，至少在目前的市場環境和技術水平之下，看不到明確的應用前景和清晰的商業模式。

和開放域問題不同，封閉域問題通常有若干明確的目標和限定的知識范圍，也就是說，Chatbot 所面臨的輸入和輸出通常是有限的。雖然這個限定范圍會隨著問題領域以及對推理深度要求的不同變化很大，但無論如何，與開放域問題相比，問題空間大大縮小，目標也更加清晰明確。

特別是從應用場景上來看，用戶不會期待和一個客服機器人談論歷史知識，也不會向一個電商導購機器人提各種與購物無關的刁鉆古怪的問題。并且，更加垂直和場景化的應用使得封閉域的 Chatbot 從誕生的第一天開始就肩負了商業使命，無論是節省人力成本還是提升人工效率，問題的定義和評判標準都是比較清晰和明確的。

不過，也正是因為如此，封閉域問題 Chatbot 對對話錯誤的容忍度更低、對質量要求更高，這就要求 Chatbot 能夠整合更多的領域知識、用戶的基本信息，以及對上下文語境的分析和判斷。并且，針對一個領域建立的模型和知識圖譜，往往是很難方便的遷移到另外的領域。在這些因素的共同作用下，建立一個封閉域的 Chatbot 就不再單單是一個技術問題，而是融合了商業、產品、運營、數據知識積累和模型調優等等方方面面的權衡和綜合考量。

從表現形式看，Chatbot 可以分為單輪對話和多輪對話兩種類型。

1.單輪對話其實可以看做是問答系統（Question Answering System）的變形， 一般是一問一答的形式，用戶提問，機器生成相應答案的文本或者是綜合與答案相關的各種信息返回給用戶。

2.多輪對話則更接近我們通常理解的人與人之間的對話模式，通常是有問有答，除了用戶提問，機器也會主動向用戶詢問，并且會根據上下文來判斷該給出什么樣的答案或提出什么樣的問題。

從應用的角度來看，單輪對話更適合使用在信息查詢、客戶服務、產品介紹等等目標明確、會話行程短的淺服務類項目，用戶對通過使用這類產品獲得的服務有明確的預期，更多的是把它看做快速獲取信息、提升效率的入口。

而多輪對話服務，往往會應用在信息搜集、商品和服務導購推薦、專業方案咨詢等等一系列結構復雜、會話行程長的深度服務項目里，用戶通過使用這類產品會在某一領域獲得相對完整的服務，解決一個復雜問題，或者獲得某種方向性的引導。一般來說，企業使用多輪對話服務的目標不僅僅是提升效率降低成本，還往往可以改進產品質量帶來更多的收入。

從技術的角度看，實現一個 Chatbot 也可以大致分為基于檢索的模型和生成模型兩種方案。

基于檢索的模型在算法流程和結構上相對更容易理解，在很大程度上和搜索引擎的技術實現類似。一方面事先定義好了問題庫和答案知識庫或回答的模板，另一方面通過 NLP 技術對用戶提出的問題進行分析，通過關鍵詞提取、倒排索引、文檔排序等等方法與定義好的知識庫進行匹配，并返回給用戶。

事實上，的確有一些 Chatbot 項目就是用開源搜索引擎來實現的。 在規則匹配和文檔排序上可以加入各種復雜的啟發式規則或者機器學習算法，從而提高匹配精度。并且，在知識庫上還可以嵌入知識發現和推理機制，提升對話質量。

于此相反，生成模型通常不依賴于特定的答案庫，而是依據從大量語料中習得的“語言能力”來進行對話，看起來這個過程更加接近人類思考和產生語言的過程。而這個“語言能力”，往往涉及到基本語言元素的知識表示、以某種結構（比如深度神經網絡）來模擬的語言模型，以及對生成的語言對象的評價和選擇標準。

兩種模型有各自的優劣：

對于領域范圍清晰、指向明確的問題，基于檢索的模型的對話質量更高。并且，基于檢索的模型不會犯各種語法錯誤，但它的回答很難跳出預定的答案庫，需要花費很大的精力來維護更新知識庫和匹配規則。

生成模型直接從語料來訓練知識表示和語言模型，可以有效降低維護問答庫和規則的精力；同時，生成模型可以應對各種不在預設的問題庫的問題，表現形式更加靈活。但是，好的生成模型往往需要巨大規模的訓練語料，并且，對話中的上下文關系、信息和人格的一致性、以及關鍵意圖識別等等一系列問題都是生成模型需要克服的難關。

早期 Chatbot 領域的架構幾乎都是基于檢索模型的，但深度學習技術取得突破性進展之后，越來越多的研究者和業界的工程師把目光轉向了生成模型，因為深度學習的 Sequence-to-Sequence 方式可以非常好的實現生成模型的框架。

深度學習有一個非常誘人的優勢，就是擁有可以避免人為特征工程的端到端（End-to-End）框架。通俗地講，就是有機會利用深度學習強大的計算和抽象能力，自動從海量的數據源中歸納、抽取對解決問題有價值的知識和特征，使這一過程對于問題的解決者來說透明化，從而規避人為特征工程所帶來的不確定性和繁重的工作量。

例如 AlphaGo 在提升圍棋水平的過程中，并沒有像傳統圍棋程序那樣硬編碼大量的布局定式、死活類型和官子技巧，而是直接通過學習高質量棋譜（以及通過增強學習自身產生的棋譜）提升水平。具體到 Chatbot 領域，這讓我們能夠設想只要有足夠多的對話語料，就可以利用端到端框架直接進行訓練，而不必考慮復雜的語法規則、微妙的對話情景等等一系列人為特征工程需要關注的焦點。這無疑代表了大家都希望追尋的美好前景。 

來源： 愛因互動，EinBot Conversation Generating Framework

問題與展望

不過，在巨頭重金壓注、風投界推波助瀾和科技媒體搖旗吶喊的背景之下，也有一些冷靜的觀察者指出了一個基本事實，那就是目前 Chatbot 能夠做的事情還相當有限，整體的用戶體驗依舊和合格的 APP 相去甚遠。TechCrunch 在最近的一篇文章中指出：“關于 Chatbot，看見的 demo 都很好，但這些 demo 都忽視（或者是故意不提）關鍵的一點——很多 App 尤其是好用的 App，通常并不需要涉及那么多輸入，往往滑一滑、點一點就可以了... … 現階段，很多 Chatbot 還不支持語音，因此你得手動輸入文字，這樣做還不如直接用 App 省事。此外，很多時候 Chatbot 搞不懂你的意思，意味著你得多次重新輸入，改換表述讓 Chatbot 理解你的意思。”

這段描述點明了 Chatbot 目前在具體的應用環境中面臨的兩大困境：

一方面在許多場景下 APP 的操作更加簡單，Chatbot 并未體現出以自然語言作為交互界面的優勢。

另一方面，對于機器理解人們日常使用的自然語言這件事情，事實上我們與幾年前相比并未取得明顯的進步，也就是說，目前的聊天機器人，還沒那么“智能”，遠遠達不到人們對流暢對話的期待。比如下面這個 Facebook Messenger 上面頗為流行的查詢天氣的機器人 Poncho 和用戶之間的對話： 

從中可以看出，對于語法結構完整、指向明確的問題，Poncho 能夠給出相應的回答；但稍微發揮一點，省略語法結構，它就難以領略用戶的真正意圖，迷失在語境之中了。明顯可以看出，Poncho 對上下文的理解是割裂的，僅僅是理解簡單的天氣查詢也這樣困難，更不用說很多需要復雜的語義和邏輯執行的問題了，這也是 Chatbot 普遍面臨的難題。

在 Chatbot 所面臨的兩個困境之中，第二個問題，也就是對話的質量，是最關鍵的，因為本質上來講，第一個問題的解決在很大程度上依賴于我們對第二個問題的解決有多成功。

試想，對于指令性的和獲取信息類的操作，有什么是比自然語言作為交互界面更合適的呢？一個能夠完整、準確的理解自然語言的 Chatbot 無疑能讓我們放棄在界面和交互設計上所花費的額外的心思，更加貼近問題和產品的本質，貼近需求本身和用戶價值。

因此，無論業界和媒體在這件事情上怎樣的風生水起，無論巨頭和創業公司面對用戶許下怎樣的美好未來，能否兌現承諾，取決于我們在機器理解人類自然語言這件事情上能否取得真正的突破，哪怕是在特定的領域、特定的場景下，能否誕生不低于人和人之間平均對話質量的應用。

客觀來看，強 AI、順利通過圖靈測試的機器，這些科幻小說中的場景看起來依舊不會是短期內能夠發生的事情，Chatbot 領域工業界的先行者們更愿意從解決具體的問題入手，一點一滴的積累經驗。比如在行程規劃、個人助理、售前咨詢、客戶服務等領域，都有不少朝氣蓬勃的創業公司在深入的研究用戶需求，搭建技術基礎設施、開發相關的 Chatbot 產品。

雖然這些 Chatbot 所提供的對話質量和服務還不能完全令人滿意，但至少這些探索和嘗試對提升產品體驗、吸引用戶關注和教育市場起到了相當有益的作用。

無論如何，知識自動化和更加自然的人機交互這一趨勢無可避免，由此帶來了機器智能的兩大應用場景：要么協助或替代人力的知識產生和傳播過程，要么更好的服務于這些被替代下來的人們。相信這些都將是無比廣闊的市場和商業機會，Chatbot 能不能引領我們，敲開這扇大門？

智能界（www.xingtupian.com）中國智能科技聚合推薦平臺，秉承“引領未來智能生活”的理念，專注報道智能家居、可穿戴設備、智能醫療、機器人、3D打印、智能汽車等諸多科技前沿領域。聚合品牌宣傳、代理招商、產品評測、原創視頻、FM電臺與試用眾測，深入智能硬件行業，全平臺多維度為用戶及廠商提供服務，致力成為中國最具影響力的智能硬件聚合推薦平臺。