Magi 是什么?
Magi 是由?Peak Labs?研發(fā)的基于機(jī)器學(xué)習(xí)的信息抽取和檢索系統(tǒng)，它能將任何領(lǐng)域的自然語(yǔ)言文本中的知識(shí)提取成結(jié)構(gòu)化的數(shù)據(jù)权旷，通過(guò)終身學(xué)習(xí)持續(xù)聚合和糾錯(cuò)色洞，進(jìn)而為人類用戶和其他人工智能提供可解析戏锹、可檢索、可溯源的知識(shí)體系火诸。
Magi 能做什么?
如果您是從?magi.com?來(lái)到這里的話锦针，那么恭喜您發(fā)現(xiàn)了 Magi 的一半！這個(gè)長(zhǎng)得很像搜索引擎的網(wǎng)站就是 Magi 的公眾版本置蜀，但與搜索引擎不同奈搜，Magi 不僅收錄互聯(lián)網(wǎng)上的海量文本，還會(huì)去嘗試?yán)斫獠W(xué)習(xí)這些文本中蘊(yùn)含的知識(shí)和數(shù)據(jù)盯荤。
不妨在?magi.com（使用幫助）嘗試搜索一些您關(guān)心的事物馋吗，或者直接提出問(wèn)題，Magi 都將竭力為您提供高度聚合的結(jié)構(gòu)化知識(shí)結(jié)果：
我們?yōu)?Magi 從零研發(fā)了一套互聯(lián)網(wǎng)搜索引擎脚翘，所以?magi.com?同時(shí)提供全網(wǎng)規(guī)模的普通搜索結(jié)果。因此绍哎，即使不巧沒(méi)有結(jié)構(gòu)化結(jié)果来农，您也不會(huì)白來(lái)。
值得一提的是崇堰，上述的學(xué)習(xí)過(guò)程是在無(wú)人干預(yù)的情況下 7 x 24 小時(shí)不間斷運(yùn)行的沃于，實(shí)時(shí)新聞事件中的知識(shí)一般只需要 5 分鐘就會(huì)被掌握。隨著可交叉驗(yàn)證的信息源不斷增加赶袄，先前學(xué)習(xí)到的知識(shí)的可信度會(huì)被重新評(píng)估揽涮，使結(jié)果中的錯(cuò)誤被自動(dòng)糾正。
Magi 的使命
目前饿肺，互聯(lián)網(wǎng)上只有極少數(shù)知識(shí)被人類手工整理成了機(jī)器可以解析的格式蒋困，如各種百科欄目和垂直領(lǐng)域數(shù)據(jù)庫(kù)，然而這些信息僅僅是滄海之一粟敬辣，無(wú)論是覆蓋范圍雪标、更新頻率、可靠程度都無(wú)法滿足日益增長(zhǎng)的自動(dòng)化和智能化需求溉跃。
其根本矛盾在于：讀懂自然語(yǔ)言對(duì)人類來(lái)說(shuō)不難村刨，但人的精力有限，無(wú)法跟上有價(jià)值信息的產(chǎn)生速度撰茎，也不能保證穩(wěn)定和客觀嵌牺；機(jī)器雖然不知疲倦且速度超群，但面對(duì)紛繁復(fù)雜的自由文本卻難以利用龄糊，使得不可估量的價(jià)值被埋沒(méi)于字里行間逆粹。
試想一下，假如有一個(gè)不斷自動(dòng)更新的數(shù)據(jù)庫(kù)炫惩，包含著互聯(lián)網(wǎng)各處的文本信息提取而成的便于程序和算法處理的數(shù)據(jù)結(jié)構(gòu)僻弹，那么也許：
各種語(yǔ)音助手不會(huì)再對(duì)您說(shuō)：“對(duì)不起，我不清楚他嚷√Ｕ溃”；
商業(yè)智能可獲得廣泛的背景知識(shí)來(lái)做出更好的判斷筋蓖；
金融信息服務(wù)的數(shù)據(jù)收集與驗(yàn)證的效率將顯著提升卸耘；
… …
作為公眾版本的?magi.com?為人類用戶提供了與互聯(lián)網(wǎng)數(shù)據(jù)交互的新方式，而 Magi 系統(tǒng)背后的技術(shù)平臺(tái)則承載著另一半重要的意義：讓機(jī)器像人一樣能理解并充分利用互聯(lián)網(wǎng)中無(wú)窮無(wú)盡的知識(shí)扭勉。
Magi 的技術(shù)
在目前相關(guān)領(lǐng)域的嘗試中鹊奖，機(jī)器問(wèn)答終究還是面向人類的服務(wù)，依照文本問(wèn)題給出的文本回答并不能供下游任務(wù)直接利用涂炎。同時(shí)忠聚，問(wèn)答模型本身無(wú)論從容量還是更新效率都無(wú)法滿足規(guī)纳杌化的需求，更致命的是模型中的知識(shí)存在于由浮點(diǎn)數(shù)組成的“黑箱”中两蟀，在我們看來(lái)將這些無(wú)法解讀和溯源的信息直接呈現(xiàn)給用戶并不是最負(fù)責(zé)任的做法网梢。另外，基于文檔檢索的方案同樣無(wú)法滿足結(jié)構(gòu)化的需求赂毯，在實(shí)時(shí)線上服務(wù)中效率限制會(huì)導(dǎo)致其難以評(píng)估全部文檔來(lái)獲得全局最優(yōu)战虏，而且其對(duì)用戶輸入的查詢要求較高。
綜上所述党涕，我們認(rèn)為知識(shí)提取的重要性遠(yuǎn)高于單純地回答問(wèn)題烦感，主動(dòng)發(fā)現(xiàn)潛在知識(shí)并持續(xù)提煉修正則顯著強(qiáng)于被動(dòng)地根據(jù)輸入的問(wèn)題去匹配結(jié)果。讓機(jī)器去理解語(yǔ)言已經(jīng)十分困難膛堤，而 Magi 更是選擇面對(duì)其中最復(fù)雜的目標(biāo)：開(kāi)放領(lǐng)域的互聯(lián)網(wǎng)文本手趣，去直面規(guī)模化和準(zhǔn)確度這一組知識(shí)工程中的核心矛盾點(diǎn)肥荔。
為了提升信息的利用率燕耿，Magi 必須盡可能徹底地從每一段質(zhì)量參差不齊且主題各異的文本中提取出全部知識(shí)中符。這決定了一切現(xiàn)有的技術(shù)方案都不可用：這不再是一個(gè)清晰的序列標(biāo)注問(wèn)題，交錯(cuò)疊加的關(guān)系使得搜索空間爆炸式增長(zhǎng)誉帅，不受限制的領(lǐng)域還意味著根本沒(méi)有可用的訓(xùn)練數(shù)據(jù)淀散。
我們用了多年時(shí)間從零設(shè)計(jì)研發(fā)了整個(gè)技術(shù)堆棧：采用原創(chuàng) succinct 索引結(jié)構(gòu)的分布式搜索引擎、使用專門設(shè)計(jì)的 Attention 網(wǎng)絡(luò)的神經(jīng)提取系統(tǒng)蚜锨、不依賴 Headless 瀏覽器的流式抓取系統(tǒng)吧凉、支持混合處理 170 余種語(yǔ)言的自然語(yǔ)言處理管線、… 踏志。與此同時(shí)，我們默默耕耘并收獲了獨(dú)一無(wú)二的訓(xùn)練/預(yù)訓(xùn)練數(shù)據(jù)胀瞪。
這個(gè)系統(tǒng)通過(guò)引入傳統(tǒng)搜索中的 query-independent 質(zhì)量因素针余，使得優(yōu)質(zhì)可靠的消息源會(huì)更被重視；其基于多級(jí)遷移學(xué)習(xí)的提取模型則完全摒棄了人工規(guī)則凄诞、角色標(biāo)注圆雁、依存分析等限制泛化能力的環(huán)節(jié)，并且可在 zero-resource 的前提下直接應(yīng)用到各種外語(yǔ)文本上并取得令人滿意的效果帆谍；而隨著數(shù)據(jù)的積累以及來(lái)源多樣性的擴(kuò)充伪朽，這個(gè)系統(tǒng)還能夠持續(xù)學(xué)習(xí)與調(diào)整，自動(dòng)消除學(xué)習(xí)到的噪音和錯(cuò)誤結(jié)果汛蝙；…
這些努力共同作用將 Magi 呈現(xiàn)于此烈涮。作為獨(dú)特且具有前瞻性的項(xiàng)目朴肺，Magi 的部分?jǐn)?shù)據(jù)與相關(guān)研究成果將定期公開(kāi)于?Zenodo?和?arXiv?等平臺(tái)。
Magi 的愿景
Magi 現(xiàn)在還遠(yuǎn)算不上成熟坚洽，但其特性決定了它無(wú)窮的可能性和成長(zhǎng)空間戈稿。
從最棘手的互聯(lián)網(wǎng)開(kāi)放領(lǐng)域信息入手，Magi 證明了其作為?the One system to rule them all?的可能性讶舰。面對(duì)各種領(lǐng)域的文本信息鞍盗，Magi 的技術(shù)方案則從逐項(xiàng)擊破躍進(jìn)到了大一統(tǒng)，這代表著有限到無(wú)限的區(qū)別跳昼。
隨著數(shù)據(jù)量和可信度的不斷增長(zhǎng)般甲，Magi 將作為知識(shí)的?ImageNet?來(lái)賦能各行各業(yè)。各個(gè)專業(yè)細(xì)分領(lǐng)域的信息提取任務(wù)鹅颊，都可以通過(guò)利用少量數(shù)據(jù)對(duì) Magi 模型進(jìn)行 fine-tuning 來(lái)實(shí)現(xiàn)更優(yōu)的方案敷存。
也許在不遠(yuǎn)的未來(lái)，伴隨著整個(gè)行業(yè)的進(jìn)步挪略，Magi 所構(gòu)建的包容萬(wàn)事萬(wàn)物的結(jié)構(gòu)化網(wǎng)絡(luò)將成為通向可解釋人工智能的基石历帚。
“Peak Labs”公司近日發(fā)布了其人工智能系統(tǒng) Magi 的公眾版“ magi.com ”。通過(guò)這一搜索引擎杠娱，用戶輸入關(guān)鍵詞挽牢，即可獲取 Magi 從互聯(lián)網(wǎng)文本中自主學(xué)習(xí)到的結(jié)構(gòu)化知識(shí)和網(wǎng)頁(yè)搜索結(jié)果，每個(gè)結(jié)構(gòu)化結(jié)果后面都會(huì)附上來(lái)源鏈接和其可信度評(píng)分摊求。
Magi 的神奇之處
這跟我們使用的傳統(tǒng)搜索引擎不同禽拔，傳統(tǒng)搜索引擎返回的是一系列的鏈接，要解讀問(wèn)題室叉，還需要自己去點(diǎn)擊網(wǎng)頁(yè)挖掘有用信息睹栖。
這一引擎發(fā)布后，引來(lái)大批網(wǎng)友圍觀茧痕，將它的服務(wù)器玩掛了野来。Magi 作者發(fā)微博做了回應(yīng)：“突然很多人關(guān)注到了我們，真的很感謝大家踪旷，其實(shí)搜索引擎真的不是我們的主業(yè)曼氛，我們自己沒(méi)做任何推廣，更沒(méi)來(lái)得及準(zhǔn)備應(yīng)對(duì)這恐怖的流量……Magi 單次搜索的計(jì)算量比一般的網(wǎng)頁(yè)搜索要重很多令野，請(qǐng)大家手下留情舀患，同時(shí)再次表示抱歉！”
magi.com 的結(jié)果中气破，答案在搜索框的正下方聊浅，鏈接則在頁(yè)面右邊，跟主流搜索引擎的用戶界面相反。如在 magi.com 里搜索“編程語(yǔ)言”低匙，出來(lái)的首先是各種主流編程語(yǔ)言的合集：C#旷痕、Python、Java努咐、JavaScript…同時(shí)給予“編程語(yǔ)言”這個(gè)詞以“描述”和“屬性”解釋苦蒿。紅黃綠的顏色代表 Magi 給出的可信評(píng)分級(jí)別。
在答案的右側(cè)提供了一些鏈接渗稍，用鼠標(biāo)劃過(guò)它們即可看到佩迟，答案是從哪個(gè)具體的來(lái)源學(xué)習(xí)到的：
Magi 的關(guān)注點(diǎn)在用戶搜索行為的本質(zhì)，相對(duì)傳統(tǒng)搜索引擎來(lái)說(shuō)做了一點(diǎn)小改進(jìn) ：“幫你思考”竿屹。當(dāng)輸入想了解事物或信息报强，傳統(tǒng)搜索引擎給出的是按照結(jié)果的權(quán)重 (Page Rank) 展現(xiàn)的鏈接信息，需要自己去歸納和判斷可信度拱燃。Magi 多做了一步秉溉，不僅收錄互聯(lián)網(wǎng)上的海量文本，還會(huì)去嘗試?yán)斫獠W(xué)習(xí)這些文本中蘊(yùn)含的知識(shí)和數(shù)據(jù)碗誉。
季逸超表示召嘶，Magi 類似于民用版的 IBM Watson 或非學(xué)術(shù)版的 Wolfram Alpha。Wolfram Alpha 是一個(gè)讀得懂你提問(wèn)的搜索引擎哮缺，它的目標(biāo)是“計(jì)算一切” 弄跌。按照發(fā)明者 Stephen Wolfram 的說(shuō)法，它是一個(gè)計(jì)算知識(shí)引擎尝苇，而不是像百度或者谷歌那樣的搜索引擎铛只。簡(jiǎn)單地說(shuō)來(lái)，它其實(shí)是一個(gè)繪圖計(jì)算器糠溜、參考書(shū)圖書(shū)館淳玩、以及搜尋引擎的綜合體，非常超前非竿。
除了直接給出計(jì)算結(jié)果蜕着，Wolfram Alpha 還能夠處理基于自然語(yǔ)言的事實(shí)問(wèn)答問(wèn)題，例如：
如果輸入“China GDP”红柱，出現(xiàn)的將不是一大堆網(wǎng)頁(yè)侮东，而是直觀的數(shù)據(jù)和圖表。包括：中國(guó) GDP 最新情況豹芯，從 1970 年至今的中國(guó) GDP 增長(zhǎng)情況（圖表形式）、中國(guó)通貨膨脹率驱敲、失業(yè)人口率铁蹈。
如果輸入“How many people in China”，你可以看到當(dāng)前中國(guó)的總?cè)丝跀?shù)、人口密度握牧、平均每年人口增長(zhǎng)率容诬、預(yù)期壽命和平均年齡等數(shù)據(jù)。
Magi 的背后
Magi 來(lái)自中國(guó)團(tuán)隊(duì) Peak Labs沿腰，創(chuàng)始人季逸超在開(kāi)發(fā)者圈子內(nèi)也小有名氣览徒。2011 年，還在北大附中讀書(shū)期間颂龙，他就獨(dú)自完成了猛犸瀏覽器 iOS 的開(kāi)發(fā)习蓬。2012 年，季逸超創(chuàng)辦了自己的公司措嵌，繼續(xù)推動(dòng)瀏覽器和輸入法項(xiàng)目躲叼。目前，Peak Labs 主要精力都放在 Magi 項(xiàng)目上企巢，專注于背后的技術(shù)枫慷，以及相關(guān)商業(yè)產(chǎn)品的開(kāi)發(fā)。
“我們真正做商業(yè)化的浪规，是 Magi 背后的技術(shù)——基于遷移學(xué)習(xí)的開(kāi)放信息提取或听。”Magi 采取的遷移學(xué)習(xí) NLU 算法笋婿，具有的優(yōu)勢(shì)在于只需使用通用數(shù)據(jù)訓(xùn)練 AI 引擎誉裆，就能使 AI 引擎很好的適用專業(yè)垂直領(lǐng)域。Magi 首先使用互聯(lián)網(wǎng)知識(shí)和自有的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練萌抵，而專業(yè)垂直領(lǐng)域的任務(wù)僅需極少量人工數(shù)據(jù)標(biāo)注找御，就能達(dá)到大規(guī)模數(shù)據(jù)的訓(xùn)練效果。
季逸超的技術(shù)解讀
一绍填、利用率和通用性
Magi 不再依賴于預(yù)設(shè)的規(guī)則和領(lǐng)域霎桅，“不帶著問(wèn)題” 地去學(xué)習(xí)和理解互聯(lián)網(wǎng)上的文本信息，同時(shí)盡可能找出全部信息 (exhaustive) 而非挑選唯一最佳 (most promising)讨永。Magi 通過(guò)一系列預(yù)訓(xùn)練任務(wù)淡化了具體實(shí)體或領(lǐng)域相關(guān)的概念滔驶，轉(zhuǎn)而學(xué)習(xí) “人們可能會(huì)關(guān)注內(nèi)容中的哪些信息？”卿闹。為 Magi 設(shè)計(jì)了專門的特征表達(dá)揭糕、網(wǎng)絡(luò)模型、訓(xùn)練任務(wù)锻霎、系統(tǒng)平臺(tái)（下面都會(huì)講到）著角，并投入大量精力逐漸構(gòu)建了 proprietary 的專用訓(xùn)練 / 預(yù)訓(xùn)練數(shù)據(jù)。Magi 通過(guò)終身學(xué)習(xí)持續(xù)聚合和糾錯(cuò)旋恼，為人類用戶和其他人工智能提供可解析吏口、可檢索、可溯源的知識(shí)體系。
二产徊、覆蓋率和時(shí)效性
配合自家 web 搜索引擎以評(píng)估來(lái)源質(zhì)量昂勒，信息源和領(lǐng)域不設(shè)白名單，綜合 Clarity（清晰度）舟铜、Credibility（可信度）戈盈、Catholicity（普適性）三個(gè) Magi 權(quán)衡知識(shí)工程的規(guī)模化和準(zhǔn)確性難題的量化標(biāo)準(zhǔn)來(lái)進(jìn)行來(lái)源質(zhì)量評(píng)估谆刨。且注重時(shí)效性塘娶，時(shí)效性體現(xiàn)在上文提到的對(duì)既有知識(shí)的時(shí)間線追蹤，做到不再周期性觸發(fā) batch 更新痴荐，整個(gè)系統(tǒng)持續(xù)在線上學(xué)習(xí)血柳、聚合、更新生兆、糾錯(cuò)难捌。
三、可塑性和國(guó)際化
沒(méi)有前置 NER 和 dependency parsing 等環(huán)節(jié)鸦难，減少母文本信息的損失根吁。為 Magi 的提取模型設(shè)計(jì)了專用的 Attention 網(wǎng)絡(luò)結(jié)構(gòu)以及數(shù)個(gè)配套的預(yù)訓(xùn)練任務(wù)。技術(shù)棧完全 language-independent合蔽，可以實(shí)現(xiàn)低資源和跨語(yǔ)言 transfer击敌。
Magi做對(duì)了什么？
Magi 官網(wǎng)和季逸超自己也坦承還存在一些不足拴事，比如消歧義沃斤、工程性，以及規(guī)娜邢化和準(zhǔn)確度等衡瓶。對(duì)于搜索慢的問(wèn)題，季逸超在微博中說(shuō)牲证，這是由于單次搜索的計(jì)算量比一般的網(wǎng)頁(yè)搜索要重很多哮针。Magi 搜索結(jié)果目前還不夠好，但這也不妨礙它成為一個(gè)未來(lái)的搜索引擎方向坦袍，給用戶提供一個(gè)可信任的和理解學(xué)習(xí)之后的知識(shí)十厢。特別是發(fā)展在這個(gè) AI 時(shí)代，搜索引擎的結(jié)果更應(yīng)該貼近用戶的需求捂齐。
現(xiàn)在的主流搜索引擎依靠機(jī)器抓取蛮放，建立在超鏈分析基礎(chǔ)上的網(wǎng)頁(yè)搜索，采用搜索爬蟲(chóng)和排序算法的組合奠宜，以關(guān)鍵詞為核心自動(dòng)檢索包颁，實(shí)現(xiàn)海量信息的自動(dòng)獲取與重要性排序缝其。作為獲取信息的入口，它直接關(guān)系到我們獲取的信息的質(zhì)量徘六，也成就了早期的互聯(lián)網(wǎng)公司。
但現(xiàn)在搜索引擎的過(guò)度商業(yè)化操作已經(jīng)引起了用戶的反感榴都。Magi 的優(yōu)勢(shì)在于去除了商業(yè)化的元素待锈，篩除了廣告，使搜索到的信息更純粹嘴高，更有價(jià)值竿音，節(jié)省用戶的時(shí)間。
季逸超在他的微博里說(shuō)道：“現(xiàn)在的 Magi 飽含一個(gè)工程師樸素的初心拴驮，既不想拿廣告惡心你春瞬，也對(duì)你的隱私毫無(wú)興趣√灼。”
Magi 引擎的“火”宽气，說(shuō)明了搜索引擎在向更好的方向發(fā)展。
