知識圖譜，是結(jié)構(gòu)化的語義知識庫瓜富，用于迅速描述物理世界中的概念及其相互關系，通過將數(shù)據(jù)粒度從document級別降到data級別降盹，聚合大量知識与柑，從而實現(xiàn)知識的快速響應和推理。
當下知識圖譜已在工業(yè)領域得到了廣泛應用，如搜索領域的Google搜索价捧、百度搜索丑念，社交領域的領英經(jīng)濟圖譜，企業(yè)信息領域的天眼查企業(yè)圖譜等结蟋。
交叉研究包含有：自然語言處理與語義web脯倚、數(shù)據(jù)挖掘、機器學習椎眯、知識表示與推理挠将、認知計算、信息檢索與抽缺嗾；
構(gòu)建知識圖譜流程：
一乳丰、信息抽日撇狻：實體抽取、關系抽取产园、屬性抽裙；
信息抽仁惭唷（infromation extraction）是知識圖譜構(gòu)建的第1步粘勒，其中的關鍵問題是：如何從異構(gòu)數(shù)據(jù)源中自動抽取信息得到候選指示單元？信息抽取是一種自動化地從半結(jié)構(gòu)化和無結(jié)構(gòu)數(shù)據(jù)中抽取實體屎即、關系以及實體屬性等結(jié)構(gòu)化信息的技術庙睡。
1.1實體抽取：也稱為命名實體識別（named entity recognition，NER）技俐，是指從文本數(shù)據(jù)集中自動識別出命名實體乘陪；
實體抽取研究歷史：
主要是從面向單一領域進行實體抽取，逐步跨步到面向開放域（open domain）的實體抽取雕擂。
1.2 關系抽确纫亍：文本語料經(jīng)過實體抽取之后，得到的是一系列離散的命名實體井赌，為了得到語義信息谤逼，還需要從相關語料中提取出實體之間的關聯(lián)關系，通過關系將實體聯(lián)系起來仇穗，才能夠形成網(wǎng)狀的知識結(jié)構(gòu)流部。這就是關系抽取需要做的事；
關系抽取研究歷史：
1仪缸、人工構(gòu)造語法和語義規(guī)則（模式匹配）贵涵；
2、統(tǒng)計機器學習方法；
3宾茂、基于特征向量或核函數(shù)的有監(jiān)督學習方法瓷马；
4、研究重點轉(zhuǎn)向半監(jiān)督和無監(jiān)督跨晴；
5欧聘、開始研究面向開放域的信息抽取方法；
6端盆、將面向開放域的信息抽取方法和面向封閉領域的傳統(tǒng)方法結(jié)合怀骤。
1.3屬性抽取：是從不同信息源中采集特定實體的屬性信息焕妙，如針對某個公眾人物蒋伦，可以從網(wǎng)絡公開信息中得到其昵稱、生日焚鹊、國籍痕届、教育背景等信息。
屬性抽取研究歷史：
1末患、將實體的屬性視作實體與屬性值之間的一種名詞性關系研叫，將屬性抽取任務轉(zhuǎn)化為關系抽取任務；
2璧针、基于規(guī)則和啟發(fā)式算法嚷炉，抽取結(jié)構(gòu)化數(shù)據(jù)；
3探橱、基于百科類網(wǎng)站的半結(jié)構(gòu)化數(shù)據(jù)申屹，通過自動抽取生成訓練語料，用于訓練實體屬性標注模型走搁，然后將其應用于對非結(jié)構(gòu)化數(shù)據(jù)的實體屬性抽榷栏獭；
4私植、采用數(shù)據(jù)挖掘的方法直接從文本中挖掘?qū)嶓w屬性和屬性值之間的關系模式忌栅，據(jù)此實現(xiàn)對屬性名和屬性值在文本中的定位。
二曲稼、知識融合：實體鏈接（相似度計算）索绪、知識合并；
通過信息抽取贫悄，我們就從原始的非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)中獲取到了實體瑞驱、關系以及實體的屬性信息。如果我們將接下來的過程比喻成拼圖的話窄坦，那么這些信息就是拼圖碎片唤反，散亂無章凳寺，甚至還有從其他拼圖里跑來的碎片、本身就是用來干擾我們拼圖的錯誤碎片彤侍。
2.1實體鏈接（entity linking）是指對于從文本中抽取得到的實體對象肠缨，將其鏈接到知識庫中對應的正確實體對象的操作。
其基本思想是首先根據(jù)給定的實體指稱項盏阶，從知識庫中選出一組候選實體對象晒奕，然后通過相似度計算將指稱項鏈接到正確的實體對象。
實體鏈接研究歷史：
1名斟、僅關注如何將從文本中抽取到的實體鏈接到知識庫中脑慧，忽視了位于同一文檔的實體間存在的語義聯(lián)系；
2砰盐、開始關注利用實體的共現(xiàn)關系闷袒，同時將多個實體鏈接到知識庫中。即集成實體鏈接（collective entity linking）楞卡；
實體鏈接的流程：
1霜运、從文本中通過實體抽取得到實體指稱項；
2蒋腮、進行實體消歧和共指消解，判斷知識庫中的同名實體與之是否代表不同的含義以及知識庫中是否存在其他命名實體與之表示相同的含義藕各；
3池摧、在確認知識庫中對應的正確實體對象之后，將該實體指稱項鏈接到知識庫中對應實體激况。
?2.2知識合并：在前面的實體鏈接中作彤，我們已經(jīng)將實體鏈接到知識庫中對應的正確實體對象那里去了，但需要注意的是乌逐，實體鏈接鏈接的是我們從半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)那里通過信息抽取提取出來的數(shù)據(jù)竭讳。那么除了半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)以外，我們還有個更方便的數(shù)據(jù)來源——結(jié)構(gòu)化數(shù)據(jù)浙踢，如外部知識庫和關系數(shù)據(jù)庫绢慢。
對于這部分結(jié)構(gòu)化數(shù)據(jù)的處理，就是我們知識合并的內(nèi)容啦洛波。一般來說知識合并主要分為兩種：
1胰舆、合并外部知識庫，主要處理數(shù)據(jù)層和模式層的沖突蹬挤；
2缚窿、合并關系數(shù)據(jù)庫，有RDB2RDF等方法焰扳。
三倦零、知識加工：本體構(gòu)建误续、知識推理、質(zhì)量評估
我們已經(jīng)通過信息抽取扫茅，從原始語料中提取出了實體蹋嵌、關系與屬性等知識要素，并且經(jīng)過知識融合诞帐，消除實體指稱項與實體對象之間的歧義欣尼，得到一系列基本的事實表達。然而事實本身并不等于知識停蕉。要想最終獲得結(jié)構(gòu)化愕鼓，網(wǎng)絡化的知識體系，還需要經(jīng)歷知識加工的過程慧起。
3.1本體構(gòu)建：本體（ontology）是指工人的概念集合菇晃、概念框架，如“人”蚓挤、“事”磺送、“物”等。本體可以采用人工編輯的方式手動構(gòu)建（借助本體編輯軟件）灿意，也可以以數(shù)據(jù)驅(qū)動的自動化方式構(gòu)建本體估灿。因為人工方式工作量巨大，且很難找到符合要求的專家缤剧，因此當前主流的全局本體庫產(chǎn)品馅袁，都是從一些面向特定領域的現(xiàn)有本體庫出發(fā)，采用自動構(gòu)建技術逐步擴展得到的荒辕。自動化本體構(gòu)建過程包含三個階段：1汗销、實體并列關系相似度計算；2抵窒、實體上下位關系抽瘸谡搿；3李皇、本體的生成
3.2知識推理：完成了本體構(gòu)建這一步之后削茁，一個知識圖譜的雛形便已經(jīng)搭建好了。但可能在這個時候疙赠，知識圖譜之間大多數(shù)關系都是殘缺的付材，缺失值非常嚴重，那么這個時候圃阳，我們就可以使用知識推理技術厌衔，去完成進一步的知識發(fā)現(xiàn)。：如果A是B的配偶捍岳，B是C的主席富寿，C坐落于D睬隶，那么我們就可以認為，A生活在D這個城市页徐。
根據(jù)這一條規(guī)則苏潜，我們可以去挖掘一下在圖里，是不是還有其他的path滿足這個條件变勇，那么我們就可以將AD兩個關聯(lián)起來恤左。除此之外，我們還可以去思考搀绣，串聯(lián)里有一環(huán)是B是C的主席飞袋，那么B是C的CEO、B是C的COO链患，是不是也可以作為這個推理策略的一環(huán)呢巧鸭？
當然知識推理的對象也并不局限于實體間的關系，也可以是實體的屬性值麻捻，本體的概念層次關系等纲仍。
比如：推理屬性值：已知某實體的生日屬性，可以通過推理得到該實體的年齡屬性贸毕；
推理概念：已知(老虎郑叠，科，貓科)和（貓科明棍，目锻拘，食肉目）可以推出（老虎，目击蹲，食肉目）
這一塊的算法主要可以分為3大類，基于邏輯的推理婉宰、基于圖的推理和基于深度學習的推理歌豺。
3.3質(zhì)量評估
質(zhì)量評估也是知識庫構(gòu)建技術的重要組成部分，這一部分存在的意義在于：可以對知識的可信度進行量化心包，通過舍棄置信度較低的知識來保障知識庫的質(zhì)量类咧。
四、知識更新：全面更新蟹腾、增量更新
知識庫的更新包括概念層的更新和數(shù)據(jù)層的更新痕惋。概念層的更新是指新增數(shù)據(jù)后獲得了新的概念，需要自動將新的概念添加到知識庫的概念層中娃殖。數(shù)據(jù)層的更新主要是新增或更新實體值戳、關系、屬性值炉爆，對數(shù)據(jù)層進行更新需要考慮數(shù)據(jù)源的可靠性堕虹、數(shù)據(jù)的一致性（是否存在矛盾或冗雜等問題）等可靠數(shù)據(jù)源卧晓，并選擇在各數(shù)據(jù)源中出現(xiàn)頻率高的事實和屬性加入知識庫。
4.1全面更新：指以更新后的全部數(shù)據(jù)為輸入赴捞，從零開始構(gòu)建知識圖譜逼裆。這種方法比較簡單，但資源消耗大赦政，而且需要耗費大量人力資源進行系統(tǒng)維護胜宇；
4.2增量更新：以當前新增數(shù)據(jù)為輸入，向現(xiàn)有知識圖譜中添加新增知識恢着。這種方式資源消耗小桐愉，但目前仍需要大量人工干預（定義規(guī)則等），因此實施起來十分困難然评。
五仅财、知識圖譜查詢和推理計算
5.1知識存儲和查詢：知識圖譜以圖(Graph)的方式來展現(xiàn)實體、事件及其之間的關系碗淌。知識圖譜存儲和查詢研究如何設計有效的存儲模式支持對大規(guī)模圖數(shù)據(jù)的有效管理,實現(xiàn)對知識圖譜中知識高效查詢盏求。因為知識圖譜的結(jié)構(gòu)是復雜的圖結(jié)構(gòu),給知識圖譜的存儲和查詢帶來了挑戰(zhàn)。當前目前知識圖譜多以三元存在的 RDF 形式進行存儲管理,對知識圖譜的查詢支持 SPARQL 查詢亿眠；
5.2知識推理計算：知識推理從給定的知識圖譜推導出新的實體跟實體之間的關系碎罚。知識圖譜推理可以分為基于符號的推理和基于統(tǒng)計的推理。在人工智能的研究中,基于符號的推理一般是基于經(jīng)典邏輯(一階謂詞邏輯或者命題邏輯)或者經(jīng)典邏輯的變異(比如說缺省邏輯)纳像【Ａ遥基于符號的推理可以從一個已有的知識圖譜推理出新的實體間關系,可用于建立新知識或者對知識圖譜進行邏輯的沖突檢測【怪海基于統(tǒng)計的方法一般指關系機器學習方法,即通過統(tǒng)計規(guī)律從知識圖譜中學習到新的實體間關系憔购。知識推理在知識計算中具有重要作用,如知識分類、知識校驗岔帽、知識鏈接預測與知識補全等玫鸟。
六、知識圖譜應用
6.1通用和領域知識圖譜：知識圖譜最成熟的一個場景犀勒，自動給出搜索結(jié)果和相關人物屎飘，知識圖譜分為通用知識圖譜與領域知識圖譜兩類,兩類圖譜本質(zhì)相同,其區(qū)別主要體現(xiàn)在覆蓋范圍與使用方式上。通用知識圖譜可以形象地看成一個面向通用領域的結(jié)構(gòu)化的百科知識庫,其中包含了大量的現(xiàn)實世界中的常識性知識,覆蓋面廣贾费。領域知識圖譜又叫行業(yè)知識圖譜或垂直知識圖譜,通常面向某一特定領域,可看成是一個基于語義技術的行業(yè)知識庫,因其基于行業(yè)數(shù)據(jù)構(gòu)建,有著嚴格而豐富的數(shù)據(jù)模式,所以對該領域知識的深度钦购、知識準確性有著更高的要求。
6.2語義集成：?采用語義集成技術褂萧，發(fā)現(xiàn)異構(gòu)知識庫中實體間的等價關系押桃，從而實現(xiàn)知識共享。由于知識庫多以本體的形式描述箱玷，因此語義集成中的主要環(huán)節(jié)是本體映射怨规；匹配方法包括：
①基于文本信息的方法：這種方法主要利用本體中實體的文本信息陌宿，例如實體的標簽和摘要信息。通過計算兩個實體字符串之間的相似度(常用的有編輯距離相似度波丰， Jaccard 相似度)壳坪，來確定實體之間是否具有匹配關系；
②基于結(jié)構(gòu)的方法：這種方法主要利用本體的圖結(jié)構(gòu)信息來對本體進行匹配掰烟。其中較為代表性的方法有 SimRank 和相似度傳播, 這些方法利用本體的圖結(jié)構(gòu)爽蝴，對實體間的相似度進行傳播，從而提高對齊的效果纫骑；
③基于背景知識的方法：這種方法一般使用 DBPedia 或WordNet 等已有的大規(guī)模領域無關知識庫作為背景知識來提高匹配效果蝎亚。例如，Aleksovski 等人利用 DICE 本體(醫(yī)學領域的本體)來匹配結(jié)構(gòu)信息缺失的兩個與醫(yī)學相關的本體先馆；
④基于機器學習的方法：這種方法將本體匹配問題視為一個機器學習中的分類或優(yōu)化問題发框，采取機器學習方法獲得匹配結(jié)果。例如將本體匹配視為一個貝葉斯決策問題煤墙。 Niepert 等人將本體匹配問題使用馬爾可夫邏輯網(wǎng)絡(Markov Logic Network)建模梅惯，將本體中的各種信息轉(zhuǎn)化為各種約束條件，并求出最優(yōu)解仿野。
6.3語義搜索：結(jié)合文本铣减，結(jié)構(gòu)化和語義數(shù)據(jù)、以整體的方式管理不同類型的資源脚作、支持結(jié)果為信息單元(文檔葫哗，數(shù)據(jù))的集成的檢索。知識圖譜是對客觀世界認識的形式化表示,將字符串映射為客觀事件的事務(實體球涛、事件以及之間的關系)劣针。當前基于關鍵詞的搜索技術在知識圖譜的知識支持下可以上升到基于實體和關系的檢索,稱之為語義搜索。語義搜索利用知識圖譜可以準確地捕捉用戶搜索意圖,借助于知識圖譜,直接給出滿足用戶搜索意圖的答案,而不是包含關鍵詞的相關網(wǎng)頁的鏈接亿扁。
6.4基于知識的問答：基于語義解析的方法大致包含四個部分： 資源映射酿秸、邏輯表達式、候選答案生成魏烫、排序。問答系統(tǒng)(Question Answering, QA)是指讓計算機自動回答用戶所提出的問題,是信息服務的一種高級形式肝箱。不同于現(xiàn)有的搜索引擎,問答系統(tǒng)返回用戶的不再是基于關鍵詞匹配的相關文檔排序,而是精準的自然語言形式的答案哄褒。
經(jīng)由：①數(shù)據(jù)預處理：處理數(shù)據(jù)庫數(shù)據(jù)，包含索引煌张、數(shù)據(jù)清理呐赡、特征提取等；②問題分析：執(zhí)行語法分析骏融，同時檢測問題的核心特征链嘀，如NER萌狂、答案類型等；③數(shù)據(jù)匹配：將問題里的terms 和數(shù)據(jù)里的實體進行匹配怀泊；④查詢創(chuàng)建：生成結(jié)構(gòu)查詢候選茫藏；⑤排序；⑥結(jié)果返回與生成：執(zhí)行查詢并從結(jié)果里抽取答案霹琼。
七务傲、知識圖譜構(gòu)建方法
主要包含：知識表示建模、知識表示學習枣申、實體識別與鏈接售葡、實體關系學習、事件關系學習
7.1知識表示與建模：知識表示將現(xiàn)實世界中的各類知識表達成計算機可存儲和計算的結(jié)構(gòu)忠藤。機器必須要掌握大量的知識,特別是常識知識才能實現(xiàn)真正類人的智能挟伙。從有人工智能的歷史開始,就有了知識表示的研究。知識圖譜的知識表示以結(jié)構(gòu)化的形式描述客觀世界中概念模孩、實體及其關系,將互聯(lián)網(wǎng)的信息表達成更接近人類認知世界的形式,為理解互聯(lián)網(wǎng)內(nèi)容提供了基礎支撐尖阔。
7.2知識表示學習：隨著以深度學習為代表的表示學習的發(fā)展,面向知識圖譜中實體和關系的表示學習也取得了重要的進展。知識表示學習將實體和關系表示為稠密的低維向量,實現(xiàn)了對實體和關系的分布式表示,可以高效地對實體和關系進行計算,瓜贾、緩解知識稀疏诺祸、有助于實現(xiàn)知識融合,已經(jīng)成為知識圖譜語義鏈接預測和知識補全的重要方法。由于知識表示學習能夠顯著提升計算效率,有效緩解數(shù)據(jù)稀疏,實現(xiàn)異質(zhì)信息融合,因此對于知識庫的構(gòu)建祭芦、推理和應用具有重要意義,值得廣受關注筷笨、深入研究。
7.3實體識別與鏈接：實體是客觀世界的事物,是構(gòu)成知識圖譜的基本單位(這里實體指個體或者實例)龟劲。實體分為限定類別的實體(如常用的人名胃夏、地名、組織機構(gòu)等)以及開放類別實體(如藥物名稱昌跌、疾病等名稱)仰禀。實體識別是識別文本中指定類別的實體。實體鏈接是識別出文本中提及實體的詞或者短語(稱為實體提及),并與知識庫中對應實體進行鏈接蚕愤。實體識別與鏈接是知識圖譜構(gòu)建答恶、知識補全與知識應用的核心技術。實體識別技術可以檢測文本中的新實體,并將其加入到現(xiàn)有知識庫中萍诱。實體鏈接技術通過發(fā)現(xiàn)現(xiàn)有實體在文本中的不同出現(xiàn),可以針對性的發(fā)現(xiàn)關于特定實體的新知識悬嗓。實體識別與鏈接的研究將為計算機類人推理和自然語言理解提供知識基礎。
7.4實體關系學習：實體關系描述客觀存在的事物之間的關聯(lián)關系,定義為兩個或多個實體之間的某種聯(lián)系,實體關系學習就是自動從文本中檢測和識別出實體之間具有的某種語義關系,也稱為關系抽取裕坊。實體關系抽取分類預定義關系抽取和開放關系抽取包竹。預定義關系抽取是指系統(tǒng)所抽取的關系是預先定義好的,比如知識圖譜中定義好的關系類別,如上下位關系、國家—首都關系等。開放式關系抽取周瞎。開放式關系抽取不預先定義抽取的關系類別,由系統(tǒng)自動從文本中發(fā)現(xiàn)并抽取關系苗缩。實體關系識別是知識圖譜自動構(gòu)建和自然語言理解的基礎。
7.5事件知識學習：事件是促使事物狀態(tài)和關系改變的條件,是動態(tài)的声诸、結(jié)構(gòu)化的知識酱讶。目前已存在的知識資源(如谷歌知識圖譜)所描述多是實體以及實體之間的關系,缺乏對事件知識的描述。針對不同領域的不同應用,事件有不同的描述范疇双絮。一種將事件定義為發(fā)生在某個特定的時間點或時間段浴麻、某個特定的地域范圍內(nèi),由一個或者多個角色參與的一個或者多個動作組成的事情或者狀態(tài)的改變。一種將事件認為是細化了的主題,是由某些原因囤攀、條件引起,發(fā)生在特定時間软免、地點,涉及某些對象,并可能伴隨某些必然結(jié)果的事情。事件知識學習,即將非結(jié)構(gòu)化文本文本中自然語言所表達的事件以結(jié)構(gòu)化的形式呈現(xiàn),對于知識表示焚挠、理解膏萧、計算和應用意義重大。知識圖譜中的事件知識隱含互聯(lián)網(wǎng)資源中,包括已有的結(jié)構(gòu)化的語義知識蝌衔、數(shù)據(jù)庫的結(jié)構(gòu)化信息榛泛、半結(jié)構(gòu)化的信息資源以及非結(jié)構(gòu)化資源,不同性質(zhì)的資源有不同的知識獲取方法。
