信息抽取系統(tǒng)
DIPRE(Dual Iterative Parttern Relation Expansion)
DIPRE(Dual Iterative Parttern Relation Expansion)是一個(gè)利用自舉方法實(shí)現(xiàn)命名實(shí)體之間關(guān)系抽取的系統(tǒng)震肮，由 Brin于 1998 年提出。這個(gè)系統(tǒng)需要首先用人工的方式篩選得到少量具有某種關(guān)系的命名實(shí)體對(duì)實(shí)例作為種子集，之后發(fā)掘出與種子上下文中具有相同模式的命名實(shí)體對(duì)并把它們加入種子集中實(shí)現(xiàn)對(duì)關(guān)系種子的擴(kuò)展。Brin 對(duì)網(wǎng)頁(yè)中的（書(shū)名，作者）關(guān)系進(jìn)行了抽取，取得了較好的效果午绳。
FASTUS系統(tǒng)
FASTUS 抽取系統(tǒng)是由 Appelt 等人提出的，通過(guò)引入“宏”的概念（
一個(gè)框架）將各種領(lǐng)域依賴(lài)規(guī)則以一種具有擴(kuò)展性的映之、通用的方式進(jìn)行表達(dá)拦焚。(可能是提供一個(gè)易用的具有可擴(kuò)展性的框架蜡坊，用戶(hù)可根據(jù)具體的需求做相應(yīng)的設(shè)定或擴(kuò)展)。用戶(hù)只需要修改相應(yīng)“宏”的參數(shù)設(shè)置赎败，就可以快速配置好特定領(lǐng)域任務(wù)的關(guān)系模式規(guī)則秕衙。FASTUS 系統(tǒng)中的所有模式規(guī)則被分成領(lǐng)域依賴(lài)和領(lǐng)域獨(dú)立兩部分。領(lǐng)域獨(dú)立部分可以看作確定參數(shù)的宏僵刮。這些模式規(guī)則在一個(gè)相對(duì)粗的粒度層次上覆蓋各種句法結(jié)果据忘，目標(biāo)是要對(duì)于符合模式的動(dòng)詞構(gòu)造恰當(dāng)?shù)闹^詞-參數(shù)(Predicate-argument)關(guān)系。領(lǐng)域依賴(lài)的規(guī)則包含一些參數(shù)妓笙，這些參數(shù)必須通過(guò)“宏”的實(shí)例化來(lái)產(chǎn)生實(shí)際模式規(guī)則若河。這些領(lǐng)域依賴(lài)規(guī)則會(huì)指定哪一個(gè)動(dòng)詞載有領(lǐng)域相關(guān)信息，以及這些參數(shù)的領(lǐng)域依賴(lài)限制以及規(guī)則的語(yǔ)義寞宫。FASTUS 系統(tǒng)采用的編譯時(shí)轉(zhuǎn)換的方式實(shí)現(xiàn)了使用 12 個(gè)宏規(guī)則和 15 個(gè)領(lǐng)域依賴(lài)的規(guī)則就可以實(shí)現(xiàn)大概 100 個(gè)明確表達(dá)的模式的效果萧福，這為系統(tǒng)在處理領(lǐng)域關(guān)系抽取任務(wù)時(shí)的配置工作節(jié)約了大量時(shí)間。
T-Rex關(guān)系抽取框架
可訓(xùn)練關(guān)系抽取框架(T-Rex,Trainable Relation Extraction Framework)是一個(gè)基于本體的關(guān)系抽取通用軟件框架辈赋，由 José Iria 等人提出鲫忍。該框架的目的是要提供語(yǔ)義網(wǎng)自動(dòng)化語(yǔ)義標(biāo)注任務(wù)需要的靈活度。由于 T-Rex 采用了參數(shù)化的插件結(jié)構(gòu)钥屈，因此可以對(duì)多種基于不同抽取算法的插件進(jìn)行集成和測(cè)試悟民。T-Rex 最具特色的地方是它采用了規(guī)范的基于圖的數(shù)據(jù)模型。該數(shù)據(jù)模型借助本體實(shí)現(xiàn)等級(jí)層次的表達(dá)結(jié)構(gòu)篷就，并允許以一致的方式任意鏈接子圖射亏，例如共指關(guān)系鏈接，語(yǔ)法關(guān)系鏈接竭业，與 HTML 格式相關(guān)的鏈接等智润。T-Rex 數(shù)據(jù)模型的表示是等級(jí)化的，能夠?qū)⒄Z(yǔ)料模型化到字符級(jí)未辆、語(yǔ)詞級(jí)窟绷、短語(yǔ)級(jí)、語(yǔ)句級(jí)和文檔級(jí)層次咐柜。通過(guò)對(duì)本體的定義和擴(kuò)充兼蜈，可以實(shí)現(xiàn)使用該多層次數(shù)據(jù)模型對(duì)于語(yǔ)料的多種特征集表達(dá)的一致性。
天網(wǎng)薈萃（WebDigest）研究項(xiàng)目
北京大學(xué)網(wǎng)絡(luò)實(shí)驗(yàn)室于 2005 年啟動(dòng)天網(wǎng)薈萃（WebDigest）研究項(xiàng)目拙友，旨在研究海量網(wǎng)頁(yè)中實(shí)體为狸、實(shí)體關(guān)系、事件等重要信息的提取問(wèn)題遗契，他們?yōu)榇碎_(kāi)發(fā)了一整套高效的信息提取和分析技術(shù)钥平。該研究項(xiàng)目基于北京大學(xué)網(wǎng)絡(luò)實(shí)驗(yàn)室天網(wǎng)薈萃小組開(kāi)發(fā)的天網(wǎng)搜索引擎，高效、準(zhǔn)確地從海量網(wǎng)頁(yè)中提取出目標(biāo)實(shí)體類(lèi)型對(duì)應(yīng)實(shí)體的實(shí)例（
實(shí)體的實(shí)例包含實(shí)體的屬性以及實(shí)體的相應(yīng)活動(dòng)涉瘾，即事件，其中實(shí)體的屬性和活動(dòng)可以是相關(guān)聯(lián)的）捷兰，并確保提取的實(shí)例中包含目標(biāo)實(shí)體類(lèi)型實(shí)體的重要屬性信息立叛。同時(shí)它能從海量網(wǎng)頁(yè)中準(zhǔn)確提取出一個(gè)確定的實(shí)體的一類(lèi)特殊屬性-實(shí)體活動(dòng)信息，并以恰當(dāng)?shù)姆绞浇M織起來(lái)贡茅。該系統(tǒng)可以在確保準(zhǔn)確率和召回率的情況下秘蛇，保證自動(dòng)識(shí)別工作的高效進(jìn)行。
商業(yè)公司
Intel中國(guó)研究中心
Intel 中國(guó)研究中心的 ZHANG Yi-Min等在 ACL-2000 上演示了他們開(kāi)發(fā)的一個(gè)抽取中文命名實(shí)體以及這些實(shí)體間相互關(guān)系的信息抽取系統(tǒng)顶考，該系統(tǒng)就是利用 MBL 算法獲取規(guī)則用以抽取命名實(shí)體及它們之間的關(guān)系赁还。他們將中文命名實(shí)體及其關(guān)系識(shí)別看作一系列分類(lèi)問(wèn)題。整個(gè)過(guò)程能夠被分成兩個(gè)階段：第一階段是學(xué)習(xí)過(guò)程驹沿，通過(guò)訓(xùn)練構(gòu)建若干分類(lèi)器艘策；第二階段是抽取過(guò)程，通過(guò)使用學(xué)習(xí)得到的分類(lèi)器抽取中文命名實(shí)體和它們的關(guān)系渊季。MBL 學(xué)習(xí)算法非常適合處理從大量不同來(lái)源獲取的特征朋蔫，并且能記住例外案例和低頻案例，而這對(duì)于后續(xù)的推斷階段非常有用却汉。該系統(tǒng)已經(jīng)能夠抽取的關(guān)系類(lèi)型包括 Employee-of驯妄，Location-of，Product-of 和 No-relation合砂。通過(guò)提供更多的訓(xùn)練數(shù)據(jù)青扔，能夠輕易擴(kuò)展關(guān)系抽取類(lèi)型。
微軟亞洲研究院
人立方關(guān)系搜索是微軟亞洲研究院網(wǎng)絡(luò)搜索與挖掘組研發(fā)出的對(duì)象級(jí)別（object-level）互聯(lián)網(wǎng)人物搜索引擎翩伪。它能從超過(guò)十億的中文網(wǎng)頁(yè)中自動(dòng)的抽取人名微猖、地名、機(jī)構(gòu)名以及中文短語(yǔ)幻工，并且通過(guò)算法自動(dòng)計(jì)算出它們之間存在關(guān)系的可能性励两；同時(shí)，人立方關(guān)系搜索還索引了支持它們之間關(guān)系的網(wǎng)頁(yè)文字囊颅。此外穿铆，人立方關(guān)系搜索能自動(dòng)的找出人名之間最可能的關(guān)系描述詞、與人名最可能相關(guān)的稱(chēng)呼沥割、作品等詞條等戒劫。人立方關(guān)系搜索從這些中文網(wǎng)頁(yè)中自動(dòng)的辨別出人名所對(duì)應(yīng)的人物簡(jiǎn)介文字，并且按照這些文字是人物簡(jiǎn)介的可能性進(jìn)行排序胳挎。用戶(hù)給定任意搜索關(guān)鍵詞饼疙，它能夠找出與關(guān)鍵詞最可能相關(guān)的人名、地名和機(jī)構(gòu)名慕爬，并且根據(jù)它們與關(guān)鍵詞之間的相關(guān)度排序窑眯。除此之外屏积，人立方關(guān)系搜索還提供基于人名的新聞瀏覽功能，可視化關(guān)系搜索功能等磅甩。
Fish Search算法
爬行策略在網(wǎng)頁(yè)爬取是一個(gè)十分重要的問(wèn)題炊林。一些學(xué)者提出了動(dòng)態(tài)爬行策略，如 DeBra等人提出的 Fish Search 算法卷要，它由仿生學(xué)和生物群智能演化而來(lái)渣聚，其基本思想是將整個(gè)網(wǎng)絡(luò)比喻成一個(gè)“水池”，爬蟲(chóng)比喻成“魚(yú)”僧叉，而主題相關(guān)網(wǎng)頁(yè)比喻成“食物”奕枝。如果“食物”比較充足，則“魚(yú)”就可以大量繁殖瓶堕，否則自然餓死隘道。（
感覺(jué)很有意思）
實(shí)體關(guān)系提取
文本中實(shí)體關(guān)系抽取是信息抽取的一個(gè)分支，其具體是指用自然語(yǔ)言處理捞烟、模式識(shí)別薄声、機(jī)器學(xué)習(xí)等技術(shù)自動(dòng)識(shí)別并提取文本中兩個(gè)實(shí)體之間的關(guān)系。
實(shí)體和實(shí)體關(guān)系
實(shí)體關(guān)系抽取中涉及到的實(shí)體(Entity)是指文本語(yǔ)料中出現(xiàn)的自然界真實(shí)存在的事物题画。實(shí)體必須是具體的事物默辨，可以是一個(gè)事物也可以是多個(gè)事物的集合。
ACE08定義了以下五大類(lèi)苍息、31 個(gè)小類(lèi)的實(shí)體類(lèi)型缩幸，具體見(jiàn)下表：
*表示這個(gè)關(guān)系是對(duì)稱(chēng)關(guān)系）：
實(shí)體關(guān)系提取的主要過(guò)程
1. 中文分詞表谊、詞性標(biāo)注
由于英語(yǔ)等西方語(yǔ)言中詞與詞之間是不連續(xù)的，所以也就不存在分詞的問(wèn)題盖喷。而中文的字與字爆办、詞與詞之間是很少有分隔的，所以為了處理中文文本必須要先分詞课梳。在自然語(yǔ)言處理界對(duì)中文分詞的研究已經(jīng)有了不少成果距辆，比較著名的有哈工大的分詞系統(tǒng)、北大計(jì)算語(yǔ)言學(xué)研究所的分詞系統(tǒng)和中科院計(jì)算所的分詞系統(tǒng)暮刃。
詞性是詞的基本屬性之一跨算，只有在對(duì)詞性正確分析的基礎(chǔ)上才能夠有效的識(shí)別命名實(shí)體及各種關(guān)系。所以詞性的標(biāo)注也是實(shí)體關(guān)系抽取的必要步驟椭懊。
2. 命名實(shí)體識(shí)別
命名實(shí)體的識(shí)別是實(shí)體關(guān)系提取中很重要的一步诸蚕，是正確理解文本的基礎(chǔ)。命名實(shí)體識(shí)別對(duì)實(shí)體關(guān)系抽取來(lái)說(shuō)是至關(guān)重要的一個(gè)環(huán)節(jié)，因?yàn)橹挥姓_識(shí)別出命名實(shí)體及其類(lèi)型等信息背犯，才有可能進(jìn)行實(shí)體關(guān)系的抽取坏瘩。命名實(shí)體識(shí)別的性能越好，語(yǔ)義關(guān)系抽取的性能也就越好媳板。命名實(shí)體識(shí)別任務(wù)就是要找出文本中代表命名實(shí)體的詞或詞串桑腮，并加以歸類(lèi)。
3. 指代消解
在語(yǔ)言學(xué)中蛉幸，把指代語(yǔ)(Anaphor)所指的對(duì)象和內(nèi)容稱(chēng)為先行語(yǔ)(Antecedent)，并把確定指代語(yǔ)的先行語(yǔ)的過(guò)程稱(chēng)為指代消解(AnaphoraResolution)丛晦。在真實(shí)的文本中實(shí)體不可能總是以正規(guī)的全名（即先行語(yǔ)）出現(xiàn)奕纫，代詞和一些慣用的指代詞使用的非常普遍，其中人名的指代是最為復(fù)雜的烫沙，如“他”匹层、“小張”、“娜姐”（網(wǎng)球運(yùn)動(dòng)員锌蓄、李娜）升筏、“劉飛人”（劉翔）、“小悅悅”等瘸爽。如果不能準(zhǔn)確的建立指代詞和正規(guī)名稱(chēng)之間的關(guān)系您访，那么實(shí)體關(guān)系提取的準(zhǔn)確性和完整性就要受到很大影響。指代消解是一個(gè)非常復(fù)雜的問(wèn)題剪决，它的解決依賴(lài)于詞性標(biāo)注灵汪、命名實(shí)體識(shí)別、名詞短語(yǔ)識(shí)別柑潦、句法分析享言、語(yǔ)義分析等眾多相關(guān)技術(shù)。
4. 實(shí)體信息提取
實(shí)體和命名實(shí)體不同渗鬼，命名實(shí)體是個(gè)名稱(chēng)實(shí)體览露，而實(shí)體則是內(nèi)容豐富的實(shí)體，它不僅僅包含名稱(chēng)譬胎。實(shí)體信息的提取目的是盡可能多的獲取實(shí)體的信息差牛。
5. 語(yǔ)句篩選
這一步主要是篩選出對(duì)后續(xù)處理可能有價(jià)值的句子，目的是為了減少后續(xù)處理的工作量银择，提高整體的處理效率多糠，方法是根據(jù)具體的需要設(shè)計(jì)一定的規(guī)則過(guò)濾掉不相關(guān)的句子。
6. 關(guān)系的提取
早期的研究主要是基于規(guī)則和知識(shí)庫(kù)的方法浩考，這種方法需要具有語(yǔ)言學(xué)功底的專(zhuān)家手工設(shè)定一些詞法夹孔、句法和語(yǔ)義模式規(guī)則，然后再?gòu)淖杂晌谋局袑ふ蚁嗥ヅ涞年P(guān)系實(shí)例。
機(jī)器學(xué)習(xí)主要是通過(guò)在給定的標(biāo)注語(yǔ)料庫(kù)上進(jìn)行訓(xùn)練得到一個(gè)關(guān)系抽取模型搭伤，然后再利用關(guān)系抽取模型對(duì)自由文本中出現(xiàn)的關(guān)系實(shí)例進(jìn)行識(shí)別只怎。這種方法往往將關(guān)系抽取問(wèn)題看作為一個(gè)分類(lèi)問(wèn)題來(lái)研究。
7. 評(píng)價(jià)指標(biāo)
面臨的問(wèn)題
- 大規(guī)模語(yǔ)料庫(kù)的標(biāo)注和獲取
- 跨句怜俐、跨段身堡、跨文檔的實(shí)體關(guān)系抽取
人名及人物屬性信息提取
文本中人名識(shí)別
人名識(shí)別就是把人名從普通文本字串中準(zhǔn)確地自動(dòng)識(shí)別出來(lái)的過(guò)程。英文人名由獨(dú)立的單詞組成拍鲤，格式固定而且這些單詞是有一個(gè)比較明確的范圍贴谎，所以英文人名識(shí)別起來(lái)相對(duì)容易。中文人名的識(shí)別則困難很多季稳，一方面是因?yàn)橹形娜嗣麡?gòu)成復(fù)雜用字選擇比較多而且經(jīng)常出現(xiàn)一些口語(yǔ)化稱(chēng)呼擅这，如小王、老李等景鼠；另一方面人名內(nèi)部仲翎、人名與外部都有可能成詞或者短語(yǔ)，如“東方夏天氣極了”铛漓，“東方夏天”可以是一個(gè)復(fù)姓東方名夏天的人溯香，但是“東方”和“夏天”都可以當(dāng)做單獨(dú)的詞，同時(shí)“天氣”也是一個(gè)名詞浓恶。
中文人名識(shí)別的方案大致分為三種：規(guī)則方法玫坛，統(tǒng)計(jì)方法以及規(guī)則與統(tǒng)計(jì)相結(jié)合的方法。規(guī)則的方法簡(jiǎn)單且有針對(duì)性问顷，這在處理的語(yǔ)料比較少的時(shí)候是適用的昂秃，一旦語(yǔ)料規(guī)模過(guò)大該方法就難以達(dá)到滿(mǎn)意的效果了；統(tǒng)計(jì)的方法一般比較復(fù)雜而且需要大規(guī)模標(biāo)注語(yǔ)料杜窄，這需要大量的人工勞動(dòng)肠骆。目前人們一般傾向于將規(guī)則和統(tǒng)計(jì)的方法結(jié)合起來(lái)，調(diào)整二者的比重來(lái)來(lái)滿(mǎn)足不同的人名識(shí)別精度和識(shí)別效率的需要塞耕。
文本中人物屬性信息的識(shí)別與提取
人物屬性信息主要包括：性別蚀腿、出生年月、民族扫外、籍貫莉钙、職務(wù)、文化程度等信息筛谚。通常來(lái)講磁玉，除非在人物的簡(jiǎn)歷里，否則這些信息不會(huì)同時(shí)在一個(gè)文檔中出現(xiàn)驾讲，而且這些信息在文檔中蚊伞、段落中席赂、句子中出現(xiàn)的位置與先后順序也不一致。這些都對(duì)人物屬性的抽取帶來(lái)了不小的挑戰(zhàn)时迫。
目前人物屬性信息的提取通常都采用一般的實(shí)體關(guān)系提取方法颅停。這種方法把描述人屬性的詞也看做是實(shí)體，則人物屬性抽取就被看做是實(shí)體關(guān)系抽取的具體應(yīng)用掠拳。
