2023-03-15

一.《1》全文搜索引擎捣鲸,目錄搜索引擎吁断,元搜索引擎

《2》工作原理:搜索引擎為了以最快的速度得到搜索結(jié)果擦俐,它搜索的內(nèi)容通常是預(yù)先整理好的網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)佣蓉。普通搜索酸舍,不能真正理解網(wǎng)頁(yè)上的內(nèi)容拉馋,它只能機(jī)械地匹配網(wǎng)頁(yè)上的文字榨为。真正意義上的搜索引擎惨好,通常指的是收集了互聯(lián)網(wǎng)上幾千萬(wàn)到幾十億個(gè)網(wǎng)頁(yè)并對(duì)網(wǎng)頁(yè)中的每一個(gè)文字(即關(guān)鍵詞)進(jìn)行索引,建立索引數(shù)據(jù)庫(kù)的全文搜索引擎随闺。當(dāng)用戶查找某個(gè)關(guān)鍵詞的時(shí)候日川,所有在頁(yè)面內(nèi)容中包含了該關(guān)鍵詞的網(wǎng)頁(yè)都將作為搜索結(jié)果被搜出來(lái)。在經(jīng)過(guò)復(fù)雜的算法進(jìn)行排序后矩乐,這些結(jié)果將按照與搜索關(guān)鍵詞的相關(guān)度高低龄句,依次排列。典型的搜索引擎三大模塊組成:

(一)信息采集模塊

信息采集器是一個(gè)可以瀏覽網(wǎng)頁(yè)的程序散罕,被形容為“網(wǎng)絡(luò)爬蟲”撒璧。它首先打開(kāi)一個(gè)網(wǎng)頁(yè),然后把該網(wǎng)頁(yè)的鏈接作為瀏覽的起始地址笨使,把被鏈接的網(wǎng)頁(yè)獲取過(guò)來(lái)卿樱,抽取網(wǎng)頁(yè)中出現(xiàn)的鏈接,并通過(guò)一定算法決定下一步要訪問(wèn)哪些鏈接硫椰。同時(shí)繁调,信息采集器將已經(jīng)訪問(wèn)過(guò)的URL存儲(chǔ)到自己的網(wǎng)頁(yè)列表并打上已搜索的標(biāo)記。自動(dòng)標(biāo)引程序檢查該網(wǎng)頁(yè)并為他創(chuàng)建一條索引記錄靶草,然后將該記錄加入到整個(gè)查詢表中蹄胰。信息收集器再以該網(wǎng)頁(yè)到超鏈接為起點(diǎn)繼續(xù)重復(fù)這一訪問(wèn)過(guò)程直至結(jié)束。一般搜索引擎的采集器在搜索過(guò)程中只取鏈長(zhǎng)比(超鏈接數(shù)目與文檔長(zhǎng)度的比值)小于某一閾值的頁(yè)面奕翔,數(shù)據(jù)采集于內(nèi)容頁(yè)面裕寨,不涉及目錄頁(yè)面。在采集文檔的同時(shí)記錄各文檔的地址信息派继、修改時(shí)間宾袜、文檔長(zhǎng)度等狀態(tài)信息,用于站點(diǎn)資源的監(jiān)視和資料庫(kù)的更新驾窟。在采集過(guò)程中還可以構(gòu)造適當(dāng)?shù)膯l(fā)策略庆猫,指導(dǎo)采集器的搜索路徑和采集范圍,減少文檔采集的盲目性绅络。

(二)查詢表模塊

查詢表模塊是一個(gè)全文索引數(shù)據(jù)庫(kù)月培,他通過(guò)分析網(wǎng)頁(yè),排除HTML等語(yǔ)言的標(biāo)記符號(hào)恩急,將出現(xiàn)的所有字或詞抽取出來(lái)杉畜,并記錄每個(gè)字詞出現(xiàn)的網(wǎng)址及相應(yīng)位置(比如是出現(xiàn)在網(wǎng)頁(yè)標(biāo)題中,還是出現(xiàn)在簡(jiǎn)介或正文中)衷恭,最后將這些數(shù)據(jù)存入查詢表此叠,成為直接提供給用戶搜索的數(shù)據(jù)庫(kù)。

(三)檢索模塊

檢索模塊是實(shí)現(xiàn)檢索功能的程序匾荆,其作用是將用戶輸入的檢索表達(dá)式拆分成具有檢索意義的字或詞拌蜘,再訪問(wèn)查詢表杆烁,通過(guò)一定的匹配算法獲得相應(yīng)的檢索結(jié)果牙丽。返回的結(jié)果一般根據(jù)詞頻和網(wǎng)頁(yè)鏈接中反映的信息建立統(tǒng)計(jì)模型简卧,按相關(guān)度由高到低的順序輸出。

二.《1》工具:微博視頻烤芦,新浪微博举娩,頭條文章,今日頭條

《2》話題:闊步新征程 為全球發(fā)展注入信心與力量——國(guó)際社會(huì)高度評(píng)價(jià)習(xí)近平主席在十四屆全國(guó)人大一次會(huì)議閉幕會(huì)上的重要講話

三.《1》百度輿情构罗,新浪輿情通铜涉,TOOM輿情監(jiān)測(cè)系統(tǒng),艾煤數(shù)據(jù)更新,Alphainfo碩智庫(kù)

《2》

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市啡邑,隨后出現(xiàn)的幾起案子玉转,更是在濱河造成了極大的恐慌,老刑警劉巖喻圃,帶你破解...
    沈念sama閱讀 222,252評(píng)論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡铺呵,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,886評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門隧熙,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)片挂,“玉大人,你說(shuō)我怎么就攤上這事贞盯∫裟睿” “怎么了?”我有些...
    開(kāi)封第一講書人閱讀 168,814評(píng)論 0 361
  • 文/不壞的土叔 我叫張陵躏敢,是天一觀的道長(zhǎng)症昏。 經(jīng)常有香客問(wèn)我,道長(zhǎng)父丰,這世上最難降的妖魔是什么肝谭? 我笑而不...
    開(kāi)封第一講書人閱讀 59,869評(píng)論 1 299
  • 正文 為了忘掉前任,我火速辦了婚禮蛾扇,結(jié)果婚禮上攘烛,老公的妹妹穿的比我還像新娘。我一直安慰自己镀首,他們只是感情好坟漱,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,888評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著更哄,像睡著了一般芋齿。 火紅的嫁衣襯著肌膚如雪腥寇。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書人閱讀 52,475評(píng)論 1 312
  • 那天觅捆,我揣著相機(jī)與錄音赦役,去河邊找鬼。 笑死栅炒,一個(gè)胖子當(dāng)著我的面吹牛掂摔,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播赢赊,決...
    沈念sama閱讀 41,010評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼乙漓,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了释移?” 一聲冷哼從身側(cè)響起叭披,我...
    開(kāi)封第一講書人閱讀 39,924評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎玩讳,沒(méi)想到半個(gè)月后涩蜘,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,469評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡锋边,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,552評(píng)論 3 342
  • 正文 我和宋清朗相戀三年皱坛,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片豆巨。...
    茶點(diǎn)故事閱讀 40,680評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡剩辟,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出往扔,到底是詐尸還是另有隱情贩猎,我是刑警寧澤,帶...
    沈念sama閱讀 36,362評(píng)論 5 351
  • 正文 年R本政府宣布萍膛,位于F島的核電站吭服,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏蝗罗。R本人自食惡果不足惜艇棕,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,037評(píng)論 3 335
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望串塑。 院中可真熱鬧沼琉,春花似錦、人聲如沸桩匪。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 32,519評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至闺骚,卻和暖如春彩扔,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背僻爽。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 33,621評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工虫碉, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人进泼。 一個(gè)月前我還...
    沈念sama閱讀 49,099評(píng)論 3 378
  • 正文 我出身青樓蔗衡,卻偏偏與公主長(zhǎng)得像纤虽,于是被迫代替她去往敵國(guó)和親乳绕。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,691評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容

  • 類型: 搜索引擎按其工作方式主要可分為三種逼纸,分別是全文搜索引擎(Full Text Search Engine)洋措、...
    迷茫_8750閱讀 107評(píng)論 0 0
  • 新媒體信息搜集 1.簡(jiǎn)述搜索引擎有哪些類型,各類搜索引擎的工作原理是什么杰刽? 全文搜索引擎菠发、目錄索引類搜索引擎、元...
    在暴雨天挨餓閱讀 125評(píng)論 0 0
  • 1.簡(jiǎn)述搜索引擎有哪些類型贺嫂,各類搜索引擎的工作原理是什么滓鸠。 (1)全文搜索引擎 全文搜索引擎是名副其實(shí)的搜索...
    快請(qǐng)我吃飯閱讀 78評(píng)論 0 0
  • 1.簡(jiǎn)述搜索引擎有哪些類型,各類搜素引擎的工作原理是什么第喳。 1)全文搜素引擎 原理:通過(guò)從互聯(lián)網(wǎng)上提取的各個(gè)網(wǎng)站信...
    姜子荺閱讀 197評(píng)論 0 0
  • 1簡(jiǎn)述搜索引擎有哪些類型糜俗,各類搜索引擎的工作原理是什么。 首先在互聯(lián)網(wǎng)[https://baike.baidu.c...
    陳鑫鑫閱讀 58評(píng)論 0 0