【Java】爬蟲熬北,數(shù)據(jù)持久化到MongoDB

前言

先上幾盤菜嘗嘗:

  1. MongoDB是什么?【博客園】慘綠少年《MongoDB 入門篇

  2. MongoDB怎么安裝狂魔?【菜鳥教程】《Windows 平臺安裝 MongoDB

  3. MongoDB快速上手蒜埋?【CSDN】Xuych_《java連接mongoDB 并進(jìn)行增刪改查操作

  4. MongoDB全部用法?【菜鳥教程】《MongoDB 教程

再送你一個MongoDB可視化操作工具:

百度網(wǎng)盤

鏈接:https://pan.baidu.com/s/11yOnpUfXknOFSkN8-hXzCg
提取碼:itt7

運行結(jié)果:


運行結(jié)果

正文

根據(jù)前言中的第二篇文章裝好MongoDB之后最楷,可以看一下第3篇文章整份,快速上手一下。
然后看下面我的操作:
我們在源代碼中添加一個工具類MongoDBUtil籽孙,供Main方法調(diào)用


MongoDBUtil

昨天的源碼中烈评,只是單純的在控制臺打印評論,今天在Main類中加入兩部分內(nèi)容

第一部分是在一開始犯建,添加兩行代碼

第一行:調(diào)用工具類中的建立數(shù)據(jù)庫連接方法這時候會連接一個名為test的數(shù)據(jù)庫讲冠,如果不存在就會創(chuàng)建。

第二行:通過數(shù)據(jù)庫創(chuàng)建一個MongoCollection名為comment适瓦,相當(dāng)于一個表竿开。

MongoDB的名字與關(guān)系型數(shù)據(jù)庫名字的對應(yīng)關(guān)系如下:

名稱 MongoDB 關(guān)系型數(shù)據(jù)庫
數(shù)據(jù)庫 MongoDatabase Database
MongoCollection table
行(記錄) Document(org.bson.Document) row
一開始

第二部分是在Main類的66行左右加一些代碼:


添加一些代碼

然后就可以運行了。

運行結(jié)束后從百度網(wǎng)盤下載我在前言給的MongoDB可視化工具玻熙,新建連接否彩,查看對應(yīng)的數(shù)據(jù)庫表即可。
鏈接:https://pan.baidu.com/s/11yOnpUfXknOFSkN8-hXzCg
提取碼:itt7

最后

中途我遇到了一個Bug嗦随,在此記錄:

MongoDB的insertMany(List)函數(shù)不允許插入一條空的list列荔。然而我們知道,一篇新聞枚尼,在剛剛發(fā)布的時候贴浙,是沒有評論的,所以會造成和MongoDB設(shè)計沖突署恍。我也是查了StackOverflow才知道這個Bug

Mongodb 3.0 “writes is not an empty list” error

解決方法我已經(jīng)在源碼中體現(xiàn)了崎溃,就是先判斷一下list是否為空,不為空則插入锭汛,否則跳過這篇文章笨奠,去拿下一篇文章的評論袭蝗。

源碼GitHub地址

也可以直接
下載源碼zip壓縮包

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市般婆,隨后出現(xiàn)的幾起案子到腥,更是在濱河造成了極大的恐慌,老刑警劉巖蔚袍,帶你破解...
    沈念sama閱讀 212,816評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件乡范,死亡現(xiàn)場離奇詭異,居然都是意外死亡啤咽,警方通過查閱死者的電腦和手機晋辆,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,729評論 3 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來宇整,“玉大人瓶佳,你說我怎么就攤上這事×矍啵” “怎么了霸饲?”我有些...
    開封第一講書人閱讀 158,300評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長臂拓。 經(jīng)常有香客問我厚脉,道長,這世上最難降的妖魔是什么胶惰? 我笑而不...
    開封第一講書人閱讀 56,780評論 1 285
  • 正文 為了忘掉前任傻工,我火速辦了婚禮,結(jié)果婚禮上孵滞,老公的妹妹穿的比我還像新娘中捆。我一直安慰自己,他們只是感情好坊饶,可當(dāng)我...
    茶點故事閱讀 65,890評論 6 385
  • 文/花漫 我一把揭開白布轨香。 她就那樣靜靜地躺著,像睡著了一般幼东。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上科雳,一...
    開封第一講書人閱讀 50,084評論 1 291
  • 那天根蟹,我揣著相機與錄音,去河邊找鬼糟秘。 笑死简逮,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的尿赚。 我是一名探鬼主播,決...
    沈念sama閱讀 39,151評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼嗜愈,長吁一口氣:“原來是場噩夢啊……” “哼泽台!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起屋讶,我...
    開封第一講書人閱讀 37,912評論 0 268
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎须教,沒想到半個月后皿渗,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,355評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡轻腺,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,666評論 2 327
  • 正文 我和宋清朗相戀三年乐疆,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片贬养。...
    茶點故事閱讀 38,809評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡挤土,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出误算,到底是詐尸還是另有隱情仰美,我是刑警寧澤,帶...
    沈念sama閱讀 34,504評論 4 334
  • 正文 年R本政府宣布尉桩,位于F島的核電站筒占,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏蜘犁。R本人自食惡果不足惜翰苫,卻給世界環(huán)境...
    茶點故事閱讀 40,150評論 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望这橙。 院中可真熱鬧奏窑,春花似錦、人聲如沸屈扎。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,882評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽鹰晨。三九已至墨叛,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間模蜡,已是汗流浹背漠趁。 一陣腳步聲響...
    開封第一講書人閱讀 32,121評論 1 267
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留忍疾,地道東北人闯传。 一個月前我還...
    沈念sama閱讀 46,628評論 2 362
  • 正文 我出身青樓,卻偏偏與公主長得像卤妒,于是被迫代替她去往敵國和親甥绿。 傳聞我的和親對象是個殘疾皇子字币,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,724評論 2 351

推薦閱讀更多精彩內(nèi)容