Django學(xué)習(xí)筆記二:優(yōu)化博客展示赠潦,抓取博文并保存到數(shù)據(jù)庫(kù)

自從去年年底開(kāi)始叫胖,走上了Jekyll+Github+Markdown這條不歸路,先是把CSDN上面的一些博客遷移過(guò)來(lái)她奥,然后就是經(jīng)常寫(xiě)一些自己在平時(shí)學(xué)習(xí)瓮增、開(kāi)發(fā)過(guò)程中的心得體會(huì),不見(jiàn)得有人看哩俭。權(quán)當(dāng)技術(shù)總結(jié)钉赁,外加練習(xí)寫(xiě)作表達(dá)了。

這種簡(jiǎn)潔優(yōu)雅的表達(dá)方式携茂,簡(jiǎn)直讓人沉醉你踩。不禁回想上大學(xué)(本科)時(shí),也曾折騰了一段時(shí)間Wordpress讳苦,當(dāng)時(shí)也寫(xiě)了一些內(nèi)容带膜、交了一些博友,可總有一種無(wú)病呻吟的感覺(jué)鸳谜,后來(lái)不想寫(xiě)了膝藕,也沒(méi)給服務(wù)器續(xù)費(fèi),就沒(méi)了咐扭。之后芭挽,就是偶爾在CSDN上面做一些總結(jié)滑废;可也沒(méi)有很認(rèn)真的對(duì)待。再后來(lái)袜爪,看了一些類(lèi)似“我為什么要寫(xiě)博客”這樣的文章蠕趁,覺(jué)得說(shuō)的很有道理,醍醐灌頂辛馆。于是俺陋,就在這兒安了家。我的朋友圈子里昙篙,幾乎沒(méi)有人寫(xiě)博客腊状;雖然“孤單”,我卻樂(lè)在其中苔可。有時(shí)興致來(lái)了缴挖,還把自己覺(jué)得不錯(cuò)的博文,在新建的公眾號(hào)推送一下焚辅。

我在Github上fork的這個(gè)博客模版醇疼,文章有categories和tags這兩個(gè)屬性,可是頁(yè)面展示出來(lái)的法焰,只有tags,而categories卻沒(méi)有做展示倔毙。那么埃仪,問(wèn)題來(lái)了!文章是需要有一個(gè)分類(lèi)的陕赃,而一個(gè)文章卻可能有多個(gè)標(biāo)簽卵蛉。就想著,能不能加一個(gè)分類(lèi)頁(yè)面么库,更好的為文章分類(lèi)傻丝。于是,就開(kāi)始看模版的代碼诉儒。據(jù)說(shuō)Jekyll使用的是Ruby葡缰,我對(duì)Ruby完全不了解,但是不同語(yǔ)言之間是有規(guī)律可循的忱反,這不泛释,我就發(fā)現(xiàn)了規(guī)律:tags頁(yè)面使用“for tag in site.tags”對(duì)標(biāo)簽進(jìn)行遍歷,于是我試了一下“for category in site.categories”温算,對(duì)分類(lèi)進(jìn)行遍歷然后就通了怜校。

這樣,事情就好辦了注竿。在Tags.md同級(jí)目錄(即網(wǎng)站根目錄)新建Categories.md,把tags替換成categories茄茁,代碼如下:

IMG_20160402_1.jpeg

剩下的問(wèn)題就是魂贬,分類(lèi)頁(yè)面和標(biāo)簽頁(yè)面的樣式完全一樣,于是便有了下面的想法裙顽,打算做出來(lái)看看效果如何付燥。

大概思路是:

  • 從Categories頁(yè)面抓取博客的所有分類(lèi),以及每個(gè)分類(lèi)下的文章(時(shí)間和標(biāo)題)
  • 將抓取到的內(nèi)容保存到數(shù)據(jù)庫(kù)中(新建blog數(shù)據(jù)庫(kù)及表锦庸,字段title机蔗、create_time、content等)
  • 從數(shù)據(jù)庫(kù)中查詢(xún)博客信息并做展示(此篇咱不分析甘萧,如有興趣請(qǐng)關(guān)注本博客后續(xù)的文章)

代碼如下:

from urllib.request import urlopen
from bs4 import BeautifulSoup
import mysql.connector

url = 'http://blog.ybbz.site/Categories/'
html = urlopen(url)
bsObj = BeautifulSoup(html, 'lxml')
uls = bsObj.findAll('ul', {'class': 'listing'})
cate_list = []
for ul in uls:
    cate = ul.h4.string
    for li in ul.findAll('li'):
        cate_list.append((str(cate), str(li.time.string), str(li.a.string)))
print(cate_list)

host = 'your hostname'
user = 'your username'
passwd = 'your password'
db = 'your database'
# connect database
conn = mysql.connector.connect(host=host, user=user, passwd=passwd, db=db)
cursor = conn.cursor()
# save blogs
sql = "insert into blog(category,create_time,title) values(%s, %s, %s)"
cursor.executemany(sql, cate_list)
conn.commit()
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末萝嘁,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子扬卷,更是在濱河造成了極大的恐慌牙言,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,277評(píng)論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件怪得,死亡現(xiàn)場(chǎng)離奇詭異咱枉,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)徒恋,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,689評(píng)論 3 393
  • 文/潘曉璐 我一進(jìn)店門(mén)蚕断,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人入挣,你說(shuō)我怎么就攤上這事亿乳。” “怎么了径筏?”我有些...
    開(kāi)封第一講書(shū)人閱讀 163,624評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵葛假,是天一觀(guān)的道長(zhǎng)。 經(jīng)常有香客問(wèn)我滋恬,道長(zhǎng)聊训,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,356評(píng)論 1 293
  • 正文 為了忘掉前任恢氯,我火速辦了婚禮带斑,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘勋拟。我一直安慰自己遏暴,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,402評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布指黎。 她就那樣靜靜地躺著朋凉,像睡著了一般。 火紅的嫁衣襯著肌膚如雪醋安。 梳的紋絲不亂的頭發(fā)上杂彭,一...
    開(kāi)封第一講書(shū)人閱讀 51,292評(píng)論 1 301
  • 那天墓毒,我揣著相機(jī)與錄音,去河邊找鬼亲怠。 笑死所计,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的团秽。 我是一名探鬼主播主胧,決...
    沈念sama閱讀 40,135評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼习勤!你這毒婦竟也來(lái)了踪栋?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 38,992評(píng)論 0 275
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤图毕,失蹤者是張志新(化名)和其女友劉穎夷都,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體予颤,經(jīng)...
    沈念sama閱讀 45,429評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡囤官,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,636評(píng)論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了蛤虐。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片党饮。...
    茶點(diǎn)故事閱讀 39,785評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖驳庭,靈堂內(nèi)的尸體忽然破棺而出刑顺,到底是詐尸還是另有隱情,我是刑警寧澤嚷掠,帶...
    沈念sama閱讀 35,492評(píng)論 5 345
  • 正文 年R本政府宣布,位于F島的核電站荞驴,受9級(jí)特大地震影響不皆,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜熊楼,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,092評(píng)論 3 328
  • 文/蒙蒙 一霹娄、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧鲫骗,春花似錦犬耻、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,723評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至术吝,卻和暖如春计济,著一層夾襖步出監(jiān)牢的瞬間茸苇,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,858評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工沦寂, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留学密,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,891評(píng)論 2 370
  • 正文 我出身青樓传藏,卻偏偏與公主長(zhǎng)得像腻暮,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子毯侦,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,713評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容