#_*_coding:utf-8_*_
from lxml import etree
import requests
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
#把課程信息保存到info.txt中
def saveinfo(classinfo):
f = open('info.txt','a')
f.writelines('title:'+ classinfo['title']+'\n')
f.writelines('content:' + classinfo['content'] + '\n')
f.writelines('classtime:' + classinfo['classtime'] + '\n')
f.writelines('classlevel:' + classinfo['classlevel'] + '\n')
f.writelines('learnnum:' +classinfo['learnnum'] +'\n\n')
f.close()
#爬蟲主體
def spider(url):
html = requests.get(url) #用Requests下載網(wǎng)頁
selector = etree.HTML(html.text) #以下用Xpath來解析網(wǎng)頁
content_field = selector.xpath('//div[@class="lesson-list"]/ul/li')
info = []
for each in content_field:
classinfo = {}
classinfo['title'] = each.xpath('div[@class="lesson-infor"]/h2[@class="lesson-info-h2"]/a/text()')[0]
classinfo['content'] = (each.xpath('div[@class="lesson-infor"]/p/text()')[0]).strip()
classTime = (each.xpath('div[@class="lesson-infor"]/div/div/dl/dd[@class="mar-b8"]/em/text()')[0]).split()
classinfo['classtime'] = ''.join(classTime)
classinfo['classlevel'] = each.xpath('div[@class="lesson-infor"]/div/div/dl/dd[@class="zhongji"]/em/text()')[0]
classinfo['learnnum'] = each.xpath('div[@class="lesson-infor"]/div[@class="timeandicon"]/div/em/text()')[0]
info.append(classinfo)
return info
if __name__ == '__main__':
print u'開始爬取內(nèi)容窄陡。条摸。。'
page = []
#循環(huán)用來生產(chǎn)不同頁數(shù)的鏈接
for i in range(1,11):
newpage = 'http://www.jikexueyuan.com/course/?pageNum=' + str(i)
print u"第%d頁"%i
print u'正在處理頁面：'+ newpage
page.append(newpage)
for each in page:
info = spider(each)
for each in info:
saveinfo(each)
Python爬蟲實(shí)戰(zhàn)：極客學(xué)院
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門勤婚，熙熙樓的掌柜王于貴愁眉苦臉地迎上來摹量，“玉大人，你說我怎么就攤上這事∮С疲” “怎么了凝果？”我有些...
- 文/不壞的土叔 我叫張陵，是天一觀的道長睦尽。 經(jīng)常有香客問我器净，道長，這世上最難降的妖魔是什么当凡？ 我笑而不...
- 正文 為了忘掉前任山害，我火速辦了婚禮，結(jié)果婚禮上沿量，老公的妹妹穿的比我還像新娘浪慌。我一直安慰自己，他們只是感情好朴则，可當(dāng)我...
- 文/花漫 我一把揭開白布权纤。 她就那樣靜靜地躺著，像睡著了一般乌妒。 火紅的嫁衣襯著肌膚如雪妖碉。 梳的紋絲不亂的頭發(fā)上，一...
- 文/蒼蘭香墨 我猛地睜開眼夏漱，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了顶捷？” 一聲冷哼從身側(cè)響起挂绰，我...
- 序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎服赎，沒想到半個(gè)月后葵蒂，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡重虑，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年践付，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片缺厉。...
- 正文 年R本政府宣布，位于F島的核電站饲宛，受9級特大地震影響皆愉，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜落萎，卻給世界環(huán)境...
- 文/蒙蒙 一亥啦、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧练链，春花似錦翔脱、人聲如沸。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至绿鸣，卻和暖如春疚沐，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背潮模。 一陣腳步聲響...
- 正文 我出身青樓究流，卻偏偏與公主長得像，于是被迫代替她去往敵國和親动遭。 傳聞我的和親對象是個(gè)殘疾皇子芬探，可洞房花燭夜當(dāng)晚...
推薦閱讀更多精彩內(nèi)容
- 爬蟲文章 in 簡書程序員專題： like:128-Python 爬取落網(wǎng)音樂 like:127-【圖文詳解】py...
- （本文先簡單羅列下蛇数，后續(xù)要是有好的展示方式，會進(jìn)行調(diào)整） 上一篇文章《爬取11088個(gè)知乎專欄是越，打破發(fā)現(xiàn)壁壘》 里...
- Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
- 爬蟲文章 in 簡書程序員專題： like:128 - Python 爬取落網(wǎng)音樂 like:127 - 【圖文詳...
