簡書首頁爬取|測試作業(yè)

簡書首頁爬取的關(guān)鍵是分頁和找準入口。數(shù)據(jù)應(yīng)該是有15頁爷耀,試了好久請求添加了id销凑,最后還是只爬取了20條數(shù)據(jù)酬滤。



代碼

# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
import xlwt
import sys
reload(sys)
sys.setdefaultencoding('utf8')

#獲取源碼
def getHtml(url):
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36',}
    html = requests.get(url,headers=headers).content
    #print html
    return html

def getDate(url):
    html = getHtml(url)
    soup = BeautifulSoup(html, 'html.parser')
    #先找到整體文章列表
    datas = soup.find('ul',class_='note-list').find_all('li')
    results = []
    for data in datas:
        author = data.find('a', class_="blue-link").text
        title = data.find('a', class_="title").text
        pubtime = data.find('span',class_='time').get('data-shared-at')
        abstract = data.find('p',class_='abstract').text
        meta = data.find('div',class_='meta')
        #判斷文章是否收入專題
        if meta.find('a',class_="collection-tag"):
            collect_tag = meta.find_all('a',target="_blank")[0].text
            read_count = meta.find_all('a',target="_blank")[1].text
            comment_count = meta.find_all('a',target="_blank")[2].text
            like_count = meta.find_all('span')[0].text
            #判斷有沒有打賞
            if meta.find('i',class_="iconfont ic-list-money"):
                money_count = meta.find_all('span')[1].text
            else:money_count=0
        else:
            collect_tag = u'這篇文章還沒有收入任何專題~~~'
            read_count = meta.find_all('a', target="_blank")[0].text
            comment_count = meta.find_all('a', target="_blank")[1].text
            like_count = meta.find_all('span')[0].text
            if meta.find('i', class_="iconfont ic-list-money"):
                money_count = meta.find_all('span')[1].text
            else:
                money_count = 0

        result = [title,author,pubtime,abstract,read_count,comment_count,like_count,money_count,collect_tag]
        print title,author,pubtime,abstract,read_count,comment_count,like_count,money_count,collect_tag
        results.append(result)
    return results

# a = getDate(url)

#寫入excel
def excel_write(results):
    newTable = 'jianshu.xls'
    wb = xlwt.Workbook(encoding='utf-8')
    ws = wb.add_sheet('HomePage')
    headData = ['標題', '作者', '發(fā)表時間', '摘要', '閱讀量','評論數(shù)','點贊數(shù)','打賞數(shù)','收錄專題']
    for colnum in range(0, 9):
        ws.write(0, colnum, headData[colnum], xlwt.easyxf('font: bold on'))  # 行 列 數(shù)據(jù)

    index = 1
    for result in results:
        for i in range(0, 9):
            print result[i]
            ws.write(index, i, result[i])
        index += 1
        wb.save(newTable)

if __name__ == "__main__":
    baseUrl = 'http://www.reibang.com/'
    data = '?page=15&seen_snote_ids%5B%5D=12658273&seen_snote_ids%5B%5D=12689156&seen_snote_ids%5B%5D=12681559&seen_snote_ids%5B%5D=12484933&seen_snote_ids%5B%5D=12700981&seen_snote_ids%5B%5D=12691138&seen_snote_ids%5B%5D=12692643&seen_snote_ids%5B%5D=12658708&seen_snote_ids%5B%5D=12688277&seen_snote_ids%5B%5D=12704483&seen_snote_ids%5B%5D=12595741&seen_snote_ids%5B%5D=12631433&seen_snote_ids%5B%5D=12640738&seen_snote_ids%5B%5D=12624548&seen_snote_ids%5B%5D=12619420&seen_snote_ids%5B%5D=12658768&seen_snote_ids%5B%5D=12658377&seen_snote_ids%5B%5D=12540326&seen_snote_ids%5B%5D=12656357&seen_snote_ids%5B%5D=12518815&seen_snote_ids%5B%5D=12711009&seen_snote_ids%5B%5D=12338074&seen_snote_ids%5B%5D=12698315&seen_snote_ids%5B%5D=12702095&seen_snote_ids%5B%5D=12695554&seen_snote_ids%5B%5D=12665024&seen_snote_ids%5B%5D=12700059&seen_snote_ids%5B%5D=12702828&seen_snote_ids%5B%5D=12658142&seen_snote_ids%5B%5D=12670518&seen_snote_ids%5B%5D=12679524&seen_snote_ids%5B%5D=12681445&seen_snote_ids%5B%5D=12660821&seen_snote_ids%5B%5D=12661012&seen_snote_ids%5B%5D=12695747&seen_snote_ids%5B%5D=12663860&seen_snote_ids%5B%5D=12679518&seen_snote_ids%5B%5D=12582752&seen_snote_ids%5B%5D=12643448&seen_snote_ids%5B%5D=12648303&seen_snote_ids%5B%5D=12706868&seen_snote_ids%5B%5D=12599997&seen_snote_ids%5B%5D=12684922&seen_snote_ids%5B%5D=12669401&seen_snote_ids%5B%5D=12680783&seen_snote_ids%5B%5D=12523099&seen_snote_ids%5B%5D=12564012&seen_snote_ids%5B%5D=12686358&seen_snote_ids%5B%5D=12650691&seen_snote_ids%5B%5D=12663630&seen_snote_ids%5B%5D=12608069&seen_snote_ids%5B%5D=12654093&seen_snote_ids%5B%5D=12300224&seen_snote_ids%5B%5D=12682055&seen_snote_ids%5B%5D=12663246&seen_snote_ids%5B%5D=12643880&seen_snote_ids%5B%5D=12648040&seen_snote_ids%5B%5D=12642421&seen_snote_ids%5B%5D=12636423&seen_snote_ids%5B%5D=12628359&seen_snote_ids%5B%5D=12623170&seen_snote_ids%5B%5D=12636074&seen_snote_ids%5B%5D=12665569&seen_snote_ids%5B%5D=12703498&seen_snote_ids%5B%5D=12685253&seen_snote_ids%5B%5D=12701187&seen_snote_ids%5B%5D=12703984&seen_snote_ids%5B%5D=12634364&seen_snote_ids%5B%5D=12602649&seen_snote_ids%5B%5D=12218345&seen_snote_ids%5B%5D=12492535&seen_snote_ids%5B%5D=12660271&seen_snote_ids%5B%5D=12691473&seen_snote_ids%5B%5D=12687211&seen_snote_ids%5B%5D=12699375&seen_snote_ids%5B%5D=12703102&seen_snote_ids%5B%5D=12657872&seen_snote_ids%5B%5D=12659742&seen_snote_ids%5B%5D=12604652&seen_snote_ids%5B%5D=11166785&seen_snote_ids%5B%5D=12657143&seen_snote_ids%5B%5D=12662330&seen_snote_ids%5B%5D=12640661&seen_snote_ids%5B%5D=12708110&seen_snote_ids%5B%5D=12657911&seen_snote_ids%5B%5D=12564405&seen_snote_ids%5B%5D=12632846&seen_snote_ids%5B%5D=12580583&seen_snote_ids%5B%5D=12623918&seen_snote_ids%5B%5D=12647490&seen_snote_ids%5B%5D=12662155&seen_snote_ids%5B%5D=12684822&seen_snote_ids%5B%5D=12683266&seen_snote_ids%5B%5D=12662006&seen_snote_ids%5B%5D=12694356&seen_snote_ids%5B%5D=12663263&seen_snote_ids%5B%5D=12659372&seen_snote_ids%5B%5D=12565648&seen_snote_ids%5B%5D=12617037&seen_snote_ids%5B%5D=12612930&seen_snote_ids%5B%5D=12563831&seen_snote_ids%5B%5D=11777918&seen_snote_ids%5B%5D=12694557&seen_snote_ids%5B%5D=12703379&seen_snote_ids%5B%5D=12609864&seen_snote_ids%5B%5D=12606620&seen_snote_ids%5B%5D=12687239&seen_snote_ids%5B%5D=12642303&seen_snote_ids%5B%5D=12691171&seen_snote_ids%5B%5D=7663876&seen_snote_ids%5B%5D=12688009&seen_snote_ids%5B%5D=12642396&seen_snote_ids%5B%5D=12607554&seen_snote_ids%5B%5D=12669692&seen_snote_ids%5B%5D=12696410&seen_snote_ids%5B%5D=12677520&seen_snote_ids%5B%5D=12584716&seen_snote_ids%5B%5D=12660054&seen_snote_ids%5B%5D=12530825&seen_snote_ids%5B%5D=12681038&seen_snote_ids%5B%5D=12704140&seen_snote_ids%5B%5D=12686932&seen_snote_ids%5B%5D=12630368&seen_snote_ids%5B%5D=12695703&seen_snote_ids%5B%5D=12582230&seen_snote_ids%5B%5D=12689421&seen_snote_ids%5B%5D=12663769&seen_snote_ids%5B%5D=11820725&seen_snote_ids%5B%5D=12520519&seen_snote_ids%5B%5D=12672594&seen_snote_ids%5B%5D=12656074&seen_snote_ids%5B%5D=12512244&seen_snote_ids%5B%5D=12699112&seen_snote_ids%5B%5D=12656727&seen_snote_ids%5B%5D=12698991&seen_snote_ids%5B%5D=12688923&seen_snote_ids%5B%5D=12544436&seen_snote_ids%5B%5D=12656603&seen_snote_ids%5B%5D=12530052&seen_snote_ids%5B%5D=12702798&seen_snote_ids%5B%5D=12687284&seen_snote_ids%5B%5D=12448888&seen_snote_ids%5B%5D=12663782&seen_snote_ids%5B%5D=12606930&seen_snote_ids%5B%5D=12588667&seen_snote_ids%5B%5D=12665002&seen_snote_ids%5B%5D=10688540&seen_snote_ids%5B%5D=12585769&seen_snote_ids%5B%5D=12668881&seen_snote_ids%5B%5D=12677358&seen_snote_ids%5B%5D=12676116&seen_snote_ids%5B%5D=12700404&seen_snote_ids%5B%5D=12661935&seen_snote_ids%5B%5D=12707133&seen_snote_ids%5B%5D=12656134&seen_snote_ids%5B%5D=12478683&seen_snote_ids%5B%5D=12709169&seen_snote_ids%5B%5D=12679225&seen_snote_ids%5B%5D=12663030&seen_snote_ids%5B%5D=12698974&seen_snote_ids%5B%5D=12689032&seen_snote_ids%5B%5D=12680340&seen_snote_ids%5B%5D=12693738&seen_snote_ids%5B%5D=12679164&seen_snote_ids%5B%5D=12637667&seen_snote_ids%5B%5D=12699423&seen_snote_ids%5B%5D=12699685&seen_snote_ids%5B%5D=9199031&seen_snote_ids%5B%5D=12638401&seen_snote_ids%5B%5D=12643079&seen_snote_ids%5B%5D=12626989&seen_snote_ids%5B%5D=12649754&seen_snote_ids%5B%5D=12426104&seen_snote_ids%5B%5D=12602622&seen_snote_ids%5B%5D=12666369&seen_snote_ids%5B%5D=12596530&seen_snote_ids%5B%5D=12641942&seen_snote_ids%5B%5D=12604251&seen_snote_ids%5B%5D=12597437&seen_snote_ids%5B%5D=12663298&seen_snote_ids%5B%5D=12677017&seen_snote_ids%5B%5D=12653491&seen_snote_ids%5B%5D=12677222&seen_snote_ids%5B%5D=12698017&seen_snote_ids%5B%5D=12658191&seen_snote_ids%5B%5D=12626163&seen_snote_ids%5B%5D=12627683&seen_snote_ids%5B%5D=12554040&seen_snote_ids%5B%5D=12627495&seen_snote_ids%5B%5D=12542947&seen_snote_ids%5B%5D=12638970&seen_snote_ids%5B%5D=12650928&seen_snote_ids%5B%5D=12658392&seen_snote_ids%5B%5D=12659878&seen_snote_ids%5B%5D=12612503&seen_snote_ids%5B%5D=12666856&seen_snote_ids%5B%5D=12694462&seen_snote_ids%5B%5D=12658333&seen_snote_ids%5B%5D=12631006&seen_snote_ids%5B%5D=12618207&seen_snote_ids%5B%5D=11935675&seen_snote_ids%5B%5D=12606275&seen_snote_ids%5B%5D=12630696&seen_snote_ids%5B%5D=12643216&seen_snote_ids%5B%5D=12593022&seen_snote_ids%5B%5D=12625921&seen_snote_ids%5B%5D=12602244&seen_snote_ids%5B%5D=12695755&seen_snote_ids%5B%5D=12609261&seen_snote_ids%5B%5D=12666981&seen_snote_ids%5B%5D=12700237&seen_snote_ids%5B%5D=11904387&seen_snote_ids%5B%5D=12599567&seen_snote_ids%5B%5D=12576413&seen_snote_ids%5B%5D=12565193&seen_snote_ids%5B%5D=12599881&seen_snote_ids%5B%5D=12511241&seen_snote_ids%5B%5D=12576991&seen_snote_ids%5B%5D=12514019&seen_snote_ids%5B%5D=12657719&seen_snote_ids%5B%5D=12533063&seen_snote_ids%5B%5D=12518230&seen_snote_ids%5B%5D=12563828&seen_snote_ids%5B%5D=12494682&seen_snote_ids%5B%5D=12649202&seen_snote_ids%5B%5D=12687940&seen_snote_ids%5B%5D=12492719&seen_snote_ids%5B%5D=12486128&seen_snote_ids%5B%5D=12619419&seen_snote_ids%5B%5D=12677114&seen_snote_ids%5B%5D=12687988&seen_snote_ids%5B%5D=12398046&seen_snote_ids%5B%5D=12639473&seen_snote_ids%5B%5D=12603532&seen_snote_ids%5B%5D=12632823&seen_snote_ids%5B%5D=12694209&seen_snote_ids%5B%5D=12610549&seen_snote_ids%5B%5D=12664416&seen_snote_ids%5B%5D=12600293&seen_snote_ids%5B%5D=12613945&seen_snote_ids%5B%5D=12642344&seen_snote_ids%5B%5D=12689271&seen_snote_ids%5B%5D=12694358&seen_snote_ids%5B%5D=12666521&seen_snote_ids%5B%5D=12473076&seen_snote_ids%5B%5D=12686633&seen_snote_ids%5B%5D=12517536&seen_snote_ids%5B%5D=12674926&seen_snote_ids%5B%5D=12684992&seen_snote_ids%5B%5D=12668691&seen_snote_ids%5B%5D=12606078&seen_snote_ids%5B%5D=12634192&seen_snote_ids%5B%5D=12623365&seen_snote_ids%5B%5D=12423597&seen_snote_ids%5B%5D=12616932&seen_snote_ids%5B%5D=12598725&seen_snote_ids%5B%5D=12624968&seen_snote_ids%5B%5D=12623323&seen_snote_ids%5B%5D=12580963&seen_snote_ids%5B%5D=12620773&seen_snote_ids%5B%5D=12471552&seen_snote_ids%5B%5D=12666934&seen_snote_ids%5B%5D=12148754&seen_snote_ids%5B%5D=12678642&seen_snote_ids%5B%5D=12569617&seen_snote_ids%5B%5D=12560935&seen_snote_ids%5B%5D=12680300&seen_snote_ids%5B%5D=12545244&seen_snote_ids%5B%5D=8286846&seen_snote_ids%5B%5D=12523208&seen_snote_ids%5B%5D=12684296&seen_snote_ids%5B%5D=12662715&seen_snote_ids%5B%5D=12507741&seen_snote_ids%5B%5D=12677811&seen_snote_ids%5B%5D=12504126&seen_snote_ids%5B%5D=12501985&seen_snote_ids%5B%5D=12546054&seen_snote_ids%5B%5D=12678929&seen_snote_ids%5B%5D=12673823&seen_snote_ids%5B%5D=12688021'
    url = baseUrl + data
    results = getDate(url)
    excel_write(results)

輸出結(jié)果

5.png
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市弄诲,隨后出現(xiàn)的幾起案子愚战,更是在濱河造成了極大的恐慌,老刑警劉巖齐遵,帶你破解...
    沈念sama閱讀 222,627評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件寂玲,死亡現(xiàn)場離奇詭異,居然都是意外死亡梗摇,警方通過查閱死者的電腦和手機拓哟,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,180評論 3 399
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來伶授,“玉大人断序,你說我怎么就攤上這事∶优耄” “怎么了违诗?”我有些...
    開封第一講書人閱讀 169,346評論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長疮蹦。 經(jīng)常有香客問我诸迟,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,097評論 1 300
  • 正文 為了忘掉前任阵苇,我火速辦了婚禮壁公,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘绅项。我一直安慰自己紊册,他們只是感情好,可當我...
    茶點故事閱讀 69,100評論 6 398
  • 文/花漫 我一把揭開白布趁怔。 她就那樣靜靜地躺著湿硝,像睡著了一般。 火紅的嫁衣襯著肌膚如雪润努。 梳的紋絲不亂的頭發(fā)上关斜,一...
    開封第一講書人閱讀 52,696評論 1 312
  • 那天,我揣著相機與錄音铺浇,去河邊找鬼痢畜。 笑死,一個胖子當著我的面吹牛鳍侣,可吹牛的內(nèi)容都是我干的丁稀。 我是一名探鬼主播,決...
    沈念sama閱讀 41,165評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼倚聚,長吁一口氣:“原來是場噩夢啊……” “哼线衫!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起惑折,我...
    開封第一講書人閱讀 40,108評論 0 277
  • 序言:老撾萬榮一對情侶失蹤授账,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后惨驶,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體忌傻,經(jīng)...
    沈念sama閱讀 46,646評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡舆瘪,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,709評論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片苍姜。...
    茶點故事閱讀 40,861評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡俏讹,死狀恐怖答倡,靈堂內(nèi)的尸體忽然破棺而出钠四,到底是詐尸還是另有隱情,我是刑警寧澤测砂,帶...
    沈念sama閱讀 36,527評論 5 351
  • 正文 年R本政府宣布茵烈,位于F島的核電站,受9級特大地震影響砌些,放射性物質(zhì)發(fā)生泄漏呜投。R本人自食惡果不足惜加匈,卻給世界環(huán)境...
    茶點故事閱讀 42,196評論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望仑荐。 院中可真熱鬧雕拼,春花似錦、人聲如沸粘招。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,698評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽洒扎。三九已至辑甜,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間袍冷,已是汗流浹背磷醋。 一陣腳步聲響...
    開封第一講書人閱讀 33,804評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留胡诗,地道東北人邓线。 一個月前我還...
    沈念sama閱讀 49,287評論 3 379
  • 正文 我出身青樓,卻偏偏與公主長得像煌恢,于是被迫代替她去往敵國和親骇陈。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,860評論 2 361

推薦閱讀更多精彩內(nèi)容

  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 172,325評論 25 707
  • iOS網(wǎng)絡(luò)架構(gòu)討論梳理整理中瑰抵。你雌。。 其實如果沒有APIManager這一層是沒法使用delegate的二汛,畢竟多個單...
    yhtang閱讀 5,207評論 1 23
  • 發(fā)現(xiàn) 關(guān)注 消息 iOS 第三方庫匪蝙、插件、知名博客總結(jié) 作者大灰狼的小綿羊哥哥關(guān)注 2017.06.26 09:4...
    肇東周閱讀 12,124評論 4 61
  • 相遇是為了更好的遇見千元,遇見不一樣的生活苫昌,遇見不一樣的未來,遇見不一樣的你幸海。然而每次相遇的美好祟身,卻背后總會有心酸的故...
    薄荷薇薇安閱讀 1,340評論 4 5
  • 我買那臺電腦的時候是在大二,當時挑選筆記本的熱情一點都不亞于挑選女朋友物独,記得在買下那臺筆記本前的一個月我把整個生活...
    郭劼閱讀 661評論 2 9