2019-06-04 淘寶評論爬取

直接附上代碼:

import urllib.request
import urllib.parse
import jsonpath
import json
import re
import time

'''
ajax接口
https://rate.taobao.com/feedRateList.htm?auctionNumId=593014213362&userNumId=903511695&currentPageNum=2&pageSize=20

'''

items = []
def handle_request(url, page):
    url = url.format(page)
    # print(url)

    # 必須加COOKIE,不然json返回不回來
    headers = {

        'Accept': '*/*',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Referer': 'https://item.taobao.com/item.htm?spm=a230r.1.14.31.1a9df9eaZ2TtQ2&id=593014213362&ns=1&abbucket=4',

        'Cookie': 'miid=1034753504511266755;cna=dx1nFLT5mQcCAXWaR2QxwmBW;'

                  'thw=cn;t=325ff4e457909046382b22a33c83eadb;tracknick=acc%5Cu80E1%5Cu4F20;'

                  'lgc=acc%5Cu80E1%5Cu4F20;tg=0;v=0;'

                  'cookie2=128cea00303f12de470490c850cc00b1;_tb_token_=fdb4b335af83e;'

                  'unb=2701405241;sg=%E4%BC%A01a;_l_g_=Ug%3D%3D;skt=051d1e62c9ab8dc5;'

                  'cookie1=BxMH3NLGjomw6rJWdejLCTcGCFEkYwy%2BoQnBejFVBZI%3D;csg=93fdcb74;'

                  'uc3=vt3=F8dBy3jYcBxWmWeUeDY%3D;id2=UU8IPT1oZbApWA%3D%3D;nk2=AnIsGxSURQ%3D%3D;lg2=Vq8l%2BKCLz3%2F65A%3D%3D;'

                  'existShop=MTU1OTY1MDAxNw%3D%3D;_cc_=U%2BGCWk%2F7og%3D%3D;dnk=acc%5Cu80E1%5Cu4F20;_nk_=acc%5Cu80E1%5Cu4F20;'

                  'cookie17=UU8IPT1oZbApWA%3D%3D;mt=ci=6_1&np=;'

                  'enc=UFEUuOrXKTfwHDdKWP%2F9JacRMgPfTTQxKHxhkY8FExWK0%2FOKPqyryg048bj3QRjP%2Blwvl2%2BmU0N0pIBcrlD2PA%3D%3D;'
                  'hng=CN%7Czh-CN%7CCNY%7C156;'
                  'uc1=cookie15=VT5L2FSpMGV7TQ%3D%3D&cookie14=UoTZ7Yy7WSTGKg%3D%3D;'

                  '_m_h5_tk=3627342e3b09ae88a2c724b51c503d85_1559657695270;'
                  '_m_h5_tk_enc=c88d8e3f4ba68bc083f853e956656b6c;'
                  'x=e%3D1%26p%3D*%26s%3D0%26c%3D0%26f%3D0%26g%3D0%26t%3D0%26__ll%3D-1%26_ato%3D0;'
                  'x5sec=7b22726174656d616e616765723b32223a22623034623263306164386231666234336634303330663463646430663064653743504c4f32656346454e364e6b736a586d664c7373774561444449334d4445304d4455794e4445374d513d3d227d;'
                  'whl=-1%260%260%261559652412550;'
                  'l=bB_eivGRvlAmYuqwBOfgiuI8a17TwIdfhsPzw4_G2ICP_bfDwBcPWZTPLZTkC3GVa6GXR3oyuHLBBW8iLyUCh;'
                  'isg=BGNjWHeLO7xJIPCeqwvJFNPV8qfN8Pf9ajjwFJXBBkM21IT2HSu26rnCyuT_9E-S',

        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',

        'Connection': 'keep-alive',
        'Host': 'rate.taobao.com',
    }
    request = urllib.request.Request(url=url, headers=headers)
    return request


def json_parse(json_content):
    # 將json格式兩邊的小括號干掉,使用正則替換方式
    json_content = re.sub(r'\(', '', json_content)
    json_content = re.sub(r'\)', '', json_content)

    # 方式二壳咕,使用字符串方式去掉小括號,將json格式兩邊的小括號和非字符干掉
    # json_content=json_content.strip('() \n\t\r')
    # print(json_content)

    # 將json格式字符串轉(zhuǎn)化為python對象
    py_json = json.loads(json_content)
    comments_list = py_json['comments']
    for comment in comments_list:
        # 使用jsonpath方式查找
        user = jsonpath.jsonpath(comment, '$..user')[0]
        # 用戶頭像
        user_face = 'http;' + user['avatar']
        # print(user_face)
        #用戶名
        user_name=user['nick']
        # print(user_name)
        #評論內(nèi)容
        user_text=comment['content']
        #評論日期
        user_date=comment['date']
        #手機(jī)信息
        info=jsonpath.jsonpath(comment, '$..sku')[0]
    # up_date=comment['date']
    # up_content=comment['content']
    # up_modol=comment['auction']['sku']
    # up_author=comment['user']['nick']
        item={
        '評論人': user_name,
        '評論圖像':user_face,
        '評論時間': user_date,
        '評論內(nèi)容': user_text,
        '購買手機(jī)類型': info,
        }

        items.append(item)


def main():
    url = 'https://rate.taobao.com/feedRateList.htm?auctionNumId=593014213362&userNumId=903511695&currentPageNum={}&pageSize=20'
    start_page = int(input('請輸入爬取開始頁面:'))
    end_page = int(input('請輸入爬取結(jié)束頁面:'))
    for page in range(start_page, end_page + 1):
        request = handle_request(url, page)
        json_content = urllib.request.urlopen(request).read().decode()
        # print(json_content)
        time.sleep(2)
        json_parse(json_content)
    string = json.dumps(items, ensure_ascii=False)
    # 以TXT格式保存到本地
    with open('taobao.txt', 'w', encoding='utf8') as fp:
        fp.write(string)


if __name__ == '__main__':
    main()
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市施蜜,隨后出現(xiàn)的幾起案子钮热,更是在濱河造成了極大的恐慌,老刑警劉巖窘问,帶你破解...
    沈念sama閱讀 211,348評論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件辆童,死亡現(xiàn)場離奇詭異,居然都是意外死亡惠赫,警方通過查閱死者的電腦和手機(jī)把鉴,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,122評論 2 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來儿咱,“玉大人庭砍,你說我怎么就攤上這事』觳海” “怎么了怠缸?”我有些...
    開封第一講書人閱讀 156,936評論 0 347
  • 文/不壞的土叔 我叫張陵,是天一觀的道長钳宪。 經(jīng)常有香客問我揭北,道長,這世上最難降的妖魔是什么吏颖? 我笑而不...
    開封第一講書人閱讀 56,427評論 1 283
  • 正文 為了忘掉前任搔体,我火速辦了婚禮,結(jié)果婚禮上侦高,老公的妹妹穿的比我還像新娘嫉柴。我一直安慰自己,他們只是感情好奉呛,可當(dāng)我...
    茶點故事閱讀 65,467評論 6 385
  • 文/花漫 我一把揭開白布计螺。 她就那樣靜靜地躺著,像睡著了一般瞧壮。 火紅的嫁衣襯著肌膚如雪登馒。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,785評論 1 290
  • 那天咆槽,我揣著相機(jī)與錄音陈轿,去河邊找鬼。 笑死,一個胖子當(dāng)著我的面吹牛麦射,可吹牛的內(nèi)容都是我干的蛾娶。 我是一名探鬼主播,決...
    沈念sama閱讀 38,931評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼潜秋,長吁一口氣:“原來是場噩夢啊……” “哼蛔琅!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起峻呛,我...
    開封第一講書人閱讀 37,696評論 0 266
  • 序言:老撾萬榮一對情侶失蹤罗售,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后钩述,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體寨躁,經(jīng)...
    沈念sama閱讀 44,141評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,483評論 2 327
  • 正文 我和宋清朗相戀三年牙勘,在試婚紗的時候發(fā)現(xiàn)自己被綠了职恳。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,625評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡谜悟,死狀恐怖话肖,靈堂內(nèi)的尸體忽然破棺而出北秽,到底是詐尸還是另有隱情葡幸,我是刑警寧澤,帶...
    沈念sama閱讀 34,291評論 4 329
  • 正文 年R本政府宣布贺氓,位于F島的核電站蔚叨,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏辙培。R本人自食惡果不足惜蔑水,卻給世界環(huán)境...
    茶點故事閱讀 39,892評論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望扬蕊。 院中可真熱鬧搀别,春花似錦、人聲如沸尾抑。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,741評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽再愈。三九已至榜苫,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間翎冲,已是汗流浹背垂睬。 一陣腳步聲響...
    開封第一講書人閱讀 31,977評論 1 265
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人驹饺。 一個月前我還...
    沈念sama閱讀 46,324評論 2 360
  • 正文 我出身青樓钳枕,卻偏偏與公主長得像,于是被迫代替她去往敵國和親赏壹。 傳聞我的和親對象是個殘疾皇子么伯,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,492評論 2 348

推薦閱讀更多精彩內(nèi)容

  • 咳咳咳咳。卡儒。田柔。。骨望。硬爆。這兩天支氣管炎快把我咳廢了。躺在宿舍簡直廢人一個擎鸠。 喪夠了缀磕,繼續(xù)開始修行之路。 今天打算爬淘寶...
    Dash_chan閱讀 3,315評論 2 2
  • 文章禁止轉(zhuǎn)載劣光,違者必究 淘寶網(wǎng)頁的評論數(shù)據(jù)動態(tài)加載的袜蚕,首先要關(guān)閉adblock等屏蔽插件廣告。還有我登陸了賬號绢涡。 ...
    知識學(xué)者閱讀 7,863評論 0 8
  • 目錄: 1雄可、Scrapy爬取網(wǎng)易云音樂和評論(一微服、思路分析)2禀横、Scrapy爬取網(wǎng)易云音樂和評論(二、Scrapy...
    蘇酒酒閱讀 3,506評論 0 6
  • 雄安國家新區(qū)設(shè)立的新聞直接引爆了各類媒體仆葡,刷爆了朋友圈比庄。雄安新區(qū)的設(shè)立被定義為繼深圳經(jīng)濟(jì)特區(qū)和上海浦東新區(qū)之后又...
    春風(fēng)無痕閱讀 463評論 0 2
  • 伊人 戴著我為你編織的 花的王冠 披著我為你裁下的 云的霓裳 抱著我為你截下的 風(fēng)的流淌 緩緩進(jìn)入情的夢鄉(xiāng) 愛的海洋
    陽光山上摩云居閱讀 171評論 0 0