爬取websocket協(xié)議的網(wǎng)站

這篇文章大概一個(gè)月前就想寫(xiě)了梗夸,可是中間各種懶癌發(fā)作,追趕項(xiàng)目号醉,打游戲反症,健身,踢球畔派,撩妹铅碍。直到今天,閑下來(lái)了父虑,才想起來(lái)要寫(xiě)该酗。

9月份有個(gè)朋友給我發(fā)來(lái)這網(wǎng)站,問(wèn)我怎么爬士嚎。我經(jīng)驗(yàn)淺薄呜魄,第一次看到這種類(lèi)型的網(wǎng)站。它不同于過(guò)去我爬取的那些網(wǎng)站莱衩,它是通過(guò)websocket協(xié)議來(lái)獲取數(shù)據(jù)的爵嗅。也就是說(shuō)過(guò)去我的那些get啊post的方法,在這里統(tǒng)統(tǒng)沒(méi)用笨蚁。http://viewapi.kxt.com/大家可以進(jìn)去感受一下

圖片.png

遇到事情第一件事就是去google睹晒,不過(guò)這里說(shuō)句題外話(huà)。我經(jīng)常在群里和一些新人朋友說(shuō)括细,你要想成為一個(gè)優(yōu)秀的程序猿(裝逼臉)伪很,必須得會(huì)英文。因?yàn)槟阌龅降目臃艿ィ瑒e人都遇到過(guò)锉试,你只要去stackoverflow那里搜一下,很快就能找到你要的答案览濒,你只要看懂上面的英文就好了呆盖。另外拖云,最新的那些文檔也都是英文的,漢化的速度很難跟上更新的速度应又。不過(guò)不會(huì)英文也能把問(wèn)題解決就是了宙项,因?yàn)槲覀冞€有人工智能!找個(gè)群株扛,找個(gè)論壇尤筐,發(fā)條信息“在線(xiàn)等,急席里!”叔磷,這樣就可以等待人工智能來(lái)幫你排憂(yōu)解難。

我在google上找到了一些信息和可使用的包

圖片.png

通過(guò)模仿它的代碼奖磁,我跑了一下
毫無(wú)意外改基,失敗了!咖为!
然后我懶癌發(fā)作秕狰,找了個(gè)人工智能,直接扔給他去研究躁染。
他自己重寫(xiě)了一個(gè)爬蟲(chóng)鸣哀,再跑!
毫無(wú)意外吞彤,失敗了我衬!
然后我突然發(fā)現(xiàn)network里的response是沒(méi)有任何數(shù)據(jù)的,這不行饰恕!

圖片.png

這里是用的火狐挠羔,換谷歌看看

圖片.png

YO nigger!有數(shù)據(jù)了埋嵌,而且我們發(fā)現(xiàn)了些有意思的東西對(duì)不對(duì)F萍印!看我的紅箭頭1⑧隆范舀!然后一道靈光打進(jìn)了我的天靈蓋!A俗铩锭环!突然想到了些什么!2磁骸L锩辍!眼前一幕幕畫(huà)面快速閃過(guò)吱七,最終定格在汽久!

圖片.png

這里!S徊汀>按肌!吝岭!
沒(méi)錯(cuò)H怠!4芄堋散劫!這時(shí)候感覺(jué)自己就像柯南一樣!幕帆!我終于明白了;癫!J常熙!
然后我就跟人工智能說(shuō)!

YLT6SL8H0C0[4%]2ZLL896O.png

然后毫無(wú)意外的<钭隆B阄馈!纽竣!
成功了D够摺!r寻薄聋袋!

圖片.png

最后把代碼貼出來(lái)了,重要的事情說(shuō)三遍语盈,代碼作者是朝陽(yáng)-皮皮警(瞎瞎)舱馅,代碼作者是朝陽(yáng)-皮皮警(瞎瞎),代碼作者是朝陽(yáng)-皮皮警(瞎瞎)刀荒!

作者:朝陽(yáng)-皮皮警(瞎瞎)
import websocket
# import thread
import thread
import time
import pprint

def on_message(ws, message):
    print(1)
    pprint.pprint(message)
    # print(ws.recv())

def on_error(ws, error):
    print(2)
    print(error)

def on_close(ws):
    print("### closed ###")

def on_open(ws):
    def run(*args):
        # for i in range(3):
        #     time.sleep(1)
        #     ws.send("Hello %d" % i)
        ws.send('{"cmd":"login","number":100,"codes":["CJRL","KUAIXUN"]}')
        print('yoyoyo')
        time.sleep(5)
        ws.close()
        print("thread terminating...")
    thread.start_new_thread(run, ())

headers={'Accept-Encoding:gzip, deflate, sdch','Accept-Language:zh-CN,zh;q=0.8',
         'Cache-Control:no-cache','Host:120.27.195.4:9502',
         'Origin:http://viewapi.kxt.com','Pragma:no-cache',
         'Sec-WebSocket-Extensions:permessage-deflate; client_max_window_bits',
         'User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36'
         }
if __name__ == "__main__":
    websocket.enableTrace(True)
    url='ws://118.31.236.175:9502/?token=sHdy2IF5eqh9daXYf4Goypl6z6eTh3xpgYuF2oK1dpaxd3aTgXiwmop4ndWLkKHWfp3SnJp8hWOXe6DGf5Ks2cegnc2YZ3-okYSZ05eBhtaOZZyngp2qnJekhteVlIfPu2V3zI59gpp_mq3Zf42C1oR3yqiIiJaogYuB2nzPZaA'
    ws = websocket.WebSocketApp(url,
                              on_message = on_message,
                              on_error = on_error,
                              on_close = on_close,
                                header=headers)
    ws.on_open = on_open
    ws.run_forever()

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末代嗤,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子缠借,更是在濱河造成了極大的恐慌干毅,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,591評(píng)論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件泼返,死亡現(xiàn)場(chǎng)離奇詭異硝逢,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,448評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門(mén)渠鸽,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)叫乌,“玉大人,你說(shuō)我怎么就攤上這事徽缚『┘椋” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 162,823評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵凿试,是天一觀(guān)的道長(zhǎng)排宰。 經(jīng)常有香客問(wèn)我,道長(zhǎng)那婉,這世上最難降的妖魔是什么板甘? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,204評(píng)論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮详炬,結(jié)果婚禮上盐类,老公的妹妹穿的比我還像新娘。我一直安慰自己痕寓,他們只是感情好傲醉,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,228評(píng)論 6 388
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著呻率,像睡著了一般硬毕。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上礼仗,一...
    開(kāi)封第一講書(shū)人閱讀 51,190評(píng)論 1 299
  • 那天吐咳,我揣著相機(jī)與錄音,去河邊找鬼元践。 笑死韭脊,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的单旁。 我是一名探鬼主播沪羔,決...
    沈念sama閱讀 40,078評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼象浑!你這毒婦竟也來(lái)了蔫饰?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 38,923評(píng)論 0 274
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤愉豺,失蹤者是張志新(化名)和其女友劉穎篓吁,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體蚪拦,經(jīng)...
    沈念sama閱讀 45,334評(píng)論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡杖剪,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,550評(píng)論 2 333
  • 正文 我和宋清朗相戀三年冻押,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片盛嘿。...
    茶點(diǎn)故事閱讀 39,727評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡洛巢,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出孩擂,到底是詐尸還是另有隱情狼渊,我是刑警寧澤,帶...
    沈念sama閱讀 35,428評(píng)論 5 343
  • 正文 年R本政府宣布类垦,位于F島的核電站,受9級(jí)特大地震影響城须,放射性物質(zhì)發(fā)生泄漏蚤认。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,022評(píng)論 3 326
  • 文/蒙蒙 一糕伐、第九天 我趴在偏房一處隱蔽的房頂上張望砰琢。 院中可真熱鬧,春花似錦良瞧、人聲如沸陪汽。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,672評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)挚冤。三九已至,卻和暖如春赞庶,著一層夾襖步出監(jiān)牢的瞬間训挡,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,826評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工歧强, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留澜薄,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,734評(píng)論 2 368
  • 正文 我出身青樓摊册,卻偏偏與公主長(zhǎng)得像肤京,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子茅特,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,619評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容