模擬登錄丁香園并抓取所有信息

丁香園論壇:http://www.dxy.cn/bbs/thread/626626#626626

import time
from selenium import webdriver
from selenium.common.exceptions import TimeoutException, NoSuchElementException

def login(browser, username, password):
    try:
        browser.find_element_by_link_text("登錄").click()
        browser.find_element_by_class_name("ico_pc").click()
        element = browser.find_element_by_name("username")
        element.clear()
        element.send_keys(username)

        element = browser.find_element_by_name("password")
        element.clear()
        element.send_keys(password)

        browser.find_element_by_class_name("button").click()

    except TimeoutException:
        print("time out")
    except NoSuchElementException:
        print("No Element")


def get_content(browser):
    print("success login")
    time.sleep(5)
    auth = browser.find_elements_by_class_name('auth')  # 昵稱
    level = browser.find_elements_by_class_name('info') # 等級
    user_atten = browser.find_elements_by_class_name('user_atten')  # 用戶屬性
    content = browser.find_elements_by_class_name('postbody')   # 內(nèi)容
    sfile = open('data.txt','a',encoding='utf-8')
    for i in range(len(content)):
        num = user_atten[i].find_elements_by_tag_name('a')
        data = str({'num':i+1,'name':auth[i].text,'level':level[i].text,'score':num[0].text,'vote':num[2].text,'dingdang':num[4].text,'content':content[i].text.replace(" ", "").replace("\n", "")}) +"\n"
        sfile.writelines(data)
    print("success write")
    sfile.close()

if __name__ == '__main__':
    browser = webdriver.Chrome(executable_path = 'C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe')
    browser.get('http://www.dxy.cn/bbs/thread/626626#626626')
    login(browser, 'xxxxxxname', 'pwd')
    get_content(browser)
    browser.quit()

···
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌疟赊,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,946評論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件毕骡,死亡現(xiàn)場離奇詭異释涛,居然都是意外死亡亭畜,警方通過查閱死者的電腦和手機侮攀,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,336評論 3 399
  • 文/潘曉璐 我一進店門锣枝,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人兰英,你說我怎么就攤上這事撇叁。” “怎么了畦贸?”我有些...
    開封第一講書人閱讀 169,716評論 0 364
  • 文/不壞的土叔 我叫張陵陨闹,是天一觀的道長。 經(jīng)常有香客問我薄坏,道長趋厉,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,222評論 1 300
  • 正文 為了忘掉前任颤殴,我火速辦了婚禮觅廓,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘涵但。我一直安慰自己,他們只是感情好帖蔓,可當我...
    茶點故事閱讀 69,223評論 6 398
  • 文/花漫 我一把揭開白布矮瘟。 她就那樣靜靜地躺著,像睡著了一般塑娇。 火紅的嫁衣襯著肌膚如雪澈侠。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,807評論 1 314
  • 那天埋酬,我揣著相機與錄音哨啃,去河邊找鬼。 笑死写妥,一個胖子當著我的面吹牛拳球,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播珍特,決...
    沈念sama閱讀 41,235評論 3 424
  • 文/蒼蘭香墨 我猛地睜開眼祝峻,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起莱找,我...
    開封第一講書人閱讀 40,189評論 0 277
  • 序言:老撾萬榮一對情侶失蹤酬姆,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后奥溺,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體辞色,經(jīng)...
    沈念sama閱讀 46,712評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,775評論 3 343
  • 正文 我和宋清朗相戀三年浮定,在試婚紗的時候發(fā)現(xiàn)自己被綠了相满。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,926評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡壶唤,死狀恐怖雳灵,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情闸盔,我是刑警寧澤悯辙,帶...
    沈念sama閱讀 36,580評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站迎吵,受9級特大地震影響躲撰,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜击费,卻給世界環(huán)境...
    茶點故事閱讀 42,259評論 3 336
  • 文/蒙蒙 一拢蛋、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧蔫巩,春花似錦谆棱、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,750評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至坪郭,卻和暖如春个从,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背歪沃。 一陣腳步聲響...
    開封第一講書人閱讀 33,867評論 1 274
  • 我被黑心中介騙來泰國打工嗦锐, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人沪曙。 一個月前我還...
    沈念sama閱讀 49,368評論 3 379
  • 正文 我出身青樓奕污,卻偏偏與公主長得像,于是被迫代替她去往敵國和親珊蟀。 傳聞我的和親對象是個殘疾皇子菊值,可洞房花燭夜當晚...
    茶點故事閱讀 45,930評論 2 361

推薦閱讀更多精彩內(nèi)容

  • 2019年3月12日 星期二 晴 今天發(fā)現(xiàn)了一個小學(xué)同學(xué)外驱,都二十多年沒見了,雖然這么久沒見腻窒,但是聊起來真...
    汪群_6f58閱讀 176評論 0 2
  • 鏡子的故事 徒弟擦一面鏡子昵宇,邊擦邊說:“這鏡子可真是便宜貨,幾十元買了這么一大面!” 師父笑著說:...
    覺之燈閱讀 138評論 0 0
  • “tick -tock, tick-tock”儿子,真的是到了一定年齡瓦哎,才會明白“白駒過隙、光陰似箭柔逼、日月如梭”的內(nèi)涵...
    Super_Hellen閱讀 336評論 0 2
  • 昨天看到一句話愉适,在婚姻關(guān)系中你是可以選擇的犯助,你可以選擇帶著愛與感恩離開或者留下;也可以帶著怨恨和報復(fù)離開或...
    lily北媽閱讀 302評論 0 0
  • 扶貧工作维咸,注重實干剂买,也需要經(jīng)常與群眾交流。 總會有一些不太公平又無法解決的事件癌蓖,使得群眾會想要發(fā)泄心中的情緒瞬哼。這個...
    專注改善拖延癥閱讀 441評論 0 1