爬蟲(五)(splinter)動(dòng)態(tài)內(nèi)容

Splinter對(duì)已有的自動(dòng)化工具(如:Selenium、PhantomJS和zope.testbrowser)進(jìn)行抽象柿祈,形成一個(gè)全新的上層應(yīng)用API,它使為Web應(yīng)用編寫自動(dòng)化測(cè)試腳本變的更容易。

最早的時(shí)候大家都會(huì)使用 Phantomjs 來(lái)實(shí)現(xiàn)headless躏嚎,但是多多少少會(huì)有一些不足的地方∶圩裕現(xiàn)在 Chrome 和 Firefox 都已經(jīng)提供了相應(yīng)的 headless 模式,而且 Splinter 也已經(jīng)集成卢佣。

http://blog.csdn.net/qq_24338883/article/details/52462699
https://zhuanlan.zhihu.com/p/30208753
http://splinter-docs-zh-cn.readthedocs.io/zh/latest/

步驟:

  1. 裝依賴 pip install splinter
  2. 把 chrome / firefox 驅(qū)動(dòng)加 path
import platform
import os
from time import sleep
from splinter import Browser

def add_chrome_webdriver():
    print(platform.system())
    working_path = os.getcwd()
    library = 'library'
    path = os.path.join(working_path, library)
    os.environ['PATH'] += '{}{}{}'.format(os.pathsep, path, os.pathsep)
    print(os.environ['PATH'])

Browser是整個(gè)測(cè)試的基礎(chǔ)重荠,你可以把它理解為一個(gè)瀏覽器。
將驅(qū)動(dòng)加入到環(huán)境變量:①可以手動(dòng)加入虚茶,②可以通過上面函數(shù)加入晚缩,③還可以直接將驅(qū)動(dòng)復(fù)制到已有 PATH 下(比如 python)。firefox 和 chrome 各有自己的驅(qū)動(dòng)

圖片.png
圖片.png

os.getcwd() :當(dāng)前執(zhí)行文件的容器目錄媳危,感覺和 os.path 的值一樣
os.pathsep : ;

圖片.png
def find_website():
    with Browser() as browser:
        # Visit URL
        url = "http://www.baidu.com"
        browser.visit(url)

        input = browser.find_by_css('#kw')
        input.fill('知乎')

        # Find and click the 'search' button
        button = browser.find_by_css('#su')
        # Interact with elements
        button.click()

        if browser.is_text_present('發(fā)現(xiàn)更大的世界'):
            print("Yes, the official website was found!")
        else:
            print("No, it wasn't found... We need to improve our SEO techniques")

with Browser('chrome', headless=True) as browser:
driver_name='chrome':指定瀏覽器冈敛,默認(rèn)是 firefox
headless=True : 無(wú)頭模式待笑,不然會(huì)打開圖形界面,在服務(wù)器部署時(shí)一定要加入

  • with 打開瀏覽器抓谴,不用手動(dòng)關(guān)閉暮蹂,創(chuàng)建實(shí)例
  • visit() :指定 url ,可訪問任意指定的站點(diǎn)
  • find_by_css() :方法能夠進(jìn)行 css 選擇癌压,找到輸入框仰泻;
  • fill() :方法能夠自動(dòng)輸入相關(guān)內(nèi)容
    • 前兩步合并:xx.fill("wd", "dataman")即可在搜索欄搜索dataman。
    • browser.fill('wd', 'splinter - python acceptance testing for web applications')
    • 也就是使用"dataman"填充頁(yè)面中‘name’是‘wd’的元素
  • find_by_css() :找到點(diǎn)擊按鈕
  • click():觸發(fā)點(diǎn)擊事件
  • is_text_present() :檢查頁(yè)面上是否存在某個(gè)值
def main():
    add_chrome_webdriver()
    find_website()

if __name__ == '__main__':
    main()









圖片.png

圖片.png
圖片.png
#-*- coding:utf-8 -*-
#京東搶手機(jī)腳本
from splinter.browser import Browser
import time

#登錄頁(yè)
def login(b):  #登錄京東
    b.click_link_by_text("你好滩届,請(qǐng)登錄")
    time.sleep(3)
    b.fill("loginname","account*****")  #填寫賬戶密碼
    b.fill("nloginpwd","passport*****")
    b.find_by_id("loginsubmit").click()
    time.sleep(3)
    return b

#訂單頁(yè)
def loop(b):  #循環(huán)點(diǎn)擊
    try:
        if b.title=="訂單結(jié)算頁(yè) -京東商城":
            b.find_by_text("保存收貨人信息").click()
            b.find_by_text("保存支付及配送方式").click()
            b.find_by_id("order-submit").click()
            return b
        else:  #多次搶購(gòu)操作后集侯,有可能會(huì)被轉(zhuǎn)到京東首頁(yè),所以要再打開手機(jī)主頁(yè)
            b.visit("http://item.jd.com/2707976.html")
            b.find_by_id("choose-btn-qiang").click()
            time.sleep(10)
            loop(b)  #遞歸操作
    except Exception as e: #異常情況處理帜消,以免中斷程序
        b.reload()  #重新刷新當(dāng)前頁(yè)面棠枉,此頁(yè)面為訂單提交頁(yè)
        time.sleep(2)
        loop(b)  #重新調(diào)用自己


b=Browser(driver_name="chrome") #打開瀏覽器
b.visit("http://item.jd.com/2707976.html")
login(b)
b.find_by_id("choose-btn-qiang").click() #找到搶購(gòu)按鈕,點(diǎn)擊
time.sleep(10)  #等待10sec
while True:
    loop(b)
    if b.is_element_present_by_id("tryBtn"): #訂單提交后顯示“再次搶購(gòu)”的話
        b.find_by_id("tryBtn").click()  #點(diǎn)擊再次搶購(gòu)泡挺,進(jìn)入讀秒5辈讶,跳轉(zhuǎn)訂單頁(yè)
        time.sleep(6.5)
    elif b.title=="訂單結(jié)算頁(yè) -京東商城": #如果還在訂單結(jié)算頁(yè)
        b.find_by_id("order-submit").click() 
    else:
        print('恭喜你,搶購(gòu)成功')
        break
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末娄猫,一起剝皮案震驚了整個(gè)濱河市贱除,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌媳溺,老刑警劉巖月幌,帶你破解...
    沈念sama閱讀 222,865評(píng)論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異悬蔽,居然都是意外死亡飞醉,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,296評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)缅帘,“玉大人轴术,你說(shuō)我怎么就攤上這事∏瘴蓿” “怎么了逗栽?”我有些...
    開封第一講書人閱讀 169,631評(píng)論 0 364
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)失暂。 經(jīng)常有香客問我彼宠,道長(zhǎng),這世上最難降的妖魔是什么弟塞? 我笑而不...
    開封第一講書人閱讀 60,199評(píng)論 1 300
  • 正文 為了忘掉前任凭峡,我火速辦了婚禮,結(jié)果婚禮上决记,老公的妹妹穿的比我還像新娘摧冀。我一直安慰自己,他們只是感情好系宫,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,196評(píng)論 6 398
  • 文/花漫 我一把揭開白布索昂。 她就那樣靜靜地躺著,像睡著了一般扩借。 火紅的嫁衣襯著肌膚如雪椒惨。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,793評(píng)論 1 314
  • 那天潮罪,我揣著相機(jī)與錄音康谆,去河邊找鬼。 笑死嫉到,一個(gè)胖子當(dāng)著我的面吹牛秉宿,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播屯碴,決...
    沈念sama閱讀 41,221評(píng)論 3 423
  • 文/蒼蘭香墨 我猛地睜開眼描睦,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了导而?” 一聲冷哼從身側(cè)響起忱叭,我...
    開封第一講書人閱讀 40,174評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎今艺,沒想到半個(gè)月后韵丑,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,699評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡虚缎,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,770評(píng)論 3 343
  • 正文 我和宋清朗相戀三年撵彻,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了钓株。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,918評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡陌僵,死狀恐怖轴合,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情碗短,我是刑警寧澤受葛,帶...
    沈念sama閱讀 36,573評(píng)論 5 351
  • 正文 年R本政府宣布,位于F島的核電站偎谁,受9級(jí)特大地震影響总滩,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜巡雨,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,255評(píng)論 3 336
  • 文/蒙蒙 一闰渔、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧铐望,春花似錦冈涧、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,749評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)何之。三九已至跟畅,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間溶推,已是汗流浹背徊件。 一陣腳步聲響...
    開封第一講書人閱讀 33,862評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留蒜危,地道東北人虱痕。 一個(gè)月前我還...
    沈念sama閱讀 49,364評(píng)論 3 379
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像辐赞,于是被迫代替她去往敵國(guó)和親部翘。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,926評(píng)論 2 361