正確移除 selenium webdriver pyppeteer以及使用pypp碰到的問題解決

正確移除 selenium webdriver

driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
  "source": """
    Object.defineProperty(navigator, 'webdriver', {
      get: () => undefined
    })
  """
})

正確隱藏 pyppeteer

 await page.evaluateOnNewDocument('''() => {
        Object.defineProperty(navigator, 'webdriver', {
        get: () => undefined
        })
        }
    ''')

使用 pyppeteer 碰到的錯誤

  • pyppeteer.errors.ElementHandleError: Error: failed to find element matching selector ".btn_ok"

    我使用了下面的代碼后出現(xiàn)的:為了實現(xiàn)檢測元素是否存在,存在則程序結(jié)束嗅虏,不存在則重試

    btn_ok = await page.Jeval('.btn_ok', 'node => node.style')

    mark

    解決辦法:

    btn_ok = await page.querySelector('[class="nc_iconfont btn_ok"]')

    但是使用這個之后,當滑動失敗之后洛姑,重現(xiàn)刷新滑動驗證碼之后,又會出現(xiàn)下面的錯誤皮服。

    更新(2020-01-20):

    之前的理解錯誤了楞艾,這個根本原因是執(zhí)行關(guān)閉瀏覽器 await browser.close() 的時候沒有權(quán)限刪除用戶的瀏覽數(shù)據(jù)参咙。

    解決辦法:

    定義瀏覽器的時候設(shè)置參數(shù) 'userDataDir': r'D:\temporary',指定一個用戶可以執(zhí)行的目錄,這樣的話就可以了硫眯。

    但是這樣的話蕴侧,相當于保存了用戶的瀏覽數(shù)據(jù)。

    可能又會碰到這么個錯誤两入,事件循環(huán)打開瀏覽器后净宵,并沒有執(zhí)行,直接返回結(jié)果裹纳。

    看了一下文檔择葡,調(diào)用 createIncogniteBrowserContext()直接打開一個無痕瀏覽器。這樣就爽多了

    關(guān)閉的時候需要注意分開關(guān)閉剃氧,無痕關(guān)閉敏储,正常打開的瀏覽器也需要關(guān)閉。

  • pyppeteer.errors.NetworkError: Protocol Error (Runtime.callFunctionOn): Session closed. Most likely the page has been closed.

mark

解決辦法:這是由于庫本身的問題朋鞍。pyppeteer 庫的問題已添。

mark

具體可參考 天貓?zhí)詫氈跖老x神器 -- Pyppeteer

也可以降低 websockets 的版本,改為 6.0 的版本

pip install websockets==6.0

這樣問題就會少很多

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末番舆,一起剝皮案震驚了整個濱河市酝碳,隨后出現(xiàn)的幾起案子矾踱,更是在濱河造成了極大的恐慌恨狈,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,183評論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件呛讲,死亡現(xiàn)場離奇詭異禾怠,居然都是意外死亡,警方通過查閱死者的電腦和手機贝搁,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,850評論 3 399
  • 文/潘曉璐 我一進店門吗氏,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人雷逆,你說我怎么就攤上這事弦讽。” “怎么了膀哲?”我有些...
    開封第一講書人閱讀 168,766評論 0 361
  • 文/不壞的土叔 我叫張陵往产,是天一觀的道長。 經(jīng)常有香客問我某宪,道長仿村,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,854評論 1 299
  • 正文 為了忘掉前任兴喂,我火速辦了婚禮蔼囊,結(jié)果婚禮上焚志,老公的妹妹穿的比我還像新娘。我一直安慰自己畏鼓,他們只是感情好酱酬,可當我...
    茶點故事閱讀 68,871評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著云矫,像睡著了一般岳悟。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上泼差,一...
    開封第一講書人閱讀 52,457評論 1 311
  • 那天贵少,我揣著相機與錄音,去河邊找鬼堆缘。 笑死滔灶,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的吼肥。 我是一名探鬼主播录平,決...
    沈念sama閱讀 40,999評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼缀皱!你這毒婦竟也來了斗这?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,914評論 0 277
  • 序言:老撾萬榮一對情侶失蹤啤斗,失蹤者是張志新(化名)和其女友劉穎表箭,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體钮莲,經(jīng)...
    沈念sama閱讀 46,465評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡免钻,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,543評論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了崔拥。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片极舔。...
    茶點故事閱讀 40,675評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖链瓦,靈堂內(nèi)的尸體忽然破棺而出拆魏,到底是詐尸還是另有隱情,我是刑警寧澤慈俯,帶...
    沈念sama閱讀 36,354評論 5 351
  • 正文 年R本政府宣布渤刃,位于F島的核電站,受9級特大地震影響肥卡,放射性物質(zhì)發(fā)生泄漏溪掀。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,029評論 3 335
  • 文/蒙蒙 一步鉴、第九天 我趴在偏房一處隱蔽的房頂上張望揪胃。 院中可真熱鬧璃哟,春花似錦、人聲如沸喊递。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,514評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽骚勘。三九已至铐伴,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間俏讹,已是汗流浹背当宴。 一陣腳步聲響...
    開封第一講書人閱讀 33,616評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留泽疆,地道東北人户矢。 一個月前我還...
    沈念sama閱讀 49,091評論 3 378
  • 正文 我出身青樓,卻偏偏與公主長得像殉疼,于是被迫代替她去往敵國和親梯浪。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,685評論 2 360

推薦閱讀更多精彩內(nèi)容

  • 參考:爬蟲神器 Pyppeteer 介紹及爬取某商城實戰(zhàn)Pyppeteer:比selenium更高效的爬蟲界的新神...
    BeautifulSoulpy閱讀 39,321評論 0 10
  • 如果大家對 Python 爬蟲有所了解的話瓢娜,想必你應(yīng)該聽說過 Selenium 這個庫挂洛,這實際上是一個自動化測試工...
    g_ices閱讀 710評論 0 1
  • 前言 前段時間因為有任務(wù),需要四個電商(京東眠砾、淘寶虏劲、天貓、拼多多)的數(shù)據(jù)荠藤。而其中京東的沒什么反爬伙单,基本是隨便抓。拼...
    生信師姐閱讀 1,003評論 0 2
  • 如果大家對 Python 爬蟲有所了解的話,想必你應(yīng)該聽說過 Selenium 這個庫摊趾,這實際上是一個自動化測試工...
    HelloJames閱讀 1,190評論 0 13
  • 一币狠、前言 以前使用selenium的無頭瀏覽器,自從phantomjs2016后慢慢不更新了之后砾层,selenium...
    HHHHUA閱讀 2,340評論 0 1