背景:在使用Puppeteer爬蟲的時候發(fā)現(xiàn)有些網(wǎng)頁在Puppeteer打開的網(wǎng)頁中展示不全泣栈,而在普通谷歌瀏覽器中顯示沒問題,為了解決這個問題所以需要直接在現(xiàn)有已經(jīng)打開的瀏覽器上直接開啟爬蟲弥姻。
1.為了保證順利鏈接我們需要設置Chrome瀏覽器的啟動端口
谷歌瀏覽器 右鍵快捷方式設置目標中的內(nèi)容:在最后空格后添加 --remote-debugging-port=9222
image.png
http://localhost:9222/json/version打開鏈接看看是否接通南片,不接通嘗試關閉瀏覽器重啟
2.配置修改
let wsKey = await axios.get('http://localhost:9222/json/version');
let browser=await puppeteer.connect({
browserWSEndpoint: wsKey.data.webSocketDebuggerUrl,
defaultViewport:null
});
let page=await browser.newPage()
await page.goto('https://blogweb.cn');
使用axios獲取對應鏈接(http://localhost:9222/json/version)的通信配置傳入puppeteer配置(鏈接中的端口號需要和Chrome目標路徑中的端口號對應)
后面就是基本的創(chuàng)建頁面頁面滾動以及頁面跳轉的配置了