chrome的 profile 文件在：chrome://version 的 Profile Path 里面
// cookie 模式登錄，需提前手動(dòng)登錄
import config
import platform
import os
from splinter import Browser
def add_chrome_webdriver():
print(platform.system())
working_path = os.getcwd()
library = 'library'
path = os.path.join(working_path, library)
os.environ['PATH'] += '{}{}{}'.format(os.pathsep, path, os.pathsep)
print(os.environ['PATH'])
def add_cookie(browser):
for part in config.cookie.split('; '):
kv = part.split('=')
d = {kv[0]: kv[1]}
browser.cookies.add(d)
print(browser.cookies.all())
def scroll_to_end(browser):
browser.execute_script('window.scrollTo(0, document.body.scrollHeight);')
def start_crawler():
# 垃圾 chrome 有 bug https://bugs.chromium.org/p/chromium/issues/detail?id=617931
# 不能 --user-data-dir 和 --headless 一起用
# 改回用 cookie
with Browser(‘chrome’, headless = True) as browser:
url = "https://www.zhihu.com"
# 先訪問(wèn)一個(gè) url绍些，才能設(shè)置這個(gè) url 對(duì)應(yīng)的 cookie
browser.visit(url)
add_cookie(browser)
# 設(shè)置好 cookie 后官辽，刷新頁(yè)面即可進(jìn)入登錄狀態(tài)
browser.reload()
print(browser.html)
scroll_to_end(browser)
found = False
while not found:
print('loop')
found = browser.is_text_present('1 天前')
if found:
print('拿到了最近1天動(dòng)態(tài)')
break
else:
scroll_to_end(browser)
def main():
add_chrome_webdriver()
start_crawler()
if __name__ == '__main__':
main()
config.py
cookie = [ ]
圖片.png
// 配置文件模式
- 在 config.py 文件設(shè)置變量铸题，賦值 profile 的路徑
- 加入：
option = webdriver.ChromeOptions()
argument = '--user-data-dir={}'.format(config.profile)
option.add_argument(argument)
with open Brpwser('chrome', options=option) as browser:
- 有個(gè) bug
- 垃圾 chrome 有 bug https://bugs.chromium.org/p/chromium/issues/detail?id=617931
- 不能 --user-data-dir 和 --headless 一起用
