使用selenium 和 chromedriver遇到的一些問題

前言

當準備開始爬蟲的第三個練習爬取淘寶美食的時候罩缴,根據(jù)學習教程需要用到selenium(一款比較優(yōu)秀的web端自動化測試框架),已經(jīng)配合使用谷歌瀏覽器的驅(qū)動chromedriver聂宾。最開始我覺得只要下載了selenium安裝包以后,然后在下載chromedriver(我以為是插件一類诊笤,安裝在Google瀏覽器就行)就完事OK了系谐,但是不然,現(xiàn)在簡單記述一下我配置的過程讨跟,我的電腦系統(tǒng)是MacOS蔚鸥。

安裝selenium

  • 我查到的安裝方法大致分為兩類,一種是用pip install -U selenium
    但是試了很多次都報錯许赃,以現(xiàn)在的水平也暫時看不太懂,
  • 轉(zhuǎn)戰(zhàn)另外一種安裝方式馆类,用homebrew混聊,貌似最近幾次我框架安裝的時候遇到問題,brew install selenium-server-standalone,成功
  • 安裝完以后一臉懵逼乾巧,根據(jù)提示句喜,啟動服務selenium-server -port 4444,啟動了再根據(jù)提示0.0.0.0:4444,這個就是說外網(wǎng)也可以訪問,然后我用本地訪問沟于,發(fā)現(xiàn)服務啟動了咳胃,z至此selenium算是安裝成功了
    selenium服務啟動成功

pycharm以及Python環(huán)境遇到的坑

  • 當selenium安裝結束以后,我在pycharm新建項目準備測試的時候旷太,發(fā)現(xiàn)selenium無法導入一直爆紅
    from selenium import webdriver)展懈,
    執(zhí)行項目報錯
    ImportError: No module named selenium销睁,
    后來反復查看確實是安裝成功了,但是項目引用不到存崖,忘記從哪里看到冻记,有可能是路徑問題,我看了一眼selenium的安裝路徑来惧,也沒問題
    brew info selenium-server-standalone

  • 后來經(jīng)過反復查詢發(fā)現(xiàn)在Python環(huán)境的site-packages目錄下冗栗,確實沒有selenium,然后去新建項目的時候發(fā)現(xiàn)系統(tǒng)中轉(zhuǎn)了幾套Python環(huán)境供搀,但是系統(tǒng)自帶的確實沒有selenium


  • 最終在另外一套帶有selenium的環(huán)境中新建項目隅居,解決??,順便記錄一下路徑/usr/local/lib/python2.7/site-packages/seleniu

chromedriver的坑

  • 本想今天一天時間在學習一套爬蟲項目葛虐,但是前邊的坑坑坑就弄了一上午胎源,下面說下chromedriver
  • 在前言中我覺得chromedriver是個插件,下載了就好挡闰,但是最后下載了然后寫測試代碼,理論上講應該呼起一個谷歌瀏覽器乒融,但是
from selenium import webdriver
dr = webdriver.Chrome()

報錯信息如下
selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH
第一感覺是把chromedriver放下項目目錄之下,項目能自動搜躲到摄悯,但是不能赞季,后來經(jīng)過百般Google,查到一個辦法

import  os
chromedriver = "/usr/local/Cellar/chromedriver/2.28/bin/chromedriver"
os.environ["webdriver.chrome.driver"] = chromedriver
driver = webdriver.Chrome(chromedriver)
driver.get("http://stackoverflow.com")
driver.quit()

依舊報錯奢驯,后來又是偶然申钩,發(fā)現(xiàn)chromedriver不單單是光下載就行了,也是一個單獨的軟件吧瘪阁,所以依舊使用homebrew進行了安裝brew install chromedriver,然后回看bin目錄/usr/local/Cellar/chromedriver/2.28/bin撒遣,將其復制到上邊的代碼chromedriver =的后邊,見證奇跡的時刻管跺,運行終于呼起了Google瀏覽器

  • 然后還不算完义黎,我覺得這樣的路徑肯定太特殊了,既然涉及到bin豁跑,
    那么一定有一種配置環(huán)境變量的方式廉涕,結果真有??????
vim ~/.bash_profile
          export PATH=$PATH:ChromeDriver目錄(注意,是存放的目錄艇拍,不是這個文件,就是bin的目錄)
          :wq
          source ~/.bash_profile  

簡言之狐蜕,就是在 ~/.bash_profile 文件中加入
export PATH=$PATH:ChromeDriver的bin路徑

  • OK,結束
最后編輯于
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末卸夕,一起剝皮案震驚了整個濱河市层释,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌快集,老刑警劉巖贡羔,帶你破解...
    沈念sama閱讀 222,627評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件廉白,死亡現(xiàn)場離奇詭異,居然都是意外死亡治力,警方通過查閱死者的電腦和手機蒙秒,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,180評論 3 399
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來宵统,“玉大人晕讲,你說我怎么就攤上這事÷沓海” “怎么了瓢省?”我有些...
    開封第一講書人閱讀 169,346評論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長痊班。 經(jīng)常有香客問我勤婚,道長,這世上最難降的妖魔是什么涤伐? 我笑而不...
    開封第一講書人閱讀 60,097評論 1 300
  • 正文 為了忘掉前任馒胆,我火速辦了婚禮,結果婚禮上凝果,老公的妹妹穿的比我還像新娘祝迂。我一直安慰自己,他們只是感情好器净,可當我...
    茶點故事閱讀 69,100評論 6 398
  • 文/花漫 我一把揭開白布型雳。 她就那樣靜靜地躺著,像睡著了一般山害。 火紅的嫁衣襯著肌膚如雪纠俭。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,696評論 1 312
  • 那天浪慌,我揣著相機與錄音冤荆,去河邊找鬼。 笑死权纤,一個胖子當著我的面吹牛钓简,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播妖碉,決...
    沈念sama閱讀 41,165評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼芥被!你這毒婦竟也來了欧宜?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,108評論 0 277
  • 序言:老撾萬榮一對情侶失蹤拴魄,失蹤者是張志新(化名)和其女友劉穎冗茸,沒想到半個月后席镀,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,646評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡夏漱,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,709評論 3 342
  • 正文 我和宋清朗相戀三年豪诲,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片挂绰。...
    茶點故事閱讀 40,861評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡屎篱,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出葵蒂,到底是詐尸還是另有隱情交播,我是刑警寧澤,帶...
    沈念sama閱讀 36,527評論 5 351
  • 正文 年R本政府宣布践付,位于F島的核電站秦士,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏永高。R本人自食惡果不足惜隧土,卻給世界環(huán)境...
    茶點故事閱讀 42,196評論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望命爬。 院中可真熱鬧曹傀,春花似錦、人聲如沸遇骑。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,698評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽落萎。三九已至亥啦,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間练链,已是汗流浹背翔脱。 一陣腳步聲響...
    開封第一講書人閱讀 33,804評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留媒鼓,地道東北人届吁。 一個月前我還...
    沈念sama閱讀 49,287評論 3 379
  • 正文 我出身青樓,卻偏偏與公主長得像绿鸣,于是被迫代替她去往敵國和親疚沐。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,860評論 2 361

推薦閱讀更多精彩內(nèi)容