CentOS 6.x 搭建:Headless Chrome + ChromeDriver + Selenium基于瀏覽器的爬蟲環(huán)境掀宋，要放棄還是重裝系統(tǒng)

【轉載請注明出處】：https://blog.csdn.net/huahao1989/article/details/107890747

Chrome官方網站已經說的很清楚窖梁，不再支持6.x的CentOS恐锣，至少7以上。可是很多時候我們使用的服務器版本并不能隨便升級部念，即便已經很難受了弃酌，但是還得繼續(xù)使用低版本，裝起來那是真叫一個費勁印机，還好就是費勁一些矢腻，最終還是可以裝成功的。

什么是 Headless Chrome

Headless Chrome 是 Chrome 瀏覽器的無界面形態(tài)射赛，可以在不打開瀏覽器的前提下多柑，使用所有 Chrome 支持的特性運行你的程序疤孕。相比于現代瀏覽器耕魄，Headless Chrome 更加方便測試 web 應用零酪，獲得網站的截圖奋刽，做爬蟲抓取信息等驹碍。相比于出道較早的 PhantomJS茫藏，SlimerJS 等碴裙，Headless Chrome 則更加貼近瀏覽器環(huán)境稠炬。

CentOS版本

lsb_release -a

image.png

安裝selenium

安裝 Python 并配置好環(huán)境變量
shell輸入：python -V 出現對應版本號即安裝成功坎弯！
安裝 pip
python默認自帶 pip 在安裝目錄的scripts目錄下，自行配置至環(huán)境變量即可，配置好后shell輸入：pip -V 出現對應版本號即安裝成功荞怒！
安裝 selenium
shell輸入：pip install selenium 提示：Successfully installed selenium-即安裝成功！

python
>>>from selenium import webdriver
>>>driver = webdriver.Chrome()
>>>driver.get('https://www.baidu.com')

已經可以了秧秉，正常寫python腳本即可褐桌。

搭建環(huán)境時遇到的問題

1、/lib64/libc.so.6: version `GLIBC_2.14' not found (required by ./chromedriver)

#查看系統(tǒng)版本
cat /etc/redhat-release 
#查看glibc支持的版本
strings /lib64/libc.so.6 |grep GLIBC_

wget http://ftp.gnu.org/gnu/glibc/glibc-2.14.tar.gz 
wget http://ftp.gnu.org/gnu/glibc/glibc-ports-2.14.tar.gz 
tar -xvf  glibc-2.14.tar.gz 
tar -xvf  glibc-ports-2.14.tar.gz
mv glibc-ports-2.14 glibc-2.14/ports
mkdir glibc-2.14/build
cd glibc-2.14/build 
../configure  --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
make
make install

安裝編譯過程中需要注意三點：

要將glibc-ports解壓到glibc目錄下
不能在glibc當前目錄下運行configure
加上優(yōu)化開關象迎，export CFLAGS="-g -O2 -march=i486"荧嵌，否則會出現錯誤
在make install過程中可能會出現 nss_test1加載不了的情況，此時可以將加載libnss_test1.so.2的地方注釋掉砾淌，用grep "nss_test1" . -nr命令在 /glibc目錄下查找一下啦撮，加載的地方也不多（這只是一個測試nss的靜態(tài)庫，可以不要）

2汪厨、/lib64/libc.so.6: version `GLIBC_2.16' not found (required by ./chromedriver)

wget http://ftp.gnu.org/gnu/glibc/glibc-2.16.0.tar.gz 
wget http://ftp.gnu.org/gnu/glibc/glibc-ports-2.16.0.tar.gz 
tar -xvf  glibc-2.16.0.tar.gz 
tar -xvf  glibc-ports-2.16.0.tar.gz
mv glibc-ports-2.16.0 glibc-2.16.0/ports
mkdir glibc-2.16.0/build
cd glibc-2.16.0/build 
../configure  --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
make
make install

報錯

Unmatched ( in regex; marked by  HERE in m/$( <-- HERE if $(abi-64-ld-soname),$(abi-64-ld-soname),ld/ at scripts/test-installation.pl line

可以參考解決辦法https://sourceware.org/bugzilla/attachment.cgi?id=6616&action=diff

glibc-2.16.0/Makefile

ifeq (,$(install_root))
      CC="$(CC)" $(PERL) scripts/test-installation.pl $(common-objpfx)
endif

改成

ifeq (,$(install_root))
     LD_SO=$(ld.so-version) CC="$(CC)" $(PERL) scripts/test-installation.pl $(common-objpfx)
endif

glibc-2.16.0/scripts/test-installation.pl

sub usage {
    print "Usage: test-installation [soversions.mk]\n";

上面添加

if ($ENV{LD_SO}) {
  $LD_SO = $ENV{LD_SO};
} else {
  $LD_SO= "";
}

sub usage {
    print "Usage: test-installation [soversions.mk]\n";

在

} else {
  if (/^ld\.so/) {
     ($ld_so_name, $ld_so_version)= /=(.*)\.so\.(.*)$/;

上面添加

} elsif ($LD_SO ne "") {
    ($ld_so_name, $ld_so_version) = split ('\.so\.', $LD_SO);
} else {
  if (/^ld\.so/) {
     ($ld_so_name, $ld_so_version)= /=(.*)\.so\.(.*)$/;

歡迎關注 “后端老鳥” 公眾號赃春，接下來會發(fā)一系列的專題文章，包括Java劫乱、Python织中、Linux、SpringBoot衷戈、SpringCloud狭吼、Dubbo、算法殖妇、技術團隊的管理等刁笙，還有各種腦圖和學習資料，NFC技術谦趣、搜索技術疲吸、爬蟲技術、推薦技術蔚润、音視頻互動直播等，只要有時間我就會整理分享烦租，敬請期待叉橱，現成的筆記、腦圖和學習資料如果大家有需求也可以公眾號留言提前獲取粪小。由于本人在所有團隊中基本都處于攻堅和探路的角色杠愧，搞過的東西多流济，遇到的坑多绳瘟，解決的問題也很多糖声，歡迎大家加公眾號進群一起交流學習。

【轉載請注明出處】：https://blog.csdn.net/huahao1989/article/details/107890747

image

CentOS 6.x 搭建:Headless Chrome + ChromeDriver + Selenium基于瀏覽器的爬蟲環(huán)境屈藐，要放棄還是重裝系統(tǒng)

CentOS 6.x 搭建:Headless Chrome + ChromeDriver + Selenium基于瀏覽器的爬蟲環(huán)境，要放棄還是重裝系統(tǒng)

什么是 Headless Chrome

CentOS版本

最新版本Google-Chrome安裝

指定yum源

安裝google-chrome

運行chrome

最新版本Chromedriver安裝

安裝selenium

搭建環(huán)境時遇到的問題