【Python爬蟲】requests.exceptions.SSLError: HTTPSConnectionPool問題

報錯信息:HTTPSConnectionPool(host='example.com', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLError(1, '[SSL: BAD_ECPOINT] bad ecpoint (_ssl.c:1000)')))

SSLError通常是在使用HTTPS協(xié)議進(jìn)行網(wǎng)絡(luò)請求時遇到的,它表明SSL握手過程中出現(xiàn)了問題部逮。我通過以下的兩個步驟解決SSL錯誤:

  1. 添加自定義User-Agent:

    • 某些服務(wù)器可能會根據(jù)請求的User-Agent來決定是否允許訪問楣责。如果服務(wù)器檢測到請求來自一個未知或不受信任的User-Agent爷贫,它可能會拒絕連接飒赃。通過設(shè)置一個標(biāo)準(zhǔn)的User-Agent匀们,如headers = {'User-Agent': 'Mozilla/5.0 (compatible; YourBot/0.1)'},可以模仿一個常見的瀏覽器或爬蟲洽蛀,從而減少被服務(wù)器拒絕的可能性耙蔑。
  2. 將URL從HTTPS更改為HTTP:

    • HTTPS是HTTP的安全版本见妒,它使用SSL/TLS協(xié)議來加密客戶端和服務(wù)器之間的通信。如果遇到SSL錯誤甸陌,將URL從HTTPS更改為HTTP意味著你放棄了SSL/TLS加密须揣,直接使用不加密的HTTP協(xié)議進(jìn)行通信。這樣做可以避免SSL握手過程中可能出現(xiàn)的問題钱豁,但這會降低數(shù)據(jù)傳輸?shù)陌踩猿芸ǎ驗(yàn)镠TTP不提供加密保護(hù)。

然而牲尺,需要注意的是卵酪,僅僅因?yàn)楦腢RL為HTTP可以避免SSL錯誤,并不意味著這是一個好的解決方案谤碳。使用HTTP而不是HTTPS會使得數(shù)據(jù)傳輸過程中的敏感信息容易受到中間人攻擊溃卡。因此,通常建議尋找其他方法來解決SSL錯誤蜒简,例如更新SSL庫瘸羡、使用正確的證書、或者確保服務(wù)器配置正確搓茬。

如果你正在編寫爬蟲或自動化腳本犹赖,并且遇到SSL錯誤队他,你可能需要檢查以下幾點(diǎn):

  • 確保你的環(huán)境(如Python和requests庫)是最新的。
  • 檢查是否有可用的更新或補(bǔ)丁來解決SSL庫的問題峻村。
  • 確保服務(wù)器的SSL證書是有效的漱挎,并且沒有過期。
  • 如果可能雀哨,嘗試使用不同的User-Agent或添加其他headers來模擬瀏覽器行為。
  • 考慮使用更高級的庫私爷,如urllib3雾棺,它提供了更多的SSL/TLS配置選項(xiàng)。

最后衬浑,如果你正在處理敏感數(shù)據(jù)捌浩,強(qiáng)烈建議不要使用HTTP,而是尋找解決SSL錯誤的方法工秩,以保持通信的安全性尸饺。


其他參考資料如下:
https://blog.csdn.net/graceljh/article/details/100163814
https://baijiahao.baidu.com/s?id=1782774393060717153&wfr=spider&for=pc
http://www.reibang.com/p/3ebe136b6f75

1.安裝三個安裝包

pip install cryptography
pip install pyOpenSSL
pip install certifi

2.導(dǎo)入urllib3包

import urllib3
urllib3.disable_warnings() #這個添加在 requests.get(‘http://xxx.com/’, headers = header, verify=False)上面

https://urllib3.readthedocs.io/en/latest/advanced-usage.html#tls-warnings

3.關(guān)閉證書驗(yàn)證在requests.get加入verify=False

response = requests.get(‘http://xxx.com/’, headers = header, verify=False)

4. 創(chuàng)建不驗(yàn)證服務(wù)器證書的HTTPS上下文

import ssl
import requests

# 創(chuàng)建一個不驗(yàn)證服務(wù)器證書的HTTPS上下文
context = ssl._create_unverified_context()

# 使用上下文發(fā)起HTTPS請求(不安全,不推薦在生產(chǎn)環(huán)境中使用)
response = requests.get('https://example.com', verify=False)

print(response.text)

5.添加User-Agent

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36',
    'Connection':'close'   #沒有影響
}

獲取當(dāng)前瀏覽器訪問某網(wǎng)頁所使用的User-Agent:

  1. 瀏覽器的JavaScript控制臺
  • 打開你想要檢查User-Agent的網(wǎng)頁
  • 按F12鍵或右鍵選擇“檢查”(Inspect)來打開開發(fā)者工具助币。
  • 切換到“控制臺”(Console)標(biāo)簽頁浪听。
  • 在控制臺中輸入以下代碼并按Enter鍵執(zhí)行:
var userAgent = window.navigator.userAgent;
console.log(userAgent);

#執(zhí)行結(jié)果
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36

6.直接將 請求鏈接的 https 改為 http

參考資料:http://www.reibang.com/p/3ebe136b6f75

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市眉菱,隨后出現(xiàn)的幾起案子迹栓,更是在濱河造成了極大的恐慌,老刑警劉巖俭缓,帶你破解...
    沈念sama閱讀 219,188評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件克伊,死亡現(xiàn)場離奇詭異,居然都是意外死亡华坦,警方通過查閱死者的電腦和手機(jī)愿吹,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,464評論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來惜姐,“玉大人犁跪,你說我怎么就攤上這事〈踉” “怎么了耘拇?”我有些...
    開封第一講書人閱讀 165,562評論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長宇攻。 經(jīng)常有香客問我惫叛,道長,這世上最難降的妖魔是什么逞刷? 我笑而不...
    開封第一講書人閱讀 58,893評論 1 295
  • 正文 為了忘掉前任嘉涌,我火速辦了婚禮妻熊,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘仑最。我一直安慰自己扔役,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,917評論 6 392
  • 文/花漫 我一把揭開白布警医。 她就那樣靜靜地躺著亿胸,像睡著了一般。 火紅的嫁衣襯著肌膚如雪预皇。 梳的紋絲不亂的頭發(fā)上侈玄,一...
    開封第一講書人閱讀 51,708評論 1 305
  • 那天,我揣著相機(jī)與錄音吟温,去河邊找鬼序仙。 笑死,一個胖子當(dāng)著我的面吹牛鲁豪,可吹牛的內(nèi)容都是我干的潘悼。 我是一名探鬼主播,決...
    沈念sama閱讀 40,430評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼爬橡,長吁一口氣:“原來是場噩夢啊……” “哼治唤!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起糙申,我...
    開封第一講書人閱讀 39,342評論 0 276
  • 序言:老撾萬榮一對情侶失蹤肝劲,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后郭宝,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體辞槐,經(jīng)...
    沈念sama閱讀 45,801評論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,976評論 3 337
  • 正文 我和宋清朗相戀三年粘室,在試婚紗的時候發(fā)現(xiàn)自己被綠了榄檬。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,115評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡衔统,死狀恐怖鹿榜,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情锦爵,我是刑警寧澤舱殿,帶...
    沈念sama閱讀 35,804評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站险掀,受9級特大地震影響沪袭,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜樟氢,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,458評論 3 331
  • 文/蒙蒙 一冈绊、第九天 我趴在偏房一處隱蔽的房頂上張望侠鳄。 院中可真熱鬧,春花似錦死宣、人聲如沸伟恶。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,008評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽博秫。三九已至,卻和暖如春眶掌,著一層夾襖步出監(jiān)牢的瞬間挡育,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,135評論 1 272
  • 我被黑心中介騙來泰國打工畏线, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人良价。 一個月前我還...
    沈念sama閱讀 48,365評論 3 373
  • 正文 我出身青樓寝殴,卻偏偏與公主長得像,于是被迫代替她去往敵國和親明垢。 傳聞我的和親對象是個殘疾皇子蚣常,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,055評論 2 355

推薦閱讀更多精彩內(nèi)容