在學(xué)習(xí)爬蟲的時(shí)候,在IP代理池使用的情況下,總是爬取到一大半的時(shí)候會(huì)彈出“RecursionError”的錯(cuò)誤。經(jīng)過多番資料查找,原因?yàn)椋?strong>python默認(rèn)的遞歸深度是很有限的(默認(rèn)是1000)盏求,因此當(dāng)遞歸深度超過999的樣子,就會(huì)引發(fā)這樣的一個(gè)異常亿眠。
解決方法:將遞歸深度調(diào)高
import sys
sys.setrecursionlimit(100000) #你想設(shè)置的遞歸深度(可為任意值)
有時(shí)候爆出這個(gè)錯(cuò)誤碎罚,不能單單只用這種方法解決,更應(yīng)該注重代碼的優(yōu)化纳像。