hui_jz

在爬蟲中果复，我們經(jīng)常遇到這樣的問題筏勒。一是希望抓取過的URL不再重復(fù)抓取乐埠，節(jié)省資源悯嗓；二是希望下載過的數(shù)據(jù)不再重復(fù)下載（一般情況下保證了第一條可以差不多滿足第二條）纺腊。 爬蟲去重一般...