1.requests和beautifulsoup都是庫(kù)趟咆,scrapy是框架
2.scrapy中可以加入requests和beautifulsoup等庫(kù)
3.scrapy基于twisted盹廷,性能比較好祸轮,twisted是異步io框架
4.scrapy方便擴(kuò)展,內(nèi)置了很多功能
5.scrapy內(nèi)置的css和xpath選擇器很方便树瞭,beautifulsoup最大的缺點(diǎn)就是慢
6.網(wǎng)頁(yè)的分類:靜態(tài)網(wǎng)頁(yè)驯妄,動(dòng)態(tài)網(wǎng)頁(yè)帆竹,webservices(restapi)
7.爬蟲(chóng)作用:搜索引擎,推薦引擎亡驰,機(jī)器學(xué)習(xí)的數(shù)據(jù)樣本晓猛,數(shù)據(jù)分析,金融分析凡辱,輿論分析戒职,