若是訪問的網(wǎng)址不在域名限制里面续挟,會被過濾掉紧卒,兩種處理方式:
第一種:
???把域名加到域名限制里面
第二種:
???域名限制里面什么都不寫,表示都可以
發(fā)送post請求
scrapy.FormRequest(url=url,callback=處理函數(shù),formdata=formdata)
注意:如果不重寫start_request()方法诗祸,scrapy默認(rèn)發(fā)送的是get方法跑芳,無論是什么請求,scrapy是先發(fā)get請求,如果想一上來就發(fā)post請求直颅,需要重寫start_request()方法
def start_request(self):
post_url = '起始網(wǎng)址'博个;
注意:將start_url起始url注釋掉