import requests
from bs4 import BeautifulSoup
from lxml import etree
url = "http://www.xicidaili.com/nn/{}"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6"}
# 記錄次數(shù)
http_url = "http://www.baidu.com"
num = 0
# 我們循環(huán)10頁(yè)抓取
for p in range(1, 11):
re = requests.get(url.format(p), headers=headers)
html =etree.HTML(re.content)
all_trs = html.xpath('//table[@id="ip_list"]')[0]
tr_list = all_trs.xpath("http://tr")[1:] # 去掉標(biāo)題
for tr in tr_list:
# 提取ip
ip = tr.xpath('./td[2]/text()')[0]
# 提取端口
port = tr.xpath('./td[3]/text()')[0]
# proxy_info['address'] = tr.xpath('./td[4]/a/text()').extract()[0]
# 提取速度
speed = tr.xpath('./td[7]/div/@title')[0]
speed = (speed.split("秒"))[0] # 從中把數(shù)字?jǐn)?shù)據(jù)提取出來(lái)
# 提取類(lèi)型(http或者h(yuǎn)ttps)
type = tr.xpath('./td[6]/text()')[0]
# 把延遲速度小于2秒的存入數(shù)據(jù)可
if float(speed)<2:
# print("爬取的ip", ip, port, type, speed)
proxy_ip = type+"://"+ip+":"+port
# print(proxy_ip)
try:
proxy_dict = {
type: proxy_ip
}
print("****************")
print(proxy_dict)
print(http_url)
response = requests.get(http_url, proxies=proxy_dict)
print(response)
print("---------------")
except Exception as e:
print("invalid ip and port", ip, port, type, e)
else:
code = response.status_code
if code == 200:
print("有效", ip, port, type)
爬取西刺ip
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門(mén)涂身，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)雄卷，“玉大人，你說(shuō)我怎么就攤上這事蛤售《○模” “怎么了？”我有些...
- 文/不壞的土叔 我叫張陵悴能，是天一觀的道長(zhǎng)揣钦。 經(jīng)常有香客問(wèn)我，道長(zhǎng)漠酿，這世上最難降的妖魔是什么拂盯？ 我笑而不...
- 正文 為了忘掉前任，我火速辦了婚禮记靡，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘团驱。我一直安慰自己摸吠，他們只是感情好，可當(dāng)我...
- 文/花漫 我一把揭開(kāi)白布嚎花。 她就那樣靜靜地躺著寸痢，像睡著了一般。 火紅的嫁衣襯著肌膚如雪紊选。 梳的紋絲不亂的頭發(fā)上啼止，一...
- 那天，我揣著相機(jī)與錄音兵罢，去河邊找鬼献烦。 笑死，一個(gè)胖子當(dāng)著我的面吹牛卖词，可吹牛的內(nèi)容都是我干的巩那。 我是一名探鬼主播，決...
- 文/蒼蘭香墨 我猛地睜開(kāi)眼此蜈，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼即横！你這毒婦竟也來(lái)了？” 一聲冷哼從身側(cè)響起裆赵，我...
- 序言：老撾萬(wàn)榮一對(duì)情侶失蹤东囚，失蹤者是張志新（化名）和其女友劉穎，沒(méi)想到半個(gè)月后战授，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體页藻，經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡桨嫁，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了惕橙。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片瞧甩。...
- 正文 年R本政府宣布朦促，位于F島的核電站，受9級(jí)特大地震影響栓始，放射性物質(zhì)發(fā)生泄漏务冕。R本人自食惡果不足惜，卻給世界環(huán)境...
- 文/蒙蒙 一幻赚、第九天 我趴在偏房一處隱蔽的房頂上張望禀忆。 院中可真熱鬧，春花似錦落恼、人聲如沸箩退。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)戴涝。三九已至，卻和暖如春钻蔑，著一層夾襖步出監(jiān)牢的瞬間啥刻，已是汗流浹背。 一陣腳步聲響...
- 正文 我出身青樓窗怒，卻偏偏與公主長(zhǎng)得像蘑拯，于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子兜粘，可洞房花燭夜當(dāng)晚...
推薦閱讀更多精彩內(nèi)容
- 西刺免費(fèi)代理IP獲取API接口無(wú)法訪問(wèn)孔轴，先嘗試獲取一下ip信息剃法，后續(xù)需要驗(yàn)證下ip可用性，創(chuàng)建自有代理ip池路鹰。
- 經(jīng)過(guò)本人的測(cè)試, 知名的網(wǎng)站基本上都會(huì)封禁西刺代理上的ip,當(dāng)然也不排除有漏網(wǎng)之魚(yú), 如果大家要大量爬取知名網(wǎng)站的...
- 愿你我都能夠 被歲月溫柔對(duì)待 愿你我身邊都有一個(gè)藍(lán)胖子 可以滿足提出的所有要求
