最近突然有所松懈市框，突然間變得好累霞扬。早上起不來(lái)，上午沒(méi)精神枫振，下午沒(méi)體力喻圃，晚上沒(méi)效率。學(xué)習(xí)的動(dòng)力似乎突然消失蒋得。我怎么了级及？
似乎是休息方面除了問(wèn)題，持續(xù)一個(gè)多月的學(xué)習(xí)额衙，沒(méi)有運(yùn)動(dòng)過(guò)，更別說(shuō)出去走走怕吴，散散心窍侧。好不容易來(lái)的清明假期，也沒(méi)有出去玩转绷，我似乎失去了活力伟件、激情。記得當(dāng)年學(xué)習(xí)時(shí)除了精力不允許時(shí)议经，我總是很活躍斧账，上了大學(xué)以后不知怎么了，失去了活力煞肾，失去了激情咧织，失去了那種沖動(dòng)。很懷念那個(gè)想什么做什么的我籍救。
不說(shuō)了习绢，進(jìn)入正題。接著昨天的文蝙昙，今天寫(xiě)獲取模塊闪萄，從各大網(wǎng)站上獲取代理。
我選了代理66奇颠、快代理败去、旗云代理這三個(gè)代理網(wǎng)站，作為代理的來(lái)源烈拒。
這次我跟著書(shū)上做的圆裕，遇到了點(diǎn)問(wèn)題三椿。由于我基礎(chǔ)不太好，對(duì)與面對(duì)對(duì)象編程的掌握不到位葫辐，并不能理解抽象基類(lèi)的使用搜锰。總之先給代碼：
from pyquery import PyQuery as pq
import requests
class ProxyMetaclass(type):
"""定義一個(gè)抽象基類(lèi)耿战，來(lái)獲取以crawler_開(kāi)頭的方法"""
def __new__(cls, name, bases, attrs):
count = 0
attrs['__CrawlFunc__'] = []
for k, v in attrs.items():
if 'crawl_' in k:
attrs['__CrawlFunc__'].append(k)
count +=1
attrs['__CrawlFuncCount__'] = count
return type.__new__(cls, name, bases, attrs)
class Crawler(object, metaclass=ProxyMetaclass):
"""從各大網(wǎng)站提取代理"""
def get_proxies(self, callback):
"""獲取代理
:param callback: 調(diào)用的方法名稱(chēng)
:return: 返回得到的代理列表"""
proxies = []
for proxy in eval("self.{}()").format(callback):
print('成功獲取到代理', proxy)
proxies.append(proxy)
return proxies
def crawl_daili66(self, page_count=4):
"""從代理66上獲取代理
:param page_count:頁(yè)碼
:return: 代理"""
start_url = 'http://www.66ip.cn/{}.html'
urls = [start_url.format(page) for page in range(1, page_count + 1)]
for url in urls:
print('Crawling', url)
html = requests.get(url)
if html:
doc = pq(html.text)
trs = doc('.containerbox table tr:gt(0)').items()
for tr in trs:
ip = tr.find('td:nth-child(1)').text()
port = tr.find('td:nth-child(2)').text()
yield ':'.join([ip, port])
def crawl_kuaidaili(self,page_count=4):
"""從快代理上獲取代理
:param page_count:頁(yè)碼
:return: 代理"""
start_url = 'https://www.kuaidaili.com/free/inha/{}/'
urls = [start_url.format(page) for page in range(1, page_count + 1)]
for url in urls:
print('Crawling', url)
html = requests.get(url)
if html.status_code == 200:
doc = pq(html.text)
trs = doc('tbody tr')
for tr in trs:
ip = tr.find('td:nth-child(1)').text()
port = tr.find('td:nth-child(2)').text()
yield ':'.join([ip, port])
def crawl_qiyundaili(self, page_count=4):
"""從旗云代理上獲取代理
:param page_count:頁(yè)碼
:return: 代理"""
start_url = 'http://www.qydaili.com/free/?action=china&page={}'
urls = [start_url.format(page) for page in range(1, page_count + 1)]
for url in urls:
print('Crawling', url)
html = requests.get(url)
if html.status_code == 200:
doc = pq(html.text)
trs = doc('tbody tr').items()
for tr in trs:
ip = tr.find('td:nth-child(1)').text()
port = tr.find('td:nth-child(2)').text()
yield ':'.join([ip, port])
首先我定義了一個(gè)ProxyMetaclass的元類(lèi)蛋叼，也就是抽象基類(lèi)。這是為了獲取所有以‘crawl_’開(kāi)頭的方法定義的剂陡，雖然我現(xiàn)在看不懂狈涮，但是書(shū)上這么說(shuō)的。
先過(guò)這里鸭栖，下面的三個(gè)方法就是我們獲取代理的函數(shù)歌馍。我就不講了，太簡(jiǎn)單了晕鹊。三個(gè)頁(yè)面源碼差不多松却。唯一注意的地方，就是你用的requests還是urllib溅话，這兩個(gè)源碼的烈性不一樣晓锻，一個(gè)要調(diào)用text屬性，一個(gè)要調(diào)用read()方法飞几。還有就是pyquery的使用砚哆，說(shuō)實(shí)話很好用。我覺(jué)的比beautifulsoup好使屑墨。
現(xiàn)在不知道怎么了躁锁，寫(xiě)完了這個(gè)水之又水的文，我就不想學(xué)了卵史，想睡了战转。不行啊!!!
昨天投了6份簡(jiǎn)歷，只有一份被查看了程腹。匣吊。。寸潦。然后就沒(méi)然后了色鸳。。见转。命雀。。還是學(xué)的不夠好斩箫，簡(jiǎn)歷也不夠吸引人吏砂。
我發(fā)現(xiàn)所有的書(shū)撵儿，越寫(xiě)越爛，我看書(shū)也是越來(lái)越?jīng)]動(dòng)力狐血。
