需求 :用多協(xié)程爬取薄荷網(wǎng)11個(gè)常見食物分類里的食物信息（包含食物名筹误、熱量埋泵、食物詳情頁面鏈接）。
分析過程:
一.判斷要爬取的內(nèi)容在哪里
![]()
我們能在Response里找到食物的信息，說明我們想要的數(shù)據(jù)存在HTML里撬碟。再看第0個(gè)請(qǐng)求1的Headers，可以發(fā)現(xiàn)薄荷網(wǎng)的網(wǎng)頁請(qǐng)求方式是get莉撇。知道了請(qǐng)求方式是get呢蛤，我們就知道可以用requests.get()獲取數(shù)據(jù)。
二.分析網(wǎng)址結(jié)構(gòu)
1.分析類別不同網(wǎng)址的規(guī)律
先關(guān)閉“檢查”工具棍郎。我們接著來觀察其障，每個(gè)常見食物分類的網(wǎng)址和每一頁食物的網(wǎng)址有何規(guī)律。
果然涂佃，常見食物分類的網(wǎng)址構(gòu)造是有規(guī)律的励翼。前10個(gè)常見食物分類的網(wǎng)址都是：http://www.boohee.com/food/group/+數(shù)字
唯獨(dú)最后一個(gè)常見食物分類【菜肴】的網(wǎng)址與其他不同，是：http://www.boohee.com/food/view_menu
2.分析分頁不同時(shí)網(wǎng)址的規(guī)律
原來?page=數(shù)字真的是代表頁數(shù)的意思辜荠。只要改變page后面的數(shù)字汽抚，就能實(shí)現(xiàn)翻頁。
基于我們上面的觀察伯病，可以得出薄荷網(wǎng)每個(gè)食物類別的每一頁食物記錄的網(wǎng)址規(guī)律——
三.弄清楚HTML的結(jié)構(gòu)
前面我們知道薄荷網(wǎng)的食物熱量的數(shù)據(jù)都存在HTML里造烁，所以等下就可以用BeautifulSoup模塊來解析。
這么看來的話告组，我們用find_all/find就能提取出<li class="item clearfix">…</li>標(biāo)簽下的食物詳情鏈接、名稱和熱量癌佩。
最終代碼為:
from gevent import monkey
monkey.patch_all()
import gevent,requests, bs4, csv
from gevent.queue import Queue
work = Queue()
url_1 = 'http://www.boohee.com/food/group/{type}?page={page}'
for x in range(1, 4):
for y in range(1, 4):
real_url = url_1.format(type=x, page=y)
work.put_nowait(real_url)
url_2 = 'http://www.boohee.com/food/view_menu?page={page}'
for x in range(1,4):
real_url = url_2.format(page=x)
work.put_nowait(real_url)
def crawler():
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'
}
while not work.empty():
url = work.get_nowait()
res = requests.get(url, headers=headers)
bs_res = bs4.BeautifulSoup(res.text, 'html.parser')
foods = bs_res.find_all('li', class_='item clearfix')
for food in foods:
food_name = food.find_all('a')[1]['title']
food_url = 'http://www.boohee.com' + food.find_all('a')[1]['href']
food_calorie = food.find('p').text
writer.writerow([food_name, food_calorie, food_url])
#借助writerow()函數(shù)木缝，把提取到的數(shù)據(jù)：食物名稱、食物熱量围辙、食物詳情鏈接氨肌，寫入csv文件。
print(food_name)
csv_file= open('boohee.csv', 'w', newline='')
#調(diào)用open()函數(shù)打開csv文件酌畜，傳入?yún)?shù)：文件名“boohee.csv”怎囚、寫入模式“w”、newline=''。
writer = csv.writer(csv_file)
# 用csv.writer()函數(shù)創(chuàng)建一個(gè)writer對(duì)象恳守。
writer.writerow(['食物', '熱量', '鏈接'])
#借助writerow()函數(shù)往csv文件里寫入文字：食物考婴、熱量、鏈接
tasks_list = []
for x in range(5):
task = gevent.spawn(crawler)
tasks_list.append(task)
gevent.joinall(tasks_list)
練習(xí) :請(qǐng)使用多協(xié)程和隊(duì)列催烘，爬取時(shí)光網(wǎng)電視劇TOP100的數(shù)據(jù)（劇名沥阱、導(dǎo)演、主演和簡(jiǎn)介）
import gevent,requests,bs4,csv
from gevent.queue import Queue
from gevent import monkey
#monkey.patch_all()
work = Queue()
url = 'http://www.mtime.com/top/tv/top100/index-{page}.html'
work.put_nowait('http://www.mtime.com/top/tv/top100/')
for i in range(2,11):
work.put_nowait(url.format(page=i))
csv_file = open('movies.csv','w',newline="")
writer = csv.writer(csv_file)
writer.writerow(['序號(hào)','劇名','導(dǎo)演','主演','簡(jiǎn)介'])
def crawler():
while not work.empty():
realurl = work.get_nowait()
res = requests.get(realurl)
bf = bs4.BeautifulSoup(res.text,'html.parser')
movesUL = bf.find('ul',id='asyncRatingRegion').find_all('li')
for one in movesUL:
index = one.find('em').text
mov_con = one.find('div',class_='mov_con')
mov_A = mov_con.find_all('a')
if len(mov_A) > 1 :
mov_name = mov_A[0].text
if len(mov_A) > 2 :
mov_director = mov_A[1].text
if len(mov_A) > 3 :
mov_mainactor = mov_A[2].text
mov_detail = one.find('p',class_ = 'mt3')
writer.writerow([index,mov_name,mov_director,mov_mainactor,mov_detail])
taskList =[]
for x in range(2):
task = gevent.spawn(crawler)
taskList.append(task)
gevent.joinall(taskList)
