#斷點續(xù)傳功能平窘，來自周作業(yè)的main函數(shù)
from multiprocessing import Pool
from Gchannel_extract import All_channnel_links
from Gpage_parsing import get_detailinfo, getdetail_links, detail_info, detail_urls
def get_all_links(channel):
for i in range(1, 100):
getdetail_links(channel, i)
if __name__ == '__main__':
pool = Pool()
pool.map(get_all_links, All_channnel_links.split())
#斷點續(xù)傳功能
db_urls = [item['url'] for item in detail_urls.find()]
index_urls = [item['url'] for item in detail_info.find()]
x = set(db_urls)
y = set(index_urls)
rest_urls = x - y
pool.map(get_detailinfo, rest_urls)
第二周第三課時
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
- 文/潘曉璐 我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來匾旭，“玉大人镣屹，你說我怎么就攤上這事〖劾裕” “怎么了女蜈？”我有些...
- 文/不壞的土叔 我叫張陵，是天一觀的道長。 經(jīng)常有香客問我伪窖，道長逸寓，這世上最難降的妖魔是什么？ 我笑而不...
- 正文 為了忘掉前任覆山，我火速辦了婚禮竹伸，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘簇宽。我一直安慰自己勋篓，他們只是感情好，可當(dāng)我...
- 文/花漫 我一把揭開白布魏割。 她就那樣靜靜地躺著譬嚣，像睡著了一般。 火紅的嫁衣襯著肌膚如雪钞它。 梳的紋絲不亂的頭發(fā)上拜银，一...
- 文/蒼蘭香墨 我猛地睜開眼卵酪，長吁一口氣：“原來是場噩夢啊……” “哼幌蚊！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起溃卡，我...
- 正文 年R本政府宣布窜锯，位于F島的核電站，受9級特大地震影響芭析，放射性物質(zhì)發(fā)生泄漏锚扎。R本人自食惡果不足惜，卻給世界環(huán)境...
- 文/蒙蒙 一馁启、第九天 我趴在偏房一處隱蔽的房頂上張望驾孔。 院中可真熱鬧，春花似錦进统、人聲如沸。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至迹栓，卻和暖如春掉分，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背克伊。 一陣腳步聲響...
推薦閱讀更多精彩內(nèi)容
- 【蝴蝶效應(yīng)】 蝴蝶效應(yīng):上個世紀70年代寝优，美國一個名叫洛倫茲的氣象學(xué)家在解釋空氣系統(tǒng)理論時說，亞馬遜雨林一只蝴蝶...
- 上一節(jié) 《殺死愛情》目錄 下一節(jié) 稻香樓，學(xué)校食堂這名字起的還真是貼切迁杨。 “笑什么呢钻心？”梁鴻鵠剛放學(xué)過來，一眼就看...
- 什么是WebCron 基于linux crontab铅协，使用django框架扔役，擁有有圖形界面管理、分發(fā)功能警医∫谛兀可對計劃...
