[Python]從Web解析到網(wǎng)絡(luò)空間(一些第三方庫的簡要介紹))

Python庫之網(wǎng)絡(luò)爬蟲

http://www.python-requests.org/
Requests:最友好的網(wǎng)絡(luò)爬蟲功能庫
提供了簡單易用的類HTTP協(xié)議網(wǎng)絡(luò)爬蟲功能,支持連接池贸呢,SSL敞曹、Cookies爷恳、HTTP(S)代理等颤诀。是Python最主要的頁面級(jí)網(wǎng)絡(luò)爬蟲功能庫掂名。

https://scrapy.org
Scrapy:優(yōu)秀的網(wǎng)絡(luò)爬蟲框架辙喂,提供了構(gòu)建網(wǎng)絡(luò)爬蟲系統(tǒng)的框架功能捶牢,功能半成品。支持批量和定時(shí)網(wǎng)頁爬取巍耗,提供數(shù)據(jù)處理流程等秋麸。是Python最主要且最專業(yè)的網(wǎng)絡(luò)爬蟲框架。Python數(shù)據(jù)分析高層次應(yīng)用庫炬太。

http://docs.pyspider.org
pyspider:強(qiáng)大的Web頁面爬取系統(tǒng)灸蟆,提供了完整的網(wǎng)頁爬取系統(tǒng)構(gòu)建功能。支持?jǐn)?shù)據(jù)庫后端亲族、消息隊(duì)列炒考、優(yōu)先級(jí)可缚、分布式架構(gòu)等。Python重要的網(wǎng)絡(luò)爬蟲類第三方庫斋枢。

Python庫之Web信息提取

https://www.crummy.com/software/BeautifulSoup/bs4
Beautiful Soup:HTML和XML的解析庫帘靡,提供了解析HTML和XML等Web信息的功能。又名beautifulsoup4或bs4描姚,可以加載多種解析引擎戈次,常與網(wǎng)絡(luò)爬蟲庫搭配使用,如Scrapy朝扼、requests等霎肯。

https://docs.python.org/3.6/library/re.html
Re:正則表達(dá)式解析和處理功能庫,提供了定義和解析正則表達(dá)式的一批通用功能观游,可用于各類場(chǎng)景搂捧,包括定點(diǎn)的Web信息提取懂缕。Python最主要的標(biāo)準(zhǔn)庫之一,無需安裝聋丝。

Python-Goose:提取文章類型Web頁面的功能庫弱睦,提供了對(duì)Web頁面中文章信息/視頻等元數(shù)據(jù)的提取功能渊额,針對(duì)特定類型Web頁面旬迹,應(yīng)用覆蓋面較廣,Python最主要的Web信息提取庫屹耐。

Python庫之Web網(wǎng)站開發(fā)

https://www.djangoproject.com
Django:最流行的Web應(yīng)用框架张症,提供了構(gòu)建Web系統(tǒng)的基本應(yīng)用框架俗他。MTV模式:模型(model)、模板(Template)地沮、視圖(Views)摩疑。
Python最重要的Web應(yīng)用框架畏铆,略微復(fù)雜的應(yīng)用框架辞居。

https://trypyramid.com/
Pyramid:規(guī)模適中的Web應(yīng)用框架瓦灶,提供了簡單方便構(gòu)建Web系統(tǒng)的應(yīng)用框架,不大不小刃泡,規(guī)模適中烘贴,適合快速構(gòu)建并適度擴(kuò)展類應(yīng)用庙楚,Python產(chǎn)品級(jí)Web應(yīng)用框架趴樱,起步簡單可擴(kuò)展性好叁征。

Python庫之網(wǎng)絡(luò)應(yīng)用開發(fā)

http://flask.pocoo.org
Flask:提供了最簡單構(gòu)建Web系統(tǒng)的應(yīng)用框架捺疼,特點(diǎn)是簡單,規(guī)模小卧秘,快速翅敌。Django>Pyramid>Flask

https://github.com/offu/WeRoBot
WeRoBot:微信公眾號(hào)開發(fā)框架蚯涮,提供了解析微信服務(wù)器消息及反饋消息的功能,建立微信機(jī)器人的重要技術(shù)手段张峰。

https://github.com/Baidu-AIP/python-sdk
aip:百度AI開放平臺(tái)接口喘批,提供了訪問百度AI服務(wù)的Python功能接口铣揉,語音老速、人臉橘券、OCR卿吐、NLP嗡官、知識(shí)圖譜衍腥、圖像搜索等領(lǐng)域婆咸。Python百度AI應(yīng)用的最主要方式。

https://github.com/sylnsfar/qrcode
MyQR:二維碼生成第三方庫块差。提供了生成二維碼的系列功能憨闰,基本二維碼鹉动、藝術(shù)二維碼和動(dòng)態(tài)二維碼。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市属百,隨后出現(xiàn)的幾起案子变姨,更是在濱河造成了極大的恐慌定欧,老刑警劉巖砍鸠,帶你破解...
    沈念sama閱讀 222,681評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件爷辱,死亡現(xiàn)場(chǎng)離奇詭異饭弓,居然都是意外死亡弟断,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,205評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來矩父,“玉大人窍株,你說我怎么就攤上這事『舐悖” “怎么了微驶?”我有些...
    開封第一講書人閱讀 169,421評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵因苹,是天一觀的道長扶檐。 經(jīng)常有香客問我款筑,道長腾么,這世上最難降的妖魔是什么解虱? 我笑而不...
    開封第一講書人閱讀 60,114評(píng)論 1 300
  • 正文 為了忘掉前任于宙,我火速辦了婚禮艰匙,結(jié)果婚禮上员凝,老公的妹妹穿的比我還像新娘健霹。我一直安慰自己瓶蚂,他們只是感情好窃这,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,116評(píng)論 6 398
  • 文/花漫 我一把揭開白布祟敛。 她就那樣靜靜地躺著,像睡著了一般跑揉。 火紅的嫁衣襯著肌膚如雪历谍。 梳的紋絲不亂的頭發(fā)上望侈,一...
    開封第一講書人閱讀 52,713評(píng)論 1 312
  • 那天甜无,我揣著相機(jī)與錄音岂丘,去河邊找鬼奥帘。 笑死仪召,一個(gè)胖子當(dāng)著我的面吹牛扔茅,可吹牛的內(nèi)容都是我干的召娜。 我是一名探鬼主播玖瘸,決...
    沈念sama閱讀 41,170評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼雅倒,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼蔑匣!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起氧秘,我...
    開封第一講書人閱讀 40,116評(píng)論 0 277
  • 序言:老撾萬榮一對(duì)情侶失蹤搔确,失蹤者是張志新(化名)和其女友劉穎膳算,沒想到半個(gè)月后弛作,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體映琳,經(jīng)...
    沈念sama閱讀 46,651評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡有鹿,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,714評(píng)論 3 342
  • 正文 我和宋清朗相戀三年葱跋,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了娱俺。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片荠卷。...
    茶點(diǎn)故事閱讀 40,865評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡油宜,死狀恐怖验庙,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情搏恤,我是刑警寧澤,帶...
    沈念sama閱讀 36,527評(píng)論 5 351
  • 正文 年R本政府宣布,位于F島的核電站掂咒,受9級(jí)特大地震影響迈喉,放射性物質(zhì)發(fā)生泄漏挨摸。R本人自食惡果不足惜得运,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,211評(píng)論 3 336
  • 文/蒙蒙 一熔掺、第九天 我趴在偏房一處隱蔽的房頂上張望瞬女。 院中可真熱鬧诽偷,春花似錦、人聲如沸深浮。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,699評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽忿等。三九已至贸街,卻和暖如春薛匪,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背古沥。 一陣腳步聲響...
    開封第一講書人閱讀 33,814評(píng)論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留纯衍,地道東北人苗胀。 一個(gè)月前我還...
    沈念sama閱讀 49,299評(píng)論 3 379
  • 正文 我出身青樓歌亲,卻偏偏與公主長得像澜驮,于是被迫代替她去往敵國和親杂穷。 傳聞我的和親對(duì)象是個(gè)殘疾皇子耐量,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,870評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容

  • # Python 資源大全中文版 我想很多程序員應(yīng)該記得 GitHub 上有一個(gè) Awesome - XXX 系列...
    小邁克閱讀 3,001評(píng)論 1 3
  • 《”俠”》 把昨日從視線中抹去……
    小莊主人閱讀 347評(píng)論 2 0
  • (1)什么時(shí)候使用ViewStub山叮?為什么使用ViewStub?當(dāng)我們需要根據(jù)某個(gè)條件控制某個(gè)View的顯示或者隱...
    大灰狼zz閱讀 184評(píng)論 0 0
  • 老舍說:人即使活到七八十歲屁倔,只要母親在,就多少可以有點(diǎn)孩子氣。沒錯(cuò)的口叙,在從黃土地上走來的母親大人面前嗅战,從小到大對(duì)她...
    金指尖的花園閱讀 318評(píng)論 0 3
  • 凡塵世外望靜陽疟呐, 一日嬌艷色滿堂东且。 離缺東南西北風(fēng)珊泳, 偏安一隅獨(dú)自芳色查。
    劉子震厚德載物閱讀 543評(píng)論 4 11