Python庫之網(wǎng)絡(luò)爬蟲
http://www.python-requests.org/
Requests:最友好的網(wǎng)絡(luò)爬蟲功能庫
提供了簡單易用的類HTTP協(xié)議網(wǎng)絡(luò)爬蟲功能,支持連接池贸呢,SSL敞曹、Cookies爷恳、HTTP(S)代理等颤诀。是Python最主要的頁面級(jí)網(wǎng)絡(luò)爬蟲功能庫掂名。
https://scrapy.org
Scrapy:優(yōu)秀的網(wǎng)絡(luò)爬蟲框架辙喂,提供了構(gòu)建網(wǎng)絡(luò)爬蟲系統(tǒng)的框架功能捶牢,功能半成品。支持批量和定時(shí)網(wǎng)頁爬取巍耗,提供數(shù)據(jù)處理流程等秋麸。是Python最主要且最專業(yè)的網(wǎng)絡(luò)爬蟲框架。Python數(shù)據(jù)分析高層次應(yīng)用庫炬太。
http://docs.pyspider.org
pyspider:強(qiáng)大的Web頁面爬取系統(tǒng)灸蟆,提供了完整的網(wǎng)頁爬取系統(tǒng)構(gòu)建功能。支持?jǐn)?shù)據(jù)庫后端亲族、消息隊(duì)列炒考、優(yōu)先級(jí)可缚、分布式架構(gòu)等。Python重要的網(wǎng)絡(luò)爬蟲類第三方庫斋枢。
Python庫之Web信息提取
https://www.crummy.com/software/BeautifulSoup/bs4
Beautiful Soup:HTML和XML的解析庫帘靡,提供了解析HTML和XML等Web信息的功能。又名beautifulsoup4或bs4描姚,可以加載多種解析引擎戈次,常與網(wǎng)絡(luò)爬蟲庫搭配使用,如Scrapy朝扼、requests等霎肯。
https://docs.python.org/3.6/library/re.html
Re:正則表達(dá)式解析和處理功能庫,提供了定義和解析正則表達(dá)式的一批通用功能观游,可用于各類場(chǎng)景搂捧,包括定點(diǎn)的Web信息提取懂缕。Python最主要的標(biāo)準(zhǔn)庫之一,無需安裝聋丝。
Python-Goose:提取文章類型Web頁面的功能庫弱睦,提供了對(duì)Web頁面中文章信息/視頻等元數(shù)據(jù)的提取功能渊额,針對(duì)特定類型Web頁面旬迹,應(yīng)用覆蓋面較廣,Python最主要的Web信息提取庫屹耐。
Python庫之Web網(wǎng)站開發(fā)
https://www.djangoproject.com
Django:最流行的Web應(yīng)用框架张症,提供了構(gòu)建Web系統(tǒng)的基本應(yīng)用框架俗他。MTV模式:模型(model)、模板(Template)地沮、視圖(Views)摩疑。
Python最重要的Web應(yīng)用框架畏铆,略微復(fù)雜的應(yīng)用框架辞居。
https://trypyramid.com/
Pyramid:規(guī)模適中的Web應(yīng)用框架瓦灶,提供了簡單方便構(gòu)建Web系統(tǒng)的應(yīng)用框架,不大不小刃泡,規(guī)模適中烘贴,適合快速構(gòu)建并適度擴(kuò)展類應(yīng)用庙楚,Python產(chǎn)品級(jí)Web應(yīng)用框架趴樱,起步簡單可擴(kuò)展性好叁征。
Python庫之網(wǎng)絡(luò)應(yīng)用開發(fā)
http://flask.pocoo.org
Flask:提供了最簡單構(gòu)建Web系統(tǒng)的應(yīng)用框架捺疼,特點(diǎn)是簡單,規(guī)模小卧秘,快速翅敌。Django>Pyramid>Flask
https://github.com/offu/WeRoBot
WeRoBot:微信公眾號(hào)開發(fā)框架蚯涮,提供了解析微信服務(wù)器消息及反饋消息的功能,建立微信機(jī)器人的重要技術(shù)手段张峰。
https://github.com/Baidu-AIP/python-sdk
aip:百度AI開放平臺(tái)接口喘批,提供了訪問百度AI服務(wù)的Python功能接口铣揉,語音老速、人臉橘券、OCR卿吐、NLP嗡官、知識(shí)圖譜衍腥、圖像搜索等領(lǐng)域婆咸。Python百度AI應(yīng)用的最主要方式。
https://github.com/sylnsfar/qrcode
MyQR:二維碼生成第三方庫块差。提供了生成二維碼的系列功能憨闰,基本二維碼鹉动、藝術(shù)二維碼和動(dòng)態(tài)二維碼。