轉(zhuǎn)載自http://python.jobbole.com/82633/
這個列表包含與網(wǎng)頁抓取和數(shù)據(jù)處理的Python庫
網(wǎng)絡(luò)
- 通用
- urllib -網(wǎng)絡(luò)庫(stdlib)虹脯。
- requests -網(wǎng)絡(luò)庫。
- grab – 網(wǎng)絡(luò)庫（基于pycurl）盟榴。
- pycurl – 網(wǎng)絡(luò)庫（綁定libcurl）。
- urllib3 – Python HTTP庫痊硕，安全連接池妨托、支持文件post、可用性高劳淆。
- httplib2 – 網(wǎng)絡(luò)庫。
- RoboBrowser – 一個簡單的默赂、極具Python風(fēng)格的Python庫沛鸵，無需獨(dú)立的瀏覽器即可瀏覽網(wǎng)頁。
- MechanicalSoup -一個與網(wǎng)站自動交互Python庫缆八。
- mechanize -有狀態(tài)曲掰、可編程的Web瀏覽庫。
- socket – 底層網(wǎng)絡(luò)接口(stdlib)奈辰。
- Unirest for Python – Unirest是一套可用于多種語言的輕量級的HTTP庫栏妖。
- hyper – Python的HTTP/2客戶端。
- PySocks – SocksiPy更新并積極維護(hù)的版本冯挎，包括錯誤修復(fù)和一些其他的特征。作為socket模塊的直接替換咙鞍。
- 異步
網(wǎng)絡(luò)爬蟲框架
- 功能齊全的爬蟲
- 其他
HTML/XML解析器
- 通用
- lxml – C語言編寫高效HTML/ XML處理庫油航。支持XPath崭庸。
- cssselect – 解析DOM樹和CSS選擇器。
- pyquery – 解析DOM樹和jQuery選擇器谊囚。
- BeautifulSoup – 低效HTML/ XML處理庫怕享，純Python實(shí)現(xiàn)。
- html5lib – 根據(jù)WHATWG規(guī)范生成HTML/ XML文檔的DOM镰踏。該規(guī)范被用在現(xiàn)在所有的瀏覽器上函筋。
- feedparser – 解析RSS/ATOM feeds。
- MarkupSafe – 為XML/HTML/XHTML提供了安全轉(zhuǎn)義的字符串奠伪。
- xmltodict – 一個可以讓你在處理XML時(shí)感覺像在處理JSON一樣的Python模塊跌帐。
- xhtml2pdf – 將HTML/CSS轉(zhuǎn)換為PDF。
- untangle – 輕松實(shí)現(xiàn)將XML文件轉(zhuǎn)換為Python對象芳来。
- 清理
文本處理
用于解析和操作簡單文本的庫即舌。
通用
difflib – （Python標(biāo)準(zhǔn)庫）幫助進(jìn)行差異化比較佣盒。
Levenshtein – 快速計(jì)算Levenshtein距離和字符串相似度。
fuzzywuzzy – 模糊字符串匹配顽聂。
esmre – 正則表達(dá)式加速器肥惭。
ftfy – 自動整理Unicode文本，減少碎片化紊搪。
轉(zhuǎn)換
unidecode – 將Unicode文本轉(zhuǎn)為ASCII蜜葱。
字符編碼
uniout – 打印可讀字符，而不是被轉(zhuǎn)義的字符串耀石。
chardet – 兼容 Python的2/3的字符編碼器牵囤。
xpinyin – 一個將中國漢字轉(zhuǎn)為拼音的庫。
pangu.py – 格式化文本中CJK和字母數(shù)字的間距滞伟。
Slug化
awesome-slugify – 一個可以保留unicode的Python slugify庫揭鳞。
python-slugify – 一個可以將Unicode轉(zhuǎn)為ASCII的Python slugify庫。
unicode-slugify – 一個可以將生成Unicode slugs的工具梆奈。
pytils – 處理俄語字符串的簡單工具（包括pytils.translit.slugify）野崇。
通用解析器
PLY – lex和yacc解析工具的Python實(shí)現(xiàn)。
pyparsing – 一個通用框架的生成語法分析器亩钟。
人的名字
python-nameparser -解析人的名字的組件乓梨。
電話號碼
phonenumbers -解析鳖轰，格式化，存儲和驗(yàn)證國際電話號碼扶镀。
用戶代理字符串
python-user-agents – 瀏覽器用戶代理的解析器蕴侣。
HTTP Agent Parser – Python的HTTP代理分析器。
特定格式文件處理
解析和處理特定文本格式的庫狈惫。
通用
tablib – 一個把數(shù)據(jù)導(dǎo)出為XLS睛蛛、CSV、JSON胧谈、YAML等格式的模塊忆肾。
textract – 從各種文件中提取文本，比如 Word菱肖、PowerPoint客冈、PDF等。
messytables – 解析混亂的表格數(shù)據(jù)的工具稳强。
rows – 一個常用數(shù)據(jù)接口场仲，支持的格式很多（目前支持CSV，HTML退疫，XLS渠缕，TXT – 將來還會提供更多！）褒繁。
Office
python-docx – 讀取亦鳞，查詢和修改的Microsoft Word2007/2008的docx文件。
XlsxWriter – 一個創(chuàng)建Excel.xlsx文件的Python模塊燕差。
xlwings – 一個BSD許可的庫，可以很容易地在Excel中調(diào)用Python坝冕，反之亦然徒探。
openpyxl – 一個用于讀取和寫入的Excel2010 XLSX/ XLSM/ xltx/ XLTM文件的庫。
Marmir – 提取Python數(shù)據(jù)結(jié)構(gòu)并將其轉(zhuǎn)換為電子表格喂窟。
PDF
PDFMiner – 一個從PDF文檔中提取信息的工具测暗。
PyPDF2 – 一個能夠分割、合并和轉(zhuǎn)換PDF頁面的庫磨澡。
ReportLab – 允許快速創(chuàng)建豐富的PDF文檔碗啄。
pdftables – 直接從PDF文件中提取表格。
Markdown
Python-Markdown – 一個用Python實(shí)現(xiàn)的John Gruber的Markdown钱贯。
Mistune – 速度最快挫掏，功能全面的Markdown純Python解析器侦另。
markdown2 – 一個完全用Python實(shí)現(xiàn)的快速的Markdown秩命。
YAML
PyYAML – 一個Python的YAML解析器尉共。
CSS
cssutils – 一個Python的CSS庫。
ATOM/RSS
feedparser – 通用的feed解析器弃锐。
SQL
sqlparse – 一個非驗(yàn)證的SQL語句分析器袄友。
HTTP
HTTP
http-parser – C語言實(shí)現(xiàn)的HTTP請求/響應(yīng)消息解析器。
微格式
opengraph – 一個用來解析Open Graph協(xié)議標(biāo)簽的Python模塊霹菊。
可移植的執(zhí)行體
pefile – 一個多平臺的用于解析和處理可移植執(zhí)行體（即PE）文件的模塊剧蚣。
PSD
psd-tools – 將Adobe Photoshop PSD（即PE）文件讀取到Python數(shù)據(jù)結(jié)構(gòu)。
自然語言處理
處理人類語言問題的庫旋廷。
- NLTK -編寫Python程序來處理人類語言數(shù)據(jù)的最好平臺鸠按。
- Pattern – Python的網(wǎng)絡(luò)挖掘模塊。他有自然語言處理工具饶碘，機(jī)器學(xué)習(xí)以及其它目尖。
- TextBlob – 為深入自然語言處理任務(wù)提供了一致的API。是基于NLTK以及Pattern的巨人之肩上發(fā)展的扎运。
- jieba – 中文分詞工具瑟曲。
- SnowNLP – 中文文本處理庫。
- loso – 另一個中文分詞庫豪治。
- genius – 基于條件隨機(jī)域的中文分詞洞拨。
- langid.py – 獨(dú)立的語言識別系統(tǒng)。
- Korean – 一個韓文形態(tài)庫负拟。
- pymorphy2 – 俄語形態(tài)分析器（詞性標(biāo)注+詞形變化引擎）烦衣。
- PyPLN – 用Python編寫的分布式自然語言處理通道。這個項(xiàng)目的目標(biāo)是創(chuàng)建一種簡單的方法使用NLTK通過網(wǎng)絡(luò)接口處理大語言庫齿椅。
瀏覽器自動化與仿真
- selenium – 自動化真正的瀏覽器（Chrome瀏覽器琉挖，火狐瀏覽器，Opera瀏覽器涣脚，IE瀏覽器）示辈。
- Ghost.py – 對PyQt的webkit的封裝（需要PyQT）。
- Spynner – 對PyQt的webkit的封裝（需要PyQT）遣蚀。
- Splinter – 通用API瀏覽器模擬器（selenium web驅(qū)動矾麻，Django客戶端，Zope）芭梯。
多重處理
- threading – Python標(biāo)準(zhǔn)庫的線程運(yùn)行险耀。對于I/O密集型任務(wù)很有效。對于CPU綁定的任務(wù)沒用玖喘，因?yàn)閜ython GIL甩牺。
- multiprocessing – 標(biāo)準(zhǔn)的Python庫運(yùn)行多進(jìn)程。
- celery – 基于分布式消息傳遞的異步任務(wù)隊(duì)列/作業(yè)隊(duì)列累奈。
- concurrent-futures – concurrent-futures 模塊為調(diào)用異步執(zhí)行提供了一個高層次的接口贬派。
異步
異步網(wǎng)絡(luò)編程庫
- asyncio – （在Python 3.4 +版本以上的 Python標(biāo)準(zhǔn)庫）異步I/O急但，時(shí)間循環(huán)，協(xié)同程序和任務(wù)搞乏。
- Twisted – 基于事件驅(qū)動的網(wǎng)絡(luò)引擎框架波桩。
- Tornado – 一個網(wǎng)絡(luò)框架和異步網(wǎng)絡(luò)庫。
- pulsar – Python事件驅(qū)動的并發(fā)框架请敦。
- diesel – Python的基于綠色事件的I/O框架镐躲。
- gevent – 一個使用greenlet 的基于協(xié)程的Python網(wǎng)絡(luò)庫。
- eventlet – 有WSGI支持的異步框架侍筛。
- Tomorrow – 異步代碼的奇妙的修飾語法萤皂。
隊(duì)列
- celery – 基于分布式消息傳遞的異步任務(wù)隊(duì)列/作業(yè)隊(duì)列。
- huey – 小型多線程任務(wù)隊(duì)列匣椰。
- mrq – Mr. Queue – 使用redis & Gevent 的Python分布式工作任務(wù)隊(duì)列敌蚜。
- RQ – 基于Redis的輕量級任務(wù)隊(duì)列管理器。
- simpleq – 一個簡單的窝爪，可無限擴(kuò)展弛车，基于Amazon SQS的隊(duì)列。
- python-gearman – Gearman的Python API蒲每。
云計(jì)算
- picloud – 云端執(zhí)行Python代碼纷跛。
- dominoup.com – 云端執(zhí)行R，Python和matlab代碼邀杏。
電子郵件
電子郵件解析庫
網(wǎng)址和網(wǎng)絡(luò)地址操作
解析/修改網(wǎng)址和網(wǎng)絡(luò)地址庫望蜡。
-
URL
- furl – 一個小的Python庫唤崭，使得操縱URL簡單化。
- purl – 一個簡單的不可改變的URL以及一個干凈的用于調(diào)試和操作的API脖律。
- urllib.parse – 用于打破統(tǒng)一資源定位器（URL）的字符串在組件（尋址方案谢肾，網(wǎng)絡(luò)位置，路徑等）之間的隔斷小泉，為了結(jié)合組件到一個URL字符串芦疏，并將“相對URL”轉(zhuǎn)化為一個絕對URL，稱之為“基本URL”微姊。
- tldextract – 從URL的注冊域和子域中準(zhǔn)確分離TLD酸茴，使用公共后綴列表。
-
網(wǎng)絡(luò)地址
- netaddr – 用于顯示和操縱網(wǎng)絡(luò)地址的Python庫兢交。
網(wǎng)頁內(nèi)容提取
提取網(wǎng)頁內(nèi)容的庫薪捍。
-
HTML頁面的文本和元數(shù)據(jù)
- newspaper – 用Python進(jìn)行新聞提取、文章提取和內(nèi)容策展。
- html2text – 將HTML轉(zhuǎn)為Markdown格式文本酪穿。
- python-goose – HTML內(nèi)容/文章提取器与倡。
- lassie – 人性化的網(wǎng)頁內(nèi)容檢索工具
- micawber – 一個從網(wǎng)址中提取豐富內(nèi)容的小庫。
- sumy -一個自動匯總文本文件和HTML網(wǎng)頁的模塊
- Haul – 一個可擴(kuò)展的圖像爬蟲昆稿。
- python-readability – arc90 readability工具的快速Python接口。
- scrapely – 從HTML網(wǎng)頁中提取結(jié)構(gòu)化數(shù)據(jù)的庫息拜。給出了一些Web頁面和數(shù)據(jù)提取的示例溉潭，scrapely為所有類似的網(wǎng)頁構(gòu)建一個分析器。
-
視頻
- youtube-dl – 一個從YouTube下載視頻的小命令行程序少欺。
- you-get – Python3的YouTube喳瓣、優(yōu)酷/ Niconico視頻下載器。
-
維基
- WikiTeam – 下載和保存wikis的工具赞别。
WebSocket
用于WebSocket的庫畏陕。
- Crossbar – 開源的應(yīng)用消息傳遞路由器（Python實(shí)現(xiàn)的用于Autobahn的WebSocket和WAMP）。
- AutobahnPython – 提供了WebSocket協(xié)議和WAMP協(xié)議的Python實(shí)現(xiàn)并且開源仿滔。
- WebSocket-for-Python – Python 2和3以及PyPy的WebSocket客戶端和服務(wù)器庫惠毁。
DNS解析
計(jì)算機(jī)視覺
- OpenCV – 開源計(jì)算機(jī)視覺庫。
- SimpleCV – 用于照相機(jī)飒焦、圖像處理蜈膨、特征提取、格式轉(zhuǎn)換的簡介牺荠，可讀性強(qiáng)的接口（基于OpenCV）翁巍。
- mahotas – 快速計(jì)算機(jī)圖像處理算法（完全使用 C++ 實(shí)現(xiàn)），完全基于 numpy 的數(shù)組作為它的數(shù)據(jù)類型休雌。
代理服務(wù)器
- tproxy – tproxy是一個簡單的TCP路由代理（第7層）灶壶，基于Gevent，用Python進(jìn)行配置杈曲。
