python標(biāo)準(zhǔn)庫+內(nèi)置函數(shù)+第三方庫
欲善其事,必先利其器
這其器必是python的標(biāo)準(zhǔn)庫+內(nèi)置函數(shù)兼都,話說許多第三方庫嫂沉, 也是對標(biāo)準(zhǔn)庫的使用,進(jìn)行封裝俯抖,使得使用起來更方便输瓜。
這些庫以使用場景來分類:
一. 文件讀寫
二. 網(wǎng)絡(luò)抓取和解析
三. 數(shù)據(jù)連接
四. 數(shù)清洗轉(zhuǎn)換
五. 數(shù)據(jù)計(jì)算和統(tǒng)計(jì)分析
六. 圖像和視頻處理
七. 音頻處理
八. 數(shù)據(jù)挖掘/機(jī)器學(xué)習(xí)/深度學(xué)習(xí)
九. 數(shù)據(jù)可視化
十. 交互學(xué)習(xí)
十一. 集成開發(fā)
二、網(wǎng)絡(luò)抓取和解析
網(wǎng)絡(luò)抓取和解析用于從互聯(lián)網(wǎng)中抓取信息芬萍,并對HTML對象進(jìn)行處理,有關(guān)xml對象的解析和處理的庫在“01 文件讀寫”中找到搔啊。
# 2.1 requests
# 類型:第三方庫
# 描述:網(wǎng)絡(luò)請求庫柬祠,提供多種網(wǎng)絡(luò)請求方法并可定義復(fù)雜的發(fā)送信息
# 2.2 urllib
# 類型:Python標(biāo)準(zhǔn)庫
# 描述:Python自帶的庫,簡單的讀取特定URL并獲得返回的信息
# 2.3 urllib2
# 類型:Python標(biāo)準(zhǔn)庫
# 描述:Python自帶的庫负芋,讀取特定URL并獲得返回的信息漫蛔,相 對于urllib可處理更多HTTP信息,例如cookie旧蛾、身份驗(yàn)證莽龟、重定向等
# 2.4 urlparse
# 類型:Python標(biāo)準(zhǔn)庫
# 描述:Python自帶的URL解析庫,可自動(dòng)解析URL不同的域锨天、參數(shù)毯盈、路徑等
# 2.5 HTMLParser
# 類型:Python標(biāo)準(zhǔn)庫
# 描述:Python自帶的HTML解析模塊,能夠很容易的實(shí)現(xiàn)HTML文件的分析
# 2.6 Scapy
# 類型:第三方庫
# 描述:分布式爬蟲框架病袄,可用于模擬用戶發(fā)送搂赋、偵聽和解析并偽裝網(wǎng)絡(luò)報(bào)文赘阀,常用于大型網(wǎng)絡(luò)數(shù)據(jù)爬取
# 2.7 Beautiful Soup
# 類型:第三方庫
# 描述:Beautiful Soup是網(wǎng)頁數(shù)據(jù)解析和格式化處理工具,通常配合Python的urllib脑奠、urllib2等庫一起使用