傳送門：
- Python數(shù)據(jù)科學(xué)（一）- python與數(shù)據(jù)科學(xué)應(yīng)用(Ⅰ)
- Python數(shù)據(jù)科學(xué)（二）- python與數(shù)據(jù)科學(xué)應(yīng)用(Ⅱ)
- Python數(shù)據(jù)科學(xué)（三）- python與數(shù)據(jù)科學(xué)應(yīng)用(Ⅲ)
- Python數(shù)據(jù)科學(xué)（四）- 數(shù)據(jù)收集系列
- Python數(shù)據(jù)科學(xué)（五）- 數(shù)據(jù)處理和數(shù)據(jù)采集
- Python數(shù)據(jù)科學(xué)（六）- 資料清理(Ⅰ)
- Python數(shù)據(jù)科學(xué)（七）- 資料清理(Ⅱ)
- Python數(shù)據(jù)科學(xué)（八）- 資料探索與資料視覺化
- Python數(shù)據(jù)科學(xué)（九）- 使用Pandas繪制統(tǒng)計(jì)圖表
1.資料轉(zhuǎn)換
1.套用向量化計(jì)算（例子依然使用我們采集的房天下的數(shù)據(jù)）
- 計(jì)算新價(jià)格
df['總價(jià)'] * 1000
- 使用 Numpy計(jì)算新的價(jià)格
np.sqrt() 代表開根號(hào)
import numpy as np
np.sqrt(df['總價(jià)'])
- 合并兩字符串
df['朝向'] + df['戶型']
- 將新計(jì)算的均價(jià)存入DataFrame
df['均價(jià)'] = df['總價(jià)'] * 1000 / df['建筑面積']
2.定義函數(shù)進(jìn)行套用
- map：將函數(shù)套用到Series 上的每個(gè)元素
eg. 移除物業(yè)費(fèi)中的元
def removeDollar(e):
return e.split('元')[0]
df['物業(yè)費(fèi)'].map(removeDollar)
eg. 使用匿名函式
df['物業(yè)費(fèi)'].map(lambda e: e.split('元')[0])
- Apply：將函數(shù)套用到DataFrame 上的行與列
eg:
df = pandas.DataFrame([
[60,70,50],\
[80,79,68],\
[63,66,82]], columns = ['First', 'Second', 'Third']
)
# 以列進(jìn)行計(jì)算
df.apply(lambda e: e.max() - e.min())
# 以行進(jìn)行計(jì)算
df.apply(lambda e: e.max() - e.min(), axis = 1)
- ApplyMap：將函式套用到DataFrame上的每個(gè)元素(elementwise)
將所有暫無資料的元素替代成缺失值(NaN)
import numpy as np
df.applymap(lambda e :np.nan if e == '暫無資料' else e)
2.處理時(shí)間格式資料
- 打印出現(xiàn)在的時(shí)間
from datetime import datetime
current_time = datetime.now()
- 將時(shí)間轉(zhuǎn)換成字符串
current_time.strftime('%Y-%m-%d')
- 將字符串轉(zhuǎn)化為時(shí)間
datetime.strptime('2017-04-21', '%Y-%m-%d')
- 時(shí)間回溯
from datetime import timedelta
current_time - timedelta(days = 1)
- 往前回溯10天(這里的適用場景是想取得過去10天的資訊)
for i in range(1, 10):
dt = currnet_time - timedelta(days = i)
print(dt.strftime('%Y-%m-%d'))
注意：這里的時(shí)間轉(zhuǎn)換后的格式可以根據(jù)需要設(shè)定邓梅，eg：dt.strftime('%Y/%m/%d')
3.轉(zhuǎn)換UNIX時(shí)間始花，即從1970年1月1日到現(xiàn)在過了多少秒
- 將datetime轉(zhuǎn)換為UNIX timestamp
from time import mktime
mktime(current_time.timetuple())
- 將UNIX timestamp 轉(zhuǎn)換為datetime
datetime.fromtimestamp(1492859823)
4.在pandas轉(zhuǎn)換時(shí)間
-
轉(zhuǎn)換前
import pandas
df = pandas.read_excel('data/house_sample.xlsx')
df['張貼日期'] = pandas.to_datetime(df['張貼日期'], format = '西元%Y年%m月%d日')
-
轉(zhuǎn)換后
3.重塑資料
1.虛擬變量(Dummy Variable)
百度百科：虛擬變量 ( Dummy Variables) 又稱虛設(shè)變量嫌拣、名義變量或啞變量桦卒，用以反映質(zhì)的屬性的一個(gè)人工變量马昨，是量化了的自變量，通常取值為0或1饺窿。引入啞變量可使線形回歸模型變得更復(fù)雜穿撮，但對問題描述更簡明哀托，一個(gè)方程能達(dá)到兩個(gè)方程的作用惦辛，而且接近現(xiàn)實(shí)。
eg：如下表中的朝向就可以建立一個(gè)虛擬變量
- 建立虛擬變量
pandas.get_dummies(df['朝向'])
- 合并虛擬變量與原DataFrame
df = pandas.concat([df, pandas.get_dummies(df['朝向'])], axis = 1)
- 舍棄原有字段
df.drop('朝向', axis = 1)
2.建立透視表(pivot_table)
df2 = df.pivot_table(index = '張貼日期', columns = '產(chǎn)權(quán)性質(zhì)', values = '總價(jià)', aggfunc = sum, fill_value = 0)
# fill_value = 0 指代的是把NaN替換成0
df2.head()
沒加fill_value = 0的結(jié)果
加過fill_value = 0的結(jié)果
df3 = df.pivot_table(index = '產(chǎn)權(quán)性質(zhì)', columns = '張貼日期', values = '總價(jià)', aggfunc = sum)
df3.head()
另外仓手，兩者進(jìn)行轉(zhuǎn)換的話也可以直接通過
df2.T做轉(zhuǎn)換胖齐。
3.長寬表格的轉(zhuǎn)換(stack & unstack)
- 建立多索引的透視表
df_multi_idx = df.pivot_table(index=['樓層', '裝修'],columns='張貼日期', values='總價(jià)', aggfunc=sum)
- 轉(zhuǎn)換為寬表格
df_wide = df_multi_idx.unstack()
df_wide.head()
- 轉(zhuǎn)換為長表格
df_long = df_wide.stack()
df_long.head()
4.學(xué)習(xí)正則表達(dá)式
1.正則表達(dá)式概述
正則表達(dá)式玻淑，又稱正規(guī)表示式、正規(guī)表示法呀伙、正規(guī)表達(dá)式补履、規(guī)則表達(dá)式、常規(guī)表示法（英語：Regular Expression剿另，在代碼中常簡寫為regex干像、regexp或RE），是計(jì)算機(jī)科學(xué)的一個(gè)概念驰弄。正則表達(dá)式使用單個(gè)字符串來描述、匹配一系列匹配某個(gè)句法規(guī)則的字符串速客。在很多文本編輯器里戚篙，正則表達(dá)式通常被用來檢索、替換那些匹配某個(gè)模式的文本溺职。
Regular Expression的“Regular”一般被譯為“正則”岔擂、“正規(guī)”、“常規(guī)”浪耘。此處的“Regular”即是“規(guī)則”乱灵、“規(guī)律”的意思，Regular Expression即“描述某種規(guī)則的表達(dá)式”之意七冲。
Python通過re模塊提供對正則表達(dá)式的支持痛倚。使用re的一般步驟是先使用re.compile()函數(shù)，將正則表達(dá)式的字符串形式編譯為Pattern實(shí)例澜躺，然后使用Pattern實(shí)例處理文本并獲得匹配結(jié)果（一個(gè)Match實(shí)例）蝉稳，最后使用Match實(shí)例獲得信息，進(jìn)行其他的操作掘鄙。
1.正則表達(dá)式（Regular Expression）：查詢和匹配字符串的規(guī)則
2.正則表達(dá)式表示數(shù)據(jù)
普通字符： 元數(shù)據(jù)耘戚，可以用于匹配指定的字符
r = “a”：用于在目標(biāo)字符串中匹配小寫字母a元字符
r = “.”：用于匹配任意一個(gè)字符
r = “\”：轉(zhuǎn)移字符~用于將一個(gè)普通的字符，轉(zhuǎn)義成一個(gè)有意義的字符
r = “\d”：表示一個(gè)0~9之間的整數(shù)
r = “\D”：表示一個(gè)非數(shù)字字符
r = “\w”：表示任意一個(gè)0~9或者字母或者下劃線的字符
r = “\W”：表示任意一個(gè)特殊字符
r = “\s”：表示匹配一個(gè)空白字符
r = “\S”：表示匹配一個(gè)非空白字符
r = “^”：匹配字符串的開頭位置
r = “$”：匹配字符串的結(jié)束位置
r = “\d*”：表示前面匹配的字符出現(xiàn)了0次或者多次
r = “\d?”：表示前面匹配的字符出現(xiàn)了0次或者1次
r =”\d+”：表示前面匹配的字符出現(xiàn)了1次或者多次
#范圍匹配
分組匹配方式：將多個(gè)匹配字符當(dāng)成一個(gè)完整的匹配公式
(abc)：用于在目標(biāo)字符串中查詢abc同時(shí)出現(xiàn)的地方
選擇匹配方式：將指定的多個(gè)字符操漠，選擇其中一個(gè)進(jìn)行匹配
[abc]：用于在目標(biāo)字符串中收津，查詢a或者b或者c出現(xiàn)的地方
[0-9]：用于匹配一個(gè)0~9之間的數(shù)字->等價(jià)于\d
[a-z]：用于匹配一個(gè)a-z之間的字母
[A-Z]：用于匹配一個(gè)A-Z之間的字母
[a-zA-Z]：用于匹配一個(gè)字母【大小寫均可】
[a-zA-Z0-9_]：用于匹配一個(gè)非特殊字符，等價(jià)于\w
#范圍匹配
\d{m, n}：匹配到的字符出現(xiàn)了至少m次浊伙，最多n次
\d{,20}：匹配一個(gè)數(shù)字最多出現(xiàn)20次
\d{8,}：匹配一個(gè)數(shù)字撞秋，最少出現(xiàn)8次
\d{8,16}：匹配一個(gè)數(shù)字，最少出現(xiàn)8次嚣鄙，最多出現(xiàn)16次
#正則表達(dá)式在python中的使用
正則表達(dá)式部服，在python中，主要用到了一個(gè)re模塊
compile()：編譯正則表達(dá)式
pattern = re.compile(“^\d{2,}$”)
pattern = r‘^\d{2,}$’
pattern.match(str,begin,end)：從指定的字符串str第一個(gè)字符查詢匹配的字符
pattern.search(str, begin, end):從指定的字符串中直接進(jìn)行查詢拗慨，查詢到的第一個(gè)結(jié)果作為匹配結(jié)果
pattern.findall(str)：從指定的字符串中廓八，查詢符合匹配規(guī)則的字符奉芦，將所有符合的字符存放在一個(gè)列表中
pattern.finditer(str)：從指定的字符串中，查詢符合匹配規(guī)則的字符保存在一個(gè)可以迭代的對象中
pattern.sub():替換
pattern.split():拆分
eg：
import re
email = 'zhiji@github.com'
m = re.match('(\w+)@([a-z\.]+)', email)
or
m = re.match('(\w+)@(.+)', email)
>>>m.group(1)
zhiji
>>>m.group(2)
github.com
>>>m.groups()
('zhiji', 'github.com')
2.在DataFrame上使用正規(guī)表達(dá)式
-
從戶型用正規(guī)表達(dá)式抽取室剧蹂、廳声功、廚、衛(wèi)欄位
未處理的數(shù)據(jù)
df[['室', '廳', '廚', '衛(wèi)']] = df['戶型'].str.extract('(\d+)室(\d+)廳(\d+)廚(\d+)衛(wèi)', expand=False)
使用正則處理過的數(shù)據(jù)
之前寫過詳細(xì)的正則表達(dá)式的文章宠叼，傳送門在這里正則表達(dá)式先巴。
5.實(shí)例處理
我們通過對新浪微博新聞數(shù)據(jù)的采集和處理作為案例
import requests
import pandas
import re
from bs4 import BeautifulSoup
def get_article(url):
res1 = requests.get(url)
res1.encoding = 'utf-8'
soup1 = BeautifulSoup(res1.text, 'html.parser')
dic = {}
dic['title'] = soup1.select('.page-header #artibodyTitle')[0].text
dic['content'] = ''.join([ele.text for ele in soup1.select('.article_16 p')])
dic['source'] = soup1.select('#navtimeSource')[0].text
dic['keyword'] = soup1.select('.article-info .article-keywords')[0].text
return dic
def get_all_news():
res = requests.get('http://news.sina.com.cn/china/')
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text, 'html.parser')
newsary = []
for link in soup.select('.news-item'):
if len(link.select('h2 a')) > 0:
newsary.append(get_article(link.select('h2 a')[0]['href']))
df = pandas.DataFrame(newsary)
# 進(jìn)行數(shù)據(jù)清理
df['keyword'] = df['keyword'].map(lambda e: e.split('：')[1].split())
# df['source'] = df['source'].map(lambda e: e.split())
df[['datetime', 'from']] = df['source'].str.extract('(\d+年\d+月\d+日\d+:\d+)[\t|\n]+?(\w+)', expand=False)
print(df[['datetime', 'from']])
# 因?yàn)閐f['datetime']是object格式,為了后期的取值,例：取年df['datetime'].map(lambda e : e.year) 我們需要把格式轉(zhuǎn)換為時(shí)間格式
df['datetime'] = pandas.to_datetime(df['datetime'], format = '%Y年%m月%d日%H:%M')
del df['source']
# 對即將保存的格式進(jìn)行調(diào)整
df = df[['from', 'title', 'content', 'keyword', 'datetime']]
# 將整理好的數(shù)據(jù)儲(chǔ)存Excel
df.to_excel('news.xlsx')
if __name__ == '__main__':
get_all_news()
經(jīng)過清理轉(zhuǎn)換后的數(shù)據(jù)
