1论熙、Hive窗口函數(shù)
我們先來(lái)介紹一下Hive中幾個(gè)常見的窗口函數(shù)盯荤，row_number(),lag()和lead()揭蜒。
row_number()
該函數(shù)的格式如下：
row_Number() OVER (partition by 分組字段 ORDER BY 排序字段 排序方式asc/desc)
簡(jiǎn)單的說(shuō)彪见，我們使用partition by后面的字段對(duì)數(shù)據(jù)進(jìn)行分組丘薛，在每個(gè)組內(nèi)，使用ORDER BY后面的字段進(jìn)行排序睦柴，并給每條記錄增加一個(gè)排序序號(hào)诽凌。
lag()
該函數(shù)的格式如下:
lag(字段名,N) over(partition by 分組字段 order by 排序字段 排序方式)
lag括號(hào)里理由兩個(gè)參數(shù)，第一個(gè)是字段名坦敌，第二個(gè)是數(shù)量N侣诵，這里的意思是，取分組排序之后比該條記錄序號(hào)小N的對(duì)應(yīng)記錄的指定字段的值狱窘，如果字段名為ts杜顺，N為1，就是取分組排序之后上一條記錄的ts值蘸炸。
lead()
該函數(shù)的格式如下:
lead(字段名,N) over(partition by 分組字段 order by 排序字段 排序方式)
lead括號(hào)里理由兩個(gè)參數(shù)躬络，第一個(gè)是字段名，第二個(gè)是數(shù)量N搭儒，這里的意思是穷当，取分組排序之后比該條記錄序號(hào)大N的對(duì)應(yīng)記錄的對(duì)應(yīng)字段的值，如果字段名為ts淹禾，N為1馁菜，就是取分組排序之后下一條記錄的ts值。
有關(guān)這幾個(gè)函數(shù)的詳細(xì)的實(shí)例铃岔，可以參考我之前寫過(guò)的文章：http://www.reibang.com/p/3738d3591da9汪疮，這里我們就不再贅述。
2毁习、窗口函數(shù)的Pandas實(shí)現(xiàn)
接下來(lái)智嚷，我們介紹如何使用Pandas來(lái)實(shí)現(xiàn)上面的幾個(gè)窗口函數(shù)。
數(shù)據(jù)使用
我們建立如下的測(cè)試數(shù)據(jù)集：
df = pd.DataFrame({'A':[12,20,12,5,18,11,18],
'C':['A','B','A','B','B','A','A']})
我們使用C作為分組列蜓洪，使用A作為窗口列纤勒。
2.1 row_number()
該函數(shù)的意思即分組排序，在pandas中我們可以結(jié)合groupby和rank函數(shù)來(lái)實(shí)現(xiàn)和row_number()類似的功能隆檀。
我們先看一下實(shí)現(xiàn)代碼：
df['row_number'] = df['A'].groupby(df['C']).rank(ascending=True,method='first')
print(df)
代碼的輸出為：
這樣我們的row_number功能就實(shí)現(xiàn)了，groupby方法大家應(yīng)該很熟悉了粹湃，那么我們主要介紹一下rank函數(shù)恐仑，rank函數(shù)主要有兩個(gè)參數(shù)，首先是ascending參數(shù)为鳄，決定是按照升序還是降序排列裳仆，這里我們選擇的是升序。第二個(gè)參數(shù)是填充方式孤钦，主要有以下幾種方式：
dense：稠密的方式歧斟，即當(dāng)兩個(gè)或多個(gè)的數(shù)值相同時(shí)纯丸，使用同樣的序號(hào)，同時(shí)后面的序號(hào)是該序號(hào)+1静袖，即多個(gè)相同的值只會(huì)占用一個(gè)序號(hào)位觉鼻，例如四個(gè)數(shù)的排序，中間兩個(gè)數(shù)相同队橙，那么四個(gè)數(shù)的排序?yàn)?坠陈，2，2捐康，3.
我們用代碼看一下效果：
df = pd.DataFrame({'A':[12,20,12,5,18,11,18],
'C':['A','B','A','B','B','A','A']})
df['row_number'] = df['A'].groupby(df['C']).rank(ascending=True,method='min')
print(df)
輸出為：
first：即當(dāng)兩個(gè)或多個(gè)的數(shù)值相同時(shí)仇矾，使用不樣的序號(hào)，按照數(shù)據(jù)出現(xiàn)的先后順序進(jìn)行排序解总，這個(gè)其實(shí)跟row_number的實(shí)現(xiàn)是相同的贮匕。
df = pd.DataFrame({'A':[12,20,12,5,18,11,18],
'C':['A','B','A','B','B','A','A']})
df['row_number'] = df['A'].groupby(df['C']).rank(ascending=True,method='first')
print(df)
輸出為：
max :當(dāng)兩個(gè)或多個(gè)的數(shù)值相同時(shí),使用相同的序號(hào)，不過(guò)使用的是能達(dá)到的最大的序號(hào)值花枫。例如四個(gè)數(shù)的排序粗合，中間兩個(gè)數(shù)相同，那么四個(gè)數(shù)的排序?yàn)?乌昔，3隙疚，3，4.
df = pd.DataFrame({'A':[12,20,12,5,18,11,18],
'C':['A','B','A','B','B','A','A']})
df['row_number'] = df['A'].groupby(df['C']).rank(ascending=True,method='max')
print(df)
輸出為：
min :當(dāng)兩個(gè)或多個(gè)的數(shù)值相同時(shí),使用相同的序號(hào)磕道，不過(guò)使用的是能達(dá)到的最小的序號(hào)值供屉。例如四個(gè)數(shù)的排序，中間兩個(gè)數(shù)相同溺蕉，那么四個(gè)數(shù)的排序?yàn)?伶丐，2，2疯特，4.
df = pd.DataFrame({'A':[12,20,12,5,18,11,18],
'C':['A','B','A','B','B','A','A']})
df['row_number'] = df['A'].groupby(df['C']).rank(ascending=True,method='min')
print(df)
輸出為：
2.2 lag/lead函數(shù)
pandas中使用shift函數(shù)來(lái)實(shí)現(xiàn)lag/lead函數(shù)哗魂，首先我們來(lái)看一個(gè)例子：
df = pd.DataFrame({'A':[12,20,12,5,18,11,18],
'C':['A','B','A','B','B','A','A']})
df['lag'] = df.sort_values('A').groupby('C')['A'].shift(1)
df['lead'] = df.sort_values('A').groupby('C')['A'].shift(-1)
print(df)
輸出為：
可以看到，當(dāng)shift函數(shù)中的數(shù)字為正數(shù)時(shí)漓雅，我們就實(shí)現(xiàn)了lag的功能录别，當(dāng)數(shù)字為負(fù)數(shù)時(shí)，實(shí)現(xiàn)的是lead的功能邻吞。不過(guò)這里切記组题，一定要排序哦，否則可能出現(xiàn)下面的結(jié)果：
df = pd.DataFrame({'A':[12,20,12,5,18,11,18],
'C':['A','B','A','B','B','A','A']})
df['lag'] = df.groupby('C')['A'].shift(1)
df['lead'] = df.groupby('C')['A'].shift(-1)
print(df)
輸出為抱冷，這個(gè)就是完全根據(jù)數(shù)據(jù)出現(xiàn)的順序進(jìn)行排序的崔列，不符合我們的要求！
好啦旺遮，兩個(gè)簡(jiǎn)單的小應(yīng)用就介紹到這里了赵讯，希望可以幫到大家盈咳。
