一聚至、單詞計數(shù)
(一)寫MapReduce程序的步驟：
1.把問題轉化為MapReduce模型
2.設置運行參數(shù)
3.寫Map類
寫Reduce類
(二)單詞計數(shù)
1.文本數(shù)據(jù)：
My name is zhang jie
What is your name
進行數(shù)據(jù)統(tǒng)計：
2.結果：
執(zhí)行結果
二毯侦、數(shù)據(jù)去重
對數(shù)據(jù)文件中的數(shù)據(jù)進行去重掐隐。數(shù)據(jù)文件中的每行都是一個數(shù)據(jù)伯病。
- 數(shù)據(jù)
10
30
30
25
3
60
78
10
2
2.結果
執(zhí)行結果
三袒炉、數(shù)據(jù)排序
使用自帶key排序着撩。
1.數(shù)據(jù)
10
30
30
25
3
60
78
10
2
2.結果
結果
四点骑、分組
列1表示部門號，列2表示部門開支让虐，現(xiàn)在要按照部門號升序方式紊撕，展示出當前部門開支最小的結果。
1.數(shù)據(jù)
3,7
1,0
2,1
3,5
1,1
3,1
2.結果
結果
五赡突、上網(wǎng)流量統(tǒng)計
- 數(shù)據(jù)
| 訪問時間 | 手機號或上網(wǎng)卡 | 網(wǎng)絡運營商的MAC地址 | 上網(wǎng)機器的IP | 訪問網(wǎng)站 | 網(wǎng)址類型 | 上行包 | 下行包 | 上行流量 | 下行流量 | 狀態(tài) |
|---|---|---|---|---|---|---|---|---|---|---|
| 1363157985066 | 13726230503 | 00-FD-07-A4-72-B8:CMCC | 120.196.100.82 | i02.c.aliimg.com | 24 | 27 | 2481 | 24681 | 200 |
測試數(shù)據(jù)下載地址：
示例數(shù)據(jù)
