1铅忿、需求分析
對輸入文件中數(shù)據(jù)進(jìn)行就算學(xué)生平均成績。輸入文件中的每行內(nèi)容均為一個學(xué)生的姓名和他相應(yīng)的成績，如果有多門學(xué)科胆数，則每門學(xué)科為一個文件。
要求在輸出中每行有兩個間隔的數(shù)據(jù)互墓，其中必尼，第一個代表學(xué)生的姓名，第二個代表其平均成績轰豆。
2胰伍、原始數(shù)據(jù)
1）math：
張三,88
李四,99
王五,66
趙六,77
2）china：
張三,78
李四,89
王五,96
趙六,67
3）english：
張三,80
李四,82
王五,84
趙六,86
樣本輸出：
張三,82
李四,90
王五,82
趙六,76
package ClassicCase
import org.apache.spark.{SparkConf, SparkContext}
/**
* 業(yè)務(wù)場景：求平局值
* Created by YJ on 2017/2/8.
*/
object case4 {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setMaster("local").setAppName("reduce")
val sc = new SparkContext(conf)
sc.setLogLevel("ERROR")
val four = sc.textFile("hdfs://192.168.109.130:8020//user/flume/ClassicCase/case4/*", 3)
val a = four.filter(_.trim.length > 0) //數(shù)據(jù)過濾
.map(line => //數(shù)據(jù)整理
(line.trim().split(",")(0), line.trim.split(",")(1).toInt)
)
.groupByKey() //按key分組 (張三,CompactBuffer(78, 80, 88))
.map(x => {
var num = 0.0
var sum = 0
for (i <- x._2) {
//遍歷該值
sum = sum + i
num = num + 1
}
val avg = sum / num
val fm = f"$avg%1.2f" //1.2->取后面兩位小數(shù),格式化數(shù)據(jù)
println("fm:"+fm)
(x._1, fm)
}
).collect.foreach(x => println(x._1+"\t"+x._2))
//資源學(xué)習(xí)
var floatVar = 12.456
var intVar = 2000
var stringVar = "資源學(xué)習(xí)!"
var fs = printf(
"浮點型變量為 " + "%1.2f, " +
"整型變量為 " + "%d,"+
"字符串為 " + " %s", floatVar, intVar, stringVar)
println(fs)
}
}
輸出結(jié)果
fm:90.00
fm:82.00
fm:82.00
fm:76.67
李四 90.00
王五 82.00
張三 82.00
趙六 76.67
浮點型變量為 12.46, 整型變量為 2000,字符串為 資源學(xué)習(xí)!()
