博主您好忙灼,請(qǐng)問(wèn)下
rdd.mapPartitions(x => {
println("連接數(shù)據(jù)庫(kù)")
val res = x.map(line=>{
print("寫(xiě)入數(shù)據(jù):" + line)
line
})
res
})
這段代碼中為什么不能關(guān)閉數(shù)據(jù)庫(kù)連接
Spark系列——關(guān)于 mapPartitions的誤區(qū)前言 今天 Review 了一下同事的代碼只盹,發(fā)現(xiàn)其代碼中有非常多的 mapPartitions,問(wèn)其原因纺涤,他說(shuō)性能比 map 更好鸵贬。我說(shuō)為什么性能好呢灵寺?于是就有了這篇文章 網(wǎng)...