IP屬地：北京
-
Hive、Spark SQL任務參數(shù)調(diào)優(yōu)動態(tài)分區(qū) 參數(shù)說明hive.exec.dynamic.partition是否開啟動態(tài)分區(qū)畦徘，默認是false阐肤。如果要開啟動態(tài)分區(qū)，就設置為true...
-
常用Spark算子總結RDD的創(chuàng)建和保存1.1 textFile從HDFS中讀取一個文本文件1.2 makeRDD浑塞、parallelize都會創(chuàng)建一個新的Parall...
-
Spark入門學習
注：這篇博客講的是自己對Spark的初步認識和學習借跪，可能會有錯誤。參考資料是廈門大學的Spark學習基礎酌壕，對應網(wǎng)址上有關于Spark運行機制的6...
-
記錄Spark中使用coalesce遇到的坑
場景： ??讀取2g大小的文件掏愁，做一些簡單的處理并將保存結果歇由，為了方便的下載我將結果數(shù)據(jù)分成2個分區(qū)，分區(qū)方式是.coalesce(2).sav...
-
記錄使用gson碰到的問題
這里我主要是記錄在Scala中使用gson.JsonParser時碰到的一些問題果港，假設我已經(jīng)創(chuàng)建了一個JsonParser類沦泌，即val pars...
-
《推薦系統(tǒng)實踐》第八章學習筆記??本章講的是評分預測問題，也就是如何通過已知的用戶歷史評分記錄預測未知的用戶評分記錄辛掠。 評測算法 1. 平均值 ??取平均值作為預測結果是最簡...
-
《推薦系統(tǒng)實踐》第七章學習筆記??本章主要講了如何設計一個真實的推薦系統(tǒng)谢谦。前面幾章都是從理論上講述了什么是推薦系統(tǒng)？如何利用用戶和物品的信息來設計和優(yōu)化推薦算法公浪？但推薦算法畢...
-
《推薦系統(tǒng)實踐》第六章學習筆記
??第6章的標題是“利用社交網(wǎng)絡數(shù)據(jù)”他宛，為什么要用社交網(wǎng)絡數(shù)據(jù)？答：好友的推薦對于增加用戶對推薦結果的信任度非常重要欠气。??社交網(wǎng)絡定義了用戶之間...
-
《推薦系統(tǒng)實踐》第五章學習筆記
??本章主要講了利用用戶的上下文信息進行更加個性化的推薦厅各。上下文包括用戶訪問推薦系統(tǒng)的時間、地點预柒、心情等队塘，本章主要是講如何利用時間信息和地點信息...