發(fā)簡信
IP屬地：天津
-
markdown快速入門http://www.reibang.com/p/q81RER 一級標題 二級標題 三級標題 四級標題 五級標題 六級標題 無序列表 java...
-
阿里云主機購買及網站域名綁定教程網站上線步驟 購買云服務器主機購買域名ICP備案系統(tǒng)安裝及環(huán)境配置網站安裝部署域名解析及端口映射 購買云服務器主機 目前坟岔，云計算近年以每年32%...
-
Spark項目之簡書百萬用戶動態(tài)分析與查詢展示先看下數據分析的結果大概長什么樣鸭轮！ 這個項目主要是對簡書所有用戶的動態(tài)做分析奕短。 0.分析什么 說是對動態(tài)做分析屡江，啥是動態(tài)剪芍？就像你微信朋友圈的發(fā)表...
-
簡書用戶動態(tài)信息爬蟲
第一步 爬取簡書推薦用戶 爬取簡書推薦用戶敢朱，加入到用戶信息表（第一批用戶） 第二步 從推薦用戶出發(fā)，爬取每個推薦用戶的全部粉絲耙饰，加入到用戶信息表...
-
Spark性能調優(yōu)-數據傾斜調優(yōu)1. 數據傾斜發(fā)生時的現象 絕大多數task執(zhí)行得都非澄屏快，但個別task執(zhí)行極慢苟跪。比如廷痘，總共有1000個task，997個task都在1分鐘之...
-
Spark性能調優(yōu)-數據本地化調優(yōu)1. task數據本地化級別 (1) PROCESS_LOCAL：進程本地化 (2) NODE_LOCAL：節(jié)點本地化 (3) NO_PREF：...
-
Spark性能調優(yōu)-代碼調優(yōu)1. 概述 代碼調優(yōu)削咆，就是要讓大家了解以下一些Spark基本開發(fā)原則牍疏，包括：RDD lineage設計蠢笋、算子的合理使用拨齐、特殊操作的優(yōu)化等。在開發(fā)...
-
Spark性能調優(yōu)-資源調優(yōu)1. 概述 在開發(fā)完Spark作業(yè)之后昨寞，就該為作業(yè)配置合適的資源了瞻惋。Spark的資源參數，基本都可以在spark-submit命令中作為參數設置...
-
Spark中廣播變量和累加器一援岩、前述 Spark中因為算子中的真正邏輯是發(fā)送到Executor中去運行的歼狼，所以當Executor中需要引用外部變量時，需要使用廣播變量享怀。 累...