發(fā)簡信
IP屬地：遼寧
-
我的埃及之旅Today I want to share my experience in Egypt several years ago. 今天我想和大家分...
-
Spark運行原理本文主要分以下章節(jié)： 一工秩、Spark專業(yè)術(shù)語定義 二嫌拣、 Spark的任務(wù)提交機(jī)制 一、Spark專業(yè)術(shù)語定義 1吭练、Application：Spa...
-
spark經(jīng)典案例之統(tǒng)計每天新增用戶數(shù)
前言 本文源自一位群友的一道美團(tuán)面試題襟雷，解題思路（基于倒排索引）端三。 1锯茄、原始數(shù)據(jù) 根據(jù)數(shù)據(jù)可以看出我們要求的結(jié)果為：2017-01-01 新增三...
-
Spark經(jīng)典案例之非結(jié)構(gòu)數(shù)據(jù)處理
需求：根據(jù)tomcat日志計算url訪問了情況，具體的url如下谈火，要求：區(qū)別統(tǒng)計GET和POST URL訪問量結(jié)果為：訪問方式侈询、URL、訪問量測...
-
Spark經(jīng)典案例之求top值
需求分析orderid,userid,payment,productid求topN的payment值a.txt1,9819,100,1212,8...
-
Spark經(jīng)典案之求最大最小值
數(shù)據(jù)準(zhǔn)備eightteen_a.txt10210391092001139028 eightteen_b.txt523083810005 結(jié)果輸出...
-
Spark經(jīng)典案例之求平均值
1糯耍、需求分析對輸入文件中數(shù)據(jù)進(jìn)行就算學(xué)生平均成績扔字。輸入文件中的每行內(nèi)容均為一個學(xué)生的姓名和他相應(yīng)的成績，如果有多門學(xué)科谍肤，則每門學(xué)科為一個文件啦租。要...
-
Spark經(jīng)典案例之?dāng)?shù)據(jù)排序
業(yè)務(wù)場景：數(shù)據(jù)排序 1哗伯、”數(shù)據(jù)排序”是許多實際任務(wù)執(zhí)行時要完成的第一項工作荒揣，比如學(xué)生成績評比、數(shù)據(jù)建立索引等焊刹。這個實例和數(shù)據(jù)去重類似系任，都是先對原...
-
Spark經(jīng)典案例之?dāng)?shù)據(jù)去重
/** 業(yè)務(wù)場景：數(shù)據(jù)去重問題 Created by YJ on 2017/2/7. 統(tǒng)計數(shù)據(jù),盡量用reduceByKey,不要用groupB...