崇尚詩(shī)詞如畫的 IT人
發(fā)簡(jiǎn)信
IP屬地：四川
-
-
使用Spark讀取并分析二進(jìn)制文件
需求 客戶希望通過spark來分析二進(jìn)制文件中0和1的數(shù)量以及占比阳欲。如果要分析的是目錄，則針對(duì)目錄下的每個(gè)文件單獨(dú)進(jìn)行分析屏鳍。分析后的結(jié)果保存與被分析文件同名的日志文件中特石，內(nèi)容...
-
@DeepLearningZ 關(guān)鍵要有大廠推動(dòng)，也需要有好的應(yīng)用做背書巷怜。
Martin Odersky訪談錄所思
ThoughtWorks的「TW洞見」在4月發(fā)布了對(duì)Scala之父Martin Odersky的訪談。Odersky的回答顯得言簡(jiǎn)意賅暴氏，仔細(xì)分析丛版，仍然能從中收獲不少隱含的信息...
-
_張逸_ ·“成為了哥白尼之前的世人，以為面向?qū)ο缶褪浅绦騿T的全部世界” 說的太好了偏序！
OO我記得是上有圖靈獎(jiǎng)下有Spring的存在，但這個(gè)存在太久了胖替，歷史告訴我們研儒，進(jìn)步就是顛覆，因?yàn)槲ㄒ徊蛔兊木褪亲兓懒睿部赡苁沁@個(gè)東西本身變了也可能是環(huán)境變了端朵，總之，這個(gè)東西不再像當(dāng)初燃箭，就像我們?nèi)艘粯映迥兀K有一天、竟變得面目全非招狸。
Queen〇fLaponia 評(píng)論自Scala函數(shù)式編程 -
Spark中進(jìn)行聚合時(shí)的特殊場(chǎng)景
在對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析時(shí)敬拓，如果對(duì)指標(biāo)進(jìn)行聚合運(yùn)算，而待查詢的字段中還包含了維度裙戏，則原則上我們還需要按照維度字段進(jìn)行分組乘凸。倘若這個(gè)聚合運(yùn)算為sum函數(shù)，分組之后就相當(dāng)于分類匯總了...
-
移動(dòng)開發(fā)中的軟件架構(gòu)在移動(dòng)開發(fā)領(lǐng)域累榜，我們往往會(huì)遇到軟件的可擴(kuò)展性营勤、可復(fù)用性以及可維護(hù)性等問題，這就涉及到如何做好軟件的架構(gòu)設(shè)計(jì)或者重構(gòu)優(yōu)化工作壹罚。結(jié)合實(shí)踐與思考葛作，本文對(duì)其中的Android應(yīng)用軟件...
-
“縱向上的層次結(jié)構(gòu)，更側(cè)重邏輯調(diào)用和依賴關(guān)系猖凛，可分為業(yè)務(wù)層和組件層赂蠢。”這個(gè)層次其實(shí)應(yīng)該是橫向上辨泳，也就是所謂水平切割客年，或者分層架構(gòu)霞幅。
移動(dòng)開發(fā)中的軟件架構(gòu)
在移動(dòng)開發(fā)領(lǐng)域，我們往往會(huì)遇到軟件的可擴(kuò)展性量瓜、可復(fù)用性以及可維護(hù)性等問題司恳，這就涉及到如何做好軟件的架構(gòu)設(shè)計(jì)或者重構(gòu)優(yōu)化工作。結(jié)合實(shí)踐與思考绍傲，本文對(duì)其中的Android應(yīng)用軟件...
-
-
-
我還真不知道务蝠。Scala也沒這么高貴拍谐，說簡(jiǎn)單的，它就是一門語言馏段，門檻也沒有這么高轩拨。如果要把Scala寫好，確實(shí)有難度院喜，但哪門語言不這樣呢气嫁？
Martin Odersky訪談錄所思
ThoughtWorks的「TW洞見」在4月發(fā)布了對(duì)Scala之父Martin Odersky的訪談。Odersky的回答顯得言簡(jiǎn)意賅够坐，仔細(xì)分析寸宵，仍然能從中收獲不少隱含的信息...
-
繼續(xù)探索with語句
在上一篇博客《漂亮的with，魚與熊掌可以兼得》中元咙，展現(xiàn)了with的優(yōu)雅之處梯影，然而在比較with與|>時(shí)，言猶未盡庶香，講得不夠透徹甲棍。 在那篇博客中，我說： 畢竟with/1并不...
-
漂亮的with颈走，魚與熊掌可以兼得
假設(shè)要加載磁盤上的一個(gè)文件，并以二進(jìn)制形式讀取文件的數(shù)據(jù)咱士。若要從健壯性的角度考慮立由，需得考慮兩種異常情況： 加載文件失敗，例如給定的文件路徑并不存在該文件 讀取文件數(shù)據(jù)失敗序厉，例...
-
漂亮的with锐膜，魚與熊掌可以兼得
假設(shè)要加載磁盤上的一個(gè)文件，并以二進(jìn)制形式讀取文件的數(shù)據(jù)弛房。若要從健壯性的角度考慮道盏，需得考慮兩種異常情況： 加載文件失敗，例如給定的文件路徑并不存在該文件 讀取文件數(shù)據(jù)失敗文捶，例...
-
@负沙眩克斯紀(jì) 是有這么個(gè)問題。我最近因?yàn)楣ぷ髟蛑羟幔嬖嚵艘粠腿耍际怯肧park作大數(shù)據(jù)開發(fā)的伟葫，結(jié)果問到scala語言方面的恨搓，基本上都不懂。
Martin Odersky訪談錄所思
ThoughtWorks的「TW洞見」在4月發(fā)布了對(duì)Scala之父Martin Odersky的訪談筏养。Odersky的回答顯得言簡(jiǎn)意賅斧抱，仔細(xì)分析，仍然能從中收獲不少隱含的信息...
-
一次設(shè)計(jì)演進(jìn)之旅需求背景： 我們需要實(shí)現(xiàn)對(duì)存儲(chǔ)在HDFS中的Parquet文件執(zhí)行數(shù)據(jù)查詢渐溶，并通過REST API暴露給前端以供調(diào)用辉浦。由于查詢的結(jié)果可能數(shù)量較大，要求API接口能夠提供分頁(yè)查...
-
_張逸_ ·
和我們現(xiàn)在在做的產(chǎn)品架構(gòu)非常相似茎辐，無論從scala語言選型還是tachyon加parquet的數(shù)據(jù)存儲(chǔ)宪郊，再到Spark SQL。只不過我們?cè)赟park這層做了硬隔離拖陆，沙箱化用戶的數(shù)據(jù)弛槐。
avril23 評(píng)論自基于Scala的產(chǎn)品開發(fā)實(shí)踐 -
你用的哪個(gè)版本的Spark？
Spark強(qiáng)大的函數(shù)擴(kuò)展功能
在數(shù)據(jù)分析領(lǐng)域中依啰，沒有人能預(yù)見所有的數(shù)據(jù)運(yùn)算乎串，以至于將它們都內(nèi)置好，一切準(zhǔn)備完好速警，用戶只需要考慮用叹誉，萬事大吉鸯两。擴(kuò)展性是一個(gè)平臺(tái)的生存之本，一個(gè)封閉的平臺(tái)如何能夠擁抱變化长豁？在對(duì)...
-
在模式匹配中钧唐，每條case是一個(gè)unapply，但在本文的語境中蕉斜，case其實(shí)是PartialFunction工廠的語法糖逾柿。
Scala中的map與collect
在Scala中，當(dāng)我需要對(duì)集合的元素進(jìn)行轉(zhuǎn)換時(shí)宅此，自然而然會(huì)使用到map方法机错。而當(dāng)我們?cè)趯?duì)tuple類型的集合或者針對(duì)Map進(jìn)行map操作時(shí)，通常更傾向于在map方法中使用ca...