關(guān)注Java開(kāi)發(fā)相關(guān)技術(shù)
發(fā)簡(jiǎn)信
IP屬地：北京
-
-
System.out.println("Hello world!");
-
【源碼剖析】- Spark 新舊內(nèi)存管理方案（上）Spark 作為一個(gè)以擅長(zhǎng)內(nèi)存計(jì)算為優(yōu)勢(shì)的計(jì)算引擎供炎，內(nèi)存管理方案是其非常重要的模塊额划。作為使用者的我們妙啃，搞清楚 Spark 是如何管理內(nèi)存的，對(duì)我們編碼俊戳、調(diào)試及優(yōu)化過(guò)程會(huì)有很大...
-
GitHub入門(mén)（一）本文作者： 楊曉輝 本文鏈接： http://youngxhui.github.io/2017/09/01/協(xié)同過(guò)濾算法/ 版權(quán)聲明： 本博客所有文章除特別聲明外抑胎，均采用 C...
-
Spark Streaming的Exactly-One的事務(wù)處理和不重復(fù)輸出徹底掌握1.什么是事務(wù)燥滑？ 例如像銀行轉(zhuǎn)賬，A對(duì)B轉(zhuǎn)賬圆恤，B是否能收到多次轉(zhuǎn)賬突倍，可能性不大；或者A轉(zhuǎn)給B的時(shí)候盆昙，A同樣費(fèi)用被扣了多次，B只收到一次焊虏，這樣也不可能淡喜。也就是說(shuō)我們要做的...
-
-
你好炼团，有一個(gè)小問(wèn)題，kafka 的direct API不能解決這個(gè)數(shù)據(jù)消費(fèi)的問(wèn)題么
為什么 Spark Streaming + Kafka 無(wú)法保證 exactly once疏尿？
Streaming job 的調(diào)度與執(zhí)行 結(jié)合文章 揭開(kāi)Spark Streaming神秘面紗④ - job 的提交與執(zhí)行[http://www.reibang.com/p...
-
關(guān)系數(shù)據(jù)庫(kù)SQL之高級(jí)數(shù)據(jù)查詢:去重復(fù)瘟芝、組合查詢、連接查詢褥琐、虛擬表前言 接上一篇關(guān)系數(shù)據(jù)庫(kù)SQL之基本數(shù)據(jù)查詢:子查詢锌俱、分組查詢、模糊查詢敌呈，主要是關(guān)系型數(shù)據(jù)庫(kù)基本數(shù)據(jù)查詢贸宏。包括子查詢、分組查詢磕洪、聚合函數(shù)查詢吭练、模糊查詢，本文是介紹一下關(guān)系型數(shù)...
-
劍圣喵大師，百萬(wàn)暢銷書(shū)作家寓落，500萬(wàn)粉絲個(gè)人帳號(hào)意見(jiàn)領(lǐng)袖括丁，省高校心理協(xié)會(huì)常務(wù)理事，網(wǎng)易新聞·網(wǎng)易號(hào)“各有態(tài)度”簽約作者伶选，情緒管理達(dá)人史飞，陪同讀者成就強(qiáng)大，愿得我心如明月仰税，獨(dú)映寒夜迷途人构资。<br>著有《優(yōu)秀的人，從來(lái)不會(huì)輸給情緒》《掌控情緒陨簇，從來(lái)不靠忍》正在熱銷中吐绵，微信公眾號(hào)：劍圣喵大師（ID:swordpain）轉(zhuǎn)載請(qǐng)加微信：Ellude 聯(lián)系拉白。
-
Spark計(jì)算模型與I/O機(jī)制Part 1 1. Spark計(jì)算模型 1.1 Spark程序模型 首先通過(guò)一個(gè)簡(jiǎn)單的實(shí)例了解Spark的程序模型河绽。 1）SparkContext中的textFile函數(shù)從H...
-
Spark1.5.0的安裝和部署
一己单、Spark集群部署 1、軟件版本 OS版本：Ubuntu 14.04 Hadoop版本：Hadoop 2.6.0 JDK版本：Jdk1.8.0_40 Scala版本：sc...
-
白日夢(mèng)30篇——送給美麗的妳
婉柔綽約耙饰，婷婷玉立 柔情似水纹笼，如碧波蕩漾 甜美的微笑，月牙的慧眼 讓人停眸苟跪，讓人心動(dòng) 大家閨秀的氣質(zhì)廷痘，小家碧玉的神色 讓人憐愛(ài)，讓人守護(hù) 靜待妳驕傲自由地綻放 風(fēng)中的向陽(yáng)花件已。...
-
Yarn Client模式下啟動(dòng)Spark的配置問(wèn)題
由于YARN client模式對(duì)用戶不直接暴露用于提交YARN程序的輔助程序笋额，因此許多參數(shù)是通過(guò)環(huán)境變量來(lái)設(shè)置的，可以在spark-env.sh中進(jìn)行如下配置： 這是我的sp...
-
生如夏花の語(yǔ)錄
茶余飯后篷扩，品一品茗兄猩，看一看書(shū)，是何等的幸事瞻惋。特別喜歡泰戈?duì)柕摹渡缦幕ā废寐耍罹鸵畹糜凶藨B(tài)，有溫度歼狼，有力度掏导。下面是我最喜歡的60句話。 1.時(shí)間是變化的財(cái)富羽峰。時(shí)鐘模仿他趟咆，卻只...
-
Spark算子：統(tǒng)計(jì)RDD分區(qū)中的元素及數(shù)量
Spark RDD是被分區(qū)的添瓷，在生成RDD時(shí)候，一般可以指定分區(qū)的數(shù)量值纱，如果不指定分區(qū)數(shù)量鳞贷，當(dāng)RDD從集合創(chuàng)建時(shí)候，則默認(rèn)為該程序所分配到的資源的CPU核數(shù)虐唠，如果是從HDFS...
個(gè)人介紹