自由創(chuàng)業(yè)者宋舷，愛好廣泛鳖链。IT技術(shù)、經(jīng)濟(jì)媳友、投資斯议、人性、心理學(xué)醇锚，希望在這里記錄自己的進(jìn)階之路哼御，共勉。
發(fā)簡信
IP屬地：吉林
-
【內(nèi)推】【社招/校招】字節(jié)跳動(dòng) 大數(shù)據(jù)和分布式計(jì)算的同學(xué)看過來~
字節(jié)跳動(dòng)內(nèi)推了 ~~~ 如果是社招焊唬，郵件名請以“姓名-職位”命名恋昼，發(fā)送簡歷到 liaojiayi@bytedance.com如果是校招，直接訪問投遞鏈接: https://j...
-
今年的目標(biāo)是一個(gè)月刷一本書
-
個(gè)人見解 :)嗦哆。
數(shù)據(jù)SCT定律：存儲(chǔ)，計(jì)算婿滓，時(shí)間
其實(shí)沒有SCT定律老速，這個(gè)是我根據(jù)分布式CAP定律瞎造的。不過呢凸主，從大數(shù)據(jù)這個(gè)行業(yè)來說橘券，我們始終都是在存儲(chǔ)，計(jì)算和時(shí)間進(jìn)行權(quán)衡卿吐，博弈以及突破旁舰。某種程度上來說，當(dāng)擁有其中兩者嗡官，可...
-
文章很棒箭窜！
```
我們沒有一個(gè)統(tǒng)一的大數(shù)據(jù)應(yīng)用，還是各種應(yīng)用孤立的跑在硬件上（我們會(huì)把Yarn,K8s當(dāng)做硬件）衍腥，這個(gè)時(shí)候我們會(huì)嘗試使用Spark绽快，Preso,Impala,Kylin等各種系統(tǒng)解決各自的問題芥丧。
```
關(guān)于這點(diǎn)，YARN和K8S在數(shù)據(jù)處理中更多的是承擔(dān)一個(gè)資源管理的作用坊罢。而Spark，Presto擅耽，Impala等本身更專注于計(jì)算（ETL）本身活孩。Kylin是一個(gè)相對完備的OLAP系統(tǒng)，從處理到查詢展現(xiàn)乖仇。這些本身跟YARN等資源管理組件并沒有沖突哈憾儒。數(shù)據(jù)SCT定律：存儲(chǔ)，計(jì)算乃沙，時(shí)間
其實(shí)沒有SCT定律起趾，這個(gè)是我根據(jù)分布式CAP定律瞎造的。不過呢警儒，從大數(shù)據(jù)這個(gè)行業(yè)來說训裆，我們始終都是在存儲(chǔ)，計(jì)算和時(shí)間進(jìn)行權(quán)衡蜀铲，博弈以及突破边琉。某種程度上來說，當(dāng)擁有其中兩者记劝，可...
-
機(jī)器學(xué)習(xí)(Machine Learning厌丑，ML)是研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為定欧，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能怒竿。數(shù)據(jù)挖掘是從海量數(shù)據(jù)中獲取有效的砍鸠、新穎的、潛在有用的愧口、最終可理解的模式的非平凡過程睦番。數(shù)據(jù)挖掘中用到了大量的機(jī)器學(xué)習(xí)界提供的數(shù)據(jù)分析技術(shù)和數(shù)據(jù)庫界提供的數(shù)據(jù)管理技術(shù)，機(jī)器學(xué)習(xí)是數(shù)據(jù)挖掘的一個(gè)重要的工具耍属。機(jī)器學(xué)習(xí)交流群：613944735
-
聊聊Apache Flink中的Watermark
注：本文轉(zhuǎn)自我的個(gè)人博客托嚣。 Watermark是流式處理中的一個(gè)基礎(chǔ)概念，關(guān)于Watermark的概念有很多厚骗，在這里不做闡述示启。 Watermark特性 這不是官方的表述，我根...
-
java.lang.OutOfMemoryError: Map failed
最近遇到這個(gè)Exception领舰，發(fā)現(xiàn)不少開源框架在實(shí)現(xiàn)快速讀寫文件時(shí)夫嗓，采用的都是FileChannel的map方法迟螺，示例如下： 這個(gè)方法的作用是將文件映射到堆外內(nèi)存中，然后通...
-
Spark深入學(xué)習(xí)專題旨在通過高質(zhì)量的文章對Spark相關(guān)技術(shù)進(jìn)行研究學(xué)習(xí)
-
Spark - 利用WeakReference來清理對象
注：本文轉(zhuǎn)自我的個(gè)人博客（Spark - 利用WeakReference來清理對象）。 最近在stackoverflow上看到有人好奇Spark是在什么時(shí)機(jī)對Accumula...
-
PingCAP 是一家開源的新型分布式數(shù)據(jù)庫公司，秉承開源是基礎(chǔ)軟件的未來這一理念攻柠，PingCAP 持續(xù)擴(kuò)大社區(qū)影響力球订，致力于前沿技術(shù)領(lǐng)域的創(chuàng)新實(shí)現(xiàn)。其研發(fā)的分布式關(guān)系型數(shù)據(jù)庫 TiDB 項(xiàng)目瑰钮，具備「分布式強(qiáng)一致性事務(wù)冒滩、在線彈性水平擴(kuò)展、故障自恢復(fù)的高可用浪谴、跨數(shù)據(jù)中心多活」等核心特性开睡，是大數(shù)據(jù)時(shí)代理想的數(shù)據(jù)庫集群和云數(shù)據(jù)庫解決方案。目前準(zhǔn)生產(chǎn)測試用戶 1000 余家较店，并已被 200 余家不同行業(yè)的領(lǐng)先企業(yè)應(yīng)用在實(shí)際生產(chǎn)環(huán)境士八，涉及互聯(lián)網(wǎng)、游戲梁呈、金融婚度、政府、電信官卡、制造業(yè)等多個(gè)領(lǐng)域蝗茁。（官網(wǎng)：<a href="https://links.jianshu.com/go?to=http%3A%2F%2Fpingcap.com" target="_blank">http://pingcap.com</a> 源碼地址：<a href="https://links.jianshu.com/go?to=http%3A%2F%2Fgithub.com%2Fpingcap" target="_blank">http://github.com/pingcap</a>）
-
美團(tuán)技術(shù)團(tuán)隊(duì)哮翘，最值得關(guān)注的技術(shù)團(tuán)隊(duì)官方博客/微信公眾號，每周會(huì)推送來自一線的實(shí)踐技術(shù)文章毛秘，同時(shí)還有線上/線下技術(shù)活動(dòng)饭寺、技術(shù)招聘等信息同步更新。在這里叫挟，你可以與8000多業(yè)界一流工程師交流切磋艰匙，現(xiàn)在已經(jīng)有超過13萬個(gè)技術(shù)小伙伴在關(guān)注......
-
Bitmap - 性能和原理研究
注：本文轉(zhuǎn)自我的個(gè)人博客（Bitmap - 性能和原理研究） Paper原文地址：An Experimental Study of Bitmap Compression vs...
-
管理500億美金的對沖基金給Spark社區(qū)貢獻(xiàn)代碼？先科普一下大名鼎鼎的Two Sigma吧抹恳。2001年創(chuàng)立员凝，現(xiàn)在管理多達(dá)500億美金的資產(chǎn)，排名對沖基金公司的全球第四７芟住＝∨旺上！做為一家知名的對沖基金，為何他們給Apache Sp...
-
Aerospike(3) - Evict機(jī)制
注：本文轉(zhuǎn)自我的個(gè)人博客 Aerospike(3) - Evict機(jī)制糖埋。 在實(shí)時(shí)的場景中宣吱，我們往往會(huì)對Aerospike/Redis等設(shè)置evict機(jī)制，來防止流量暴增帶來的...
-
自主駕駛里的Apache Spark當(dāng)今的自主駕駛是典型的數(shù)據(jù)驅(qū)動(dòng)的產(chǎn)業(yè)阶捆，八仙過海各顯神通凌节。無論技術(shù)多么先進(jìn)，他們所有決策和算法都是來基于senor產(chǎn)生的數(shù)據(jù)洒试。比如，以Udacity Lincoln MKZ為例...
個(gè)人介紹