3月25日, Alluxio將在紐約曼哈頓下城和TwoSigma的數(shù)據(jù)科學(xué)家們舉辦一次meetup活動來介紹TwoSigma里基于Spark/Alluxio/HDFS的數(shù)據(jù)軟件棧岛宦。成立于2001年的Two Sigma是華爾街頂級對沖基金,管理著超過510億美元資產(chǎn)(2017年數(shù)據(jù))泽裳。Two Sigma的名字來自于小寫的sigma(σ, 投資回報的波動)和大寫的Sigma(Σ, 表示求和)蝉稳。從這個名字就不難看出其對算法和模型的重視。實(shí)際上Two Sigma一向以大量采用算法和數(shù)據(jù)驅(qū)動的金融黑科技而著稱劳闹,大量實(shí)踐了大數(shù)據(jù)和AI領(lǐng)域里最新的架構(gòu)和系統(tǒng)院究。本次meetup的主題"Achieving compute and storage independence for data-driven workloads",就是介紹Two Sigma如何在計算和存儲分離的架構(gòu)下本涕,使用Alluxio來有效的組織和管理數(shù)據(jù)业汰,使其更好的利用計算資源的經(jīng)驗(yàn)。
點(diǎn)擊3月25日紐約市Two-sigma的meetup的報名連接
而3月18日, 在西雅圖的Uber Office菩颖,還有一場同樣精彩的主題為“Efficient & Secure Big Data Analytics: Perspectives from Uber, Alibaba, & Alluxio”的meetup样漆。最近幾年,Uber和Alibaba都非常積極和頻繁的活躍在Hadoop以及相關(guān)大數(shù)據(jù)開源軟件領(lǐng)域晦闰。 Uber最近的Hoodie等工作的影響力很大放祟。Alibaba更是因?yàn)槭召廌ata Artisans并宣布將Blink合并回Flink upstream,以及昨天剛剛宣布的Caffe的作者賈揚(yáng)清大神的加盟(Zhihu相關(guān)問題鏈接)呻右,一舉站在了開源社區(qū)的C位跪妥。本次meetup也將圍繞著如何使用開源軟件構(gòu)建更安全高效的數(shù)據(jù)訪問來展開,具體包括:
- 來自Uber的工程師將介紹他們在Hadoop系統(tǒng)中如何加入更精細(xì)的訪問控制声滥。
- 來自Alibaba的工程師將介紹他們在ORC (Hadoop生態(tài)圈中的常用的列式存儲格式)上的最新工作
- 我將代表Alluxio介紹如何構(gòu)建Alluxio作為一層分布式的數(shù)據(jù)接入層眉撵,在設(shè)計和實(shí)現(xiàn)上的挑戰(zhàn),在實(shí)戰(zhàn)中的使用建議
點(diǎn)擊3月18日在Uber Seattle的meetup的報名連接
最后讓我們回到我們的home sweat home---舊金山灣區(qū)落塑,3月14日晚纽疟,Alluxio項目的no 1 contributor Calvin Jia將和唯品會的架構(gòu)師Wanchun一起介紹Alluxio 2.0以及Alluxio在唯品會的準(zhǔn)實(shí)時數(shù)據(jù)平臺上的應(yīng)用。Alluxio 2.0里有大量的新功能芜赌,可以參見我的前一篇博客"關(guān)于Alluxio 2.0仰挣,你要知道的都在這里了"。而唯品會的這一應(yīng)用也是非常的前沿:使用Spark/Alluxio/HDFS來架構(gòu)一個near real-time的購買歸因分析缠沈。這一應(yīng)用在眾多電商或者相關(guān)行業(yè)都非常有普遍性膘壶。