這篇文的起因來自NEXT主辦的keynote苍鲜,主講是墨刀的張元一耘戚。聽完照著筆記梳理了下這次演講的邏輯,基本可以給0基礎(chǔ)的產(chǎn)品科普下技術(shù)常識瀑梗。但邀請程序員來科普有兩大問題:一是...
這篇文的起因來自NEXT主辦的keynote苍鲜,主講是墨刀的張元一耘戚。聽完照著筆記梳理了下這次演講的邏輯,基本可以給0基礎(chǔ)的產(chǎn)品科普下技術(shù)常識瀑梗。但邀請程序員來科普有兩大問題:一是...
最近工作上忙于業(yè)務(wù)裳扯,相同的事情周而復(fù)始難免會止步不前抛丽,感覺已臨近迷失,需要重新補充下能量饰豺。但正如人人都說過的亿鲜,產(chǎn)品經(jīng)理知識是一個復(fù)雜而博大且沒有專門教材的學(xué)科,所以花了點時間...
Spark整體架構(gòu): 在分布式環(huán)境下冤吨,Spark集群采用的是主從結(jié)構(gòu)蒿柳。在一個Spark程序中,有一個節(jié)點負責(zé)中央?yún)f(xié)調(diào)漩蟆,調(diào)度各個分布式工作節(jié)點垒探,這個中央?yún)f(xié)調(diào)節(jié)點被稱為驅(qū)動器(D...
一、Spark在任何情況下均比MapReduce高效嗎? 請舉例怠李。 不是任何情況下都很高效圾叼,數(shù)據(jù)量非常大的時候MapReduce要比Spark快。比如:WordCount計算...
一捺癞、spark加載hadoop本地庫的時候出現(xiàn)不能加載的情況夷蚊,這是什么原因?qū)е碌哪兀?我64位機器,當時hadoop啟動的時候出現(xiàn)不能加載本地類庫的這個問題是因為hadoop...
一翘簇、spark-shell在namenode的stand-by節(jié)點執(zhí)行會報sparkContext出錯撬码,然后到active的namenode的機器起spark-shell就可...
WHAT: Hive是建立在Hadoop上的數(shù)據(jù)倉庫基礎(chǔ)構(gòu)架。它提供了一系列的工具版保,可以用來進行數(shù)據(jù)提取轉(zhuǎn)化加載(ETL )呜笑,這是一種可以存儲、查詢和分析存儲在 Hadoop...
** WHAT** YARN:集群資源管理系統(tǒng) Structure: ResourceManager:整個集群只有一個彻犁,負責(zé)集群資源的統(tǒng)一管理和調(diào)度處理客戶端請求啟動/監(jiān)控A...