大數(shù)據(jù)就業(yè)市場供小于求嚷堡，人才高度緊缺蝗罗，企業(yè)需求量大！IT行業(yè)圈子極大蝌戒，工程師種類亦是繁多串塑，為什么大家偏偏還要選擇大數(shù)據(jù)呢？大數(shù)據(jù)時(shí)代波瀾正興北苟，同學(xué)們站在時(shí)代前沿桩匪，又該如何爭先未來！好程序員今日盤點(diǎn)友鼻，大數(shù)據(jù)10大專業(yè)術(shù)語傻昙，小白快快看過來！
算法彩扔∽钡担“算法”與大數(shù)據(jù)有何淵源？事實(shí)上虫碉，算法是一個(gè)通用的術(shù)語贾惦，正是大數(shù)據(jù)分析才使得它備受大家青睞并火速流行。
分析敦捧。年底大家最為期待的交易清單就可做此分析须板。來自各大信用卡公司郵寄來的全年的交易記錄和年終報(bào)表，都可以進(jìn)一步分析大家一年的消費(fèi)情況以及各種支出的占比兢卵。當(dāng)大家從數(shù)據(jù)中吸取經(jīng)驗(yàn)习瑰，便可對未來的消費(fèi)支出做成充分決策。
描述性分析济蝉。顯而易見杰刽，我們可從一年信用卡的消費(fèi)詳情上得出結(jié)論菠发，食物上花費(fèi)了25%、在服裝上花費(fèi)了35%贺嫂、娛樂活動(dòng)上花費(fèi)了20%滓鸠、剩下的就是其他事項(xiàng)的消耗，這種便是描述性分析第喳。
4.云計(jì)算糜俗。何為云計(jì)算，這里我們不做多述曲饱。未云計(jì)算的本質(zhì)是在遠(yuǎn)程服務(wù)器上運(yùn)行
的軟件和(/或)數(shù)據(jù)托管悠抹，并允許從互聯(lián)網(wǎng)上的任何地方進(jìn)行訪問。集群計(jì)算扩淀。它是一種利用多臺(tái)服務(wù)器的匯集資源的“集群”來進(jìn)行計(jì)算的奇特方式楔敌。在了解了更多技術(shù)之后，我們可能還會(huì)討論節(jié)點(diǎn)驻谆、集群管理層卵凑、負(fù)載平衡和并行處理等。
黑暗數(shù)據(jù)胜臊。這一數(shù)據(jù)具有非常特別的性質(zhì)勺卢，從本質(zhì)上看，象对，黑暗數(shù)據(jù)是指那些被企業(yè)收集和處理但又不用于任何有意義用途的數(shù)據(jù)黑忱，因此描述它是“黑暗的”，它們可能永遠(yuǎn)被埋沒勒魔。它們可能是社交網(wǎng)絡(luò)信息流甫煞、呼叫中心日志、會(huì)議筆記沥邻，諸如此類危虱。人們做出了諸多估計(jì)，在60-90%的所有企業(yè)數(shù)據(jù)都可能是“黑暗數(shù)據(jù)”唐全，但無人真正知曉埃跷。
數(shù)據(jù)湖。數(shù)據(jù)湖是一個(gè)原始格式的企業(yè)級(jí)數(shù)據(jù)的大型存儲(chǔ)庫邮利。在這里弥雹，我們還需要討論下數(shù)據(jù)倉庫，因?yàn)閿?shù)據(jù)湖和數(shù)據(jù)倉庫在概念上是極其相似的延届，都是企業(yè)級(jí)數(shù)據(jù)的存儲(chǔ)庫剪勿，但在清理和與其他數(shù)據(jù)源集成之后的結(jié)構(gòu)化格式上有所區(qū)別。
數(shù)據(jù)倉庫常用于常規(guī)數(shù)據(jù)(但不完全)方庭。據(jù)說數(shù)據(jù)湖能夠讓用戶輕松訪問企業(yè)級(jí)數(shù)據(jù)厕吉，用戶真正按需知道自己正在尋找的是什么酱固、如何處理并讓其智能化使用。擁抱開源技術(shù)的前提——認(rèn)識(shí)數(shù)據(jù)湖 你知道數(shù)據(jù)湖泊(DATA LAKE)嗎?數(shù)據(jù)挖掘头朱。數(shù)據(jù)挖掘是指利用復(fù)雜的模式識(shí)別技術(shù)從大量數(shù)據(jù)中找到有意義的模式运悲、提取見解。這與我們前文討論的使用個(gè)人數(shù)據(jù)做分析的術(shù)語“分析”密切相關(guān)项钮。為了提取出有意義的模式班眯，數(shù)據(jù)挖掘者使用統(tǒng)計(jì)學(xué)(是呀，好老的數(shù)學(xué))烁巫、機(jī)器學(xué)習(xí)算法和人工智能署隘。
分布式文件系統(tǒng)。由于大數(shù)據(jù)太大而無法在單個(gè)系統(tǒng)上進(jìn)行存儲(chǔ)亚隙，分布式文件系統(tǒng)提供一種數(shù)據(jù)存儲(chǔ)系統(tǒng)磁餐，方便跨多個(gè)存儲(chǔ)設(shè)備進(jìn)行大量數(shù)據(jù)的存放，并有助于降低大量數(shù)據(jù)存儲(chǔ)的成本和復(fù)雜度恃鞋。
ETL崖媚。ETL分別是extract，transform恤浪，load的首字母縮寫，代表提取肴楷、轉(zhuǎn)化和加載的過程水由。 它具體是指“提取”原始數(shù)據(jù)，通過數(shù)據(jù)清洗/修飾的方式進(jìn)行“轉(zhuǎn)化”以獲得 “適合使用”的數(shù)據(jù)赛蔫，進(jìn)而“加載”到合適的存儲(chǔ)庫中供系統(tǒng)使用的整個(gè)過程砂客。盡管ETL這一概念源于數(shù)據(jù)倉庫，但現(xiàn)在也適用于其它情景下的過程呵恢，例如在大數(shù)據(jù)系統(tǒng)中從外部數(shù)據(jù)源獲取/吸收數(shù)據(jù)鞠值。
