關(guān)于企業(yè)大數(shù)據(jù)實踐原則的探討

隨著互聯(lián)網(wǎng)正卧、移動互聯(lián)網(wǎng)的快速發(fā)展蠢熄,企業(yè)數(shù)據(jù)資產(chǎn)越發(fā)顯得其重要性,但是企業(yè)對于大數(shù)據(jù)的應(yīng)用不當(dāng)可能很容易造成失控炉旷,并可能消耗企業(yè)資源和預(yù)算签孔。

雖然大數(shù)據(jù)可以為企業(yè)用戶提供卓越的洞察力和寬闊的視角,也有可能讓企業(yè)不堪重負(fù)砾跃。企業(yè)根據(jù)業(yè)務(wù)出發(fā)去收集相關(guān)的數(shù)據(jù)并做出自己的選擇骏啰,而目前企業(yè)面臨的主要問題是大數(shù)據(jù)是由技術(shù)專業(yè)人員收集的并付諸實踐的技術(shù)解決方案,但是大數(shù)據(jù)的最佳實踐是結(jié)合企業(yè)的業(yè)務(wù)流程去發(fā)掘數(shù)據(jù)的潛在價值抽高。

由于互聯(lián)網(wǎng)判耕、物聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的迅猛發(fā)展,使得IoT設(shè)備得到爆炸式增長翘骂,人們收集到的數(shù)據(jù)比以往更多壁熄。根據(jù)權(quán)威機構(gòu)的調(diào)查,越來越多的公司其存儲的數(shù)據(jù)量將會越來越大碳竟,數(shù)據(jù)量級別將會達(dá)到TB及PB以上草丧,而企業(yè)每年因數(shù)據(jù)損壞而造成損失會越來越高。然而莹桅,企業(yè)在創(chuàng)建數(shù)據(jù)湖或數(shù)據(jù)倉庫的具體實踐中大部分?jǐn)?shù)據(jù)未被使用或曾被使用過昌执,企業(yè)的數(shù)據(jù)湖將快速積累成為存滿數(shù)據(jù)的信息池, 這將導(dǎo)致大量的數(shù)據(jù)存儲空間被浪費诈泼。企業(yè)在大數(shù)據(jù)實踐中最基本的問題是許多數(shù)據(jù)只得到了部分處理或完全偏離了基礎(chǔ)懂拾,數(shù)據(jù)收集不正確或收集手段沒有正確定義,企業(yè)的業(yè)務(wù)很明顯與大數(shù)據(jù)有關(guān)铐达。

這對于商業(yè)數(shù)據(jù)庫(如Oracle岖赋、DB2、SQLServer等關(guān)系型數(shù)據(jù)庫)中使用的常規(guī)的瓮孙、日常的唐断、小級別的數(shù)據(jù)來說是個小問題选脊, 但對于企業(yè)來說,則需要有效的利用大數(shù)據(jù)技術(shù)去處理大量的信息脸甘,但因其數(shù)據(jù)的規(guī)模大恳啥,企業(yè)獲得收益或混淆的可能性也越大。因此斤程,企業(yè)如何“正確”的利用大數(shù)據(jù)變得愈加重要角寸。

那么企業(yè)在大數(shù)據(jù)實踐中應(yīng)該遵循什么樣的原則,“正確”對于企業(yè)意味著哪些應(yīng)用關(guān)鍵原則忿墅。下面我們將談一談企業(yè)大數(shù)據(jù)實踐的關(guān)鍵原則扁藕。

數(shù)據(jù)分析領(lǐng)域的迅速發(fā)展,企業(yè)大數(shù)據(jù)的最佳實踐的概念正在慢慢的演變疚脐。企業(yè)需要通過可能的最佳策略進(jìn)行競爭亿柑,因此企業(yè)大數(shù)據(jù)的實踐提出一些關(guān)鍵原則和策略,希望企業(yè)能夠避免被大量無用數(shù)據(jù)所淹沒棍弄,致使企業(yè)被淹沒在數(shù)據(jù)湖中望薄。

image.png

1. 明確大數(shù)據(jù)業(yè)務(wù)目標(biāo)

在企業(yè)開始利用大數(shù)據(jù)分析過程之前,了解業(yè)務(wù)需求和目標(biāo)應(yīng)該是企業(yè)采取的第一步呼畸,也是最重要的一步痕支。企業(yè)用戶必須明確他們想要的結(jié)果。企業(yè)管理層必須率先在大數(shù)據(jù)實踐前做好充分準(zhǔn)備蛮原,正確接納大數(shù)據(jù)的思維卧须,并且在技術(shù)方面必須遵循相應(yīng)的技術(shù)原則。如果企業(yè)的管理層沒有明確的業(yè)務(wù)目標(biāo)儒陨,那么將不能收集并正確創(chuàng)建數(shù)據(jù)花嘶。很多組織在大數(shù)據(jù)實踐過程中會收集了一切能夠收集的數(shù)據(jù),然后再去清除他們不需要的數(shù)據(jù)蹦漠,這會造成很多不必要的工作椭员,因此企業(yè)應(yīng)該事先整理和規(guī)劃出所需要的數(shù)據(jù)范疇,而不是收集全部數(shù)據(jù)笛园。

2. 有效評估并與合作伙伴制定大數(shù)據(jù)戰(zhàn)略

大數(shù)據(jù)項目不應(yīng)該由IT部門孤立完成隘击,大數(shù)據(jù)項目必然涉及至數(shù)據(jù)所有者, 包括企業(yè)內(nèi)部產(chǎn)生數(shù)據(jù)的每個業(yè)務(wù)部門研铆;或者是一個提供大數(shù)據(jù)技術(shù)的供應(yīng)商或咨詢機構(gòu)埋同,這些供應(yīng)商可以為組織帶來外部的視角和眼光,并評估組織當(dāng)前的實際情況蚜印。

在制定大數(shù)據(jù)戰(zhàn)略的過程中,應(yīng)該對整個過程持續(xù)進(jìn)行檢查和反饋留量,以確保企業(yè)收集所需的數(shù)據(jù)的正確性和有效性窄赋,并且會為企業(yè)的高效運營提供所需的見解哟冬,這就像廚師在整個烹飪過程中時刻檢查自己的工作一樣,而不只是收集所有內(nèi)容之后再進(jìn)行檢查忆绰,因為如果在此期間數(shù)據(jù)出錯浩峡,這意味著檢查數(shù)據(jù)要一直回溯到起點,并在不必要的時候啟動错敢。

企業(yè)通過與那些項目利益相關(guān)者一起協(xié)同工作翰灾,確保關(guān)聯(lián)方能夠有效的參與大數(shù)據(jù)項目,從而確保項目取得成功稚茅。

3. 企業(yè)應(yīng)確定自己的主數(shù)據(jù)源和大數(shù)據(jù)建設(shè)目標(biāo)

企業(yè)擁有的大量的數(shù)據(jù)并不等同于是良好可用的數(shù)據(jù)纸淮。企業(yè)可能會在某個地方將正確的數(shù)據(jù)混合在一起,但它會由企業(yè)自己決定亚享。收集的隨機數(shù)據(jù)越多咽块,越是經(jīng)常雜亂無章,形式各異欺税,這將不利于大數(shù)據(jù)項目實踐的有效開展侈沪。

同樣重要的是確定企業(yè)所擁有的是其所沒有的東西。一旦收集了項目所需的數(shù)據(jù)晚凿,就確定可能缺少什么亭罪,在這些工作開始之前一定要把一切都準(zhǔn)備好。

企業(yè)并不總是能夠事先知道需要什么數(shù)據(jù)字段歼秽,所以一定要確保軟件的靈活性应役,以便在實施過程中調(diào)整。這與確定企業(yè)擁有什么以及在大數(shù)據(jù)中需要什么的理念相吻合哲银。

其底線是企業(yè)必須對原有的數(shù)據(jù)進(jìn)行測試并檢查結(jié)果扛吞。企業(yè)可能會驚訝地發(fā)現(xiàn)沒有得到需要的答案。在企業(yè)首先開展該項目之前荆责,最好先找出答案滥比。企業(yè)在確認(rèn)數(shù)據(jù)來源時可以事先做好企業(yè)的主數(shù)據(jù)和元數(shù)據(jù)的管理工作, 這樣可以確保大數(shù)據(jù)建設(shè)的有效實施做院。

4. 保持持續(xù)有效的溝通和評估

有效的協(xié)作需要利益相關(guān)者和IT部門之間的持續(xù)溝通盲泛。企業(yè)的目標(biāo)可能會在項目的進(jìn)行期間發(fā)生變化,如果發(fā)生這種情況键耕,必須將變更信息傳達(dá)給IT部門寺滚。企業(yè)可能需要停止收集一種形式的數(shù)據(jù),并開始收集另一種形式的數(shù)據(jù)屈雄,而企業(yè)不希望這種情況發(fā)生或者持續(xù)下去村视。

如何繪制一張清晰的大數(shù)據(jù)戰(zhàn)略地圖,在某些地點打破預(yù)期或期望的結(jié)果酒奶。如果是一個為期12個月的項目蚁孔,每三個月檢查一次奶赔。這給了企業(yè)一個復(fù)習(xí)和改變的機會。

5. 引入敏捷技術(shù)與迭代方法提升大數(shù)據(jù)的快速反應(yīng)

企業(yè)開展的第一個大數(shù)據(jù)項目不應(yīng)該過于雄心勃勃杠氢。需要從概念驗證或試點項目開始站刑,這樣的項目規(guī)模相對較小,并且易于管理鼻百。

選擇企業(yè)想改善業(yè)務(wù)流程的一個領(lǐng)域绞旅,但是在事情出錯或錯誤嚴(yán)重的情況下它不會有太大的影響。另外温艇,如果問題不需要解決因悲,不要強迫采用大數(shù)據(jù)解決方案。

企業(yè)還應(yīng)在大數(shù)據(jù)實踐中使用敏捷開發(fā)技術(shù)和迭代方法來實現(xiàn)中贝。敏捷是一種操作手段囤捻,并不局限于開發(fā)。敏捷開發(fā)是什么?例如寫一小段代碼邻寿,然后開始測試多種方法蝎土,然后再添加,再進(jìn)行徹底測試绣否、沖洗誊涯、重復(fù)。這是一種可以應(yīng)用于任何過程的方法蒜撮,而不僅僅是編程暴构。

使用敏捷和迭代實現(xiàn)技術(shù),可以根據(jù)當(dāng)前需求在短時間內(nèi)提供快速解決方案段磨,而不是一次性瀑布方法取逾。

6. 有效的評估大數(shù)據(jù)技術(shù)需求

根據(jù)調(diào)研機構(gòu)IDC公司的數(shù)據(jù),絕大多數(shù)數(shù)據(jù)是非結(jié)構(gòu)化的苹支,可能高達(dá)90%砾隅。但是企業(yè)仍然需要查看數(shù)據(jù)來自哪里以確定最佳數(shù)據(jù)存儲。企業(yè)可以選擇SQL或NoSQL以及NewSQL(兩種數(shù)據(jù)庫的變體)债蜜。

企業(yè)需要實時洞察力還是在做事后評估?可能需要Apache Spark技術(shù)體系進(jìn)行實時數(shù)據(jù)處理晴埂,或者可以使用Hadoop技術(shù)體系實現(xiàn)離線數(shù)據(jù)處理。還有用于分散在多個地域的應(yīng)用數(shù)據(jù)庫(企業(yè)的分布式應(yīng)用)寻定,這可能是具有多個分布式應(yīng)用的公司要求儒洛。

另外,企業(yè)需要查看每個數(shù)據(jù)庫的具體分析功能狼速,看看它們是否適用琅锻。

7. 與云計算平臺的大數(shù)據(jù)保持一致

企業(yè)在采用云計算時必須謹(jǐn)慎,因為可能采用按量計費,而大數(shù)據(jù)意味著要處理大量數(shù)據(jù)恼蓬。但是沫浆,云計算也有很多優(yōu)點。公共云可以即時或至少非彻鲋龋快速地進(jìn)行配置和擴展。Amazon EMR和Google BigQuery等服務(wù)允許快速建立原型淮捆。

首先是使用云計算平臺來快速構(gòu)建企業(yè)的環(huán)境原型郁油。使用DataSet和Amazon、Microsoft Azure等云計算提供商提供的許多工具攀痊,企業(yè)可以在幾個小時內(nèi)建立桐腌、開發(fā)和測試環(huán)境,并將其用于測試平臺苟径。然后案站,當(dāng)企業(yè)制定出一個堅實的運營模式時,將其移回內(nèi)部部署的數(shù)據(jù)中心進(jìn)行工作棘街。

云計算的另一個優(yōu)點是企業(yè)收集的大部分?jǐn)?shù)據(jù)都可能駐留在那里蟆盐。在這種情況下,企業(yè)沒有理由將數(shù)據(jù)轉(zhuǎn)移到企業(yè)內(nèi)部部署的數(shù)據(jù)中心遭殉。許多數(shù)據(jù)庫和大數(shù)據(jù)應(yīng)用程序都支持來自云計算和本地的各種數(shù)據(jù)源石挂,因此,如果企業(yè)在云計算平臺中收集數(shù)據(jù)险污,應(yīng)確保云計算平臺中的數(shù)據(jù)可用性痹愚。

8. 著重培養(yǎng)企業(yè)的大數(shù)據(jù)人才,做好數(shù)據(jù)的安全策略

大數(shù)據(jù)是一個新興的領(lǐng)域蛔糯,而不是像Python或Java編程這些可以自學(xué)成才的領(lǐng)域拯腮。麥肯錫全球研究院的一項研究表明,2018年全球?qū)⑷狈?40至190萬名擁有必要專業(yè)知識的人員蚁飒,另外還缺乏基于分析結(jié)果作出決策的150萬名相關(guān)管理人員和分析師动壤。

首先必須明確的是誰應(yīng)該有權(quán)訪問數(shù)據(jù),以及有多少訪問權(quán)限飒箭。數(shù)據(jù)隱私是當(dāng)今的一個主要問題狼电,尤其是歐洲即將實施嚴(yán)格的通用數(shù)據(jù)保護(hù)條例(GDPR),這將對企業(yè)的數(shù)據(jù)使用造成嚴(yán)格的限制弦蹂。

企業(yè)確保清除所有數(shù)據(jù)隱私問題以及誰有權(quán)訪問敏感數(shù)據(jù)肩碟。企業(yè)應(yīng)該關(guān)注其他治理問題,如營業(yè)額?確定哪些數(shù)據(jù)(如果有的話)可以進(jìn)入公共云凸椿,哪些數(shù)據(jù)必須保留在本地部署數(shù)據(jù)中心削祈,以及誰控制什么。

所以,企業(yè)應(yīng)該在大數(shù)據(jù)實踐中注重對于大數(shù)據(jù)人才的培養(yǎng)體系髓抑,確保后續(xù)工作的持續(xù)開展咙崎。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市吨拍,隨后出現(xiàn)的幾起案子褪猛,更是在濱河造成了極大的恐慌,老刑警劉巖羹饰,帶你破解...
    沈念sama閱讀 218,755評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件伊滋,死亡現(xiàn)場離奇詭異,居然都是意外死亡队秩,警方通過查閱死者的電腦和手機笑旺,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,305評論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來馍资,“玉大人筒主,你說我怎么就攤上這事∧裥罚” “怎么了乌妙?”我有些...
    開封第一講書人閱讀 165,138評論 0 355
  • 文/不壞的土叔 我叫張陵,是天一觀的道長建钥。 經(jīng)常有香客問我冠胯,道長,這世上最難降的妖魔是什么锦针? 我笑而不...
    開封第一講書人閱讀 58,791評論 1 295
  • 正文 為了忘掉前任荠察,我火速辦了婚禮,結(jié)果婚禮上奈搜,老公的妹妹穿的比我還像新娘悉盆。我一直安慰自己,他們只是感情好馋吗,可當(dāng)我...
    茶點故事閱讀 67,794評論 6 392
  • 文/花漫 我一把揭開白布焕盟。 她就那樣靜靜地躺著,像睡著了一般宏粤。 火紅的嫁衣襯著肌膚如雪脚翘。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,631評論 1 305
  • 那天绍哎,我揣著相機與錄音来农,去河邊找鬼。 笑死崇堰,一個胖子當(dāng)著我的面吹牛沃于,可吹牛的內(nèi)容都是我干的涩咖。 我是一名探鬼主播,決...
    沈念sama閱讀 40,362評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼繁莹,長吁一口氣:“原來是場噩夢啊……” “哼檩互!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起咨演,我...
    開封第一講書人閱讀 39,264評論 0 276
  • 序言:老撾萬榮一對情侶失蹤闸昨,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后薄风,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體零院,經(jīng)...
    沈念sama閱讀 45,724評論 1 315
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,900評論 3 336
  • 正文 我和宋清朗相戀三年村刨,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片撰茎。...
    茶點故事閱讀 40,040評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡嵌牺,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出龄糊,到底是詐尸還是另有隱情逆粹,我是刑警寧澤,帶...
    沈念sama閱讀 35,742評論 5 346
  • 正文 年R本政府宣布炫惩,位于F島的核電站僻弹,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏他嚷。R本人自食惡果不足惜蹋绽,卻給世界環(huán)境...
    茶點故事閱讀 41,364評論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望筋蓖。 院中可真熱鬧卸耘,春花似錦、人聲如沸粘咖。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,944評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽瓮下。三九已至翰铡,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間讽坏,已是汗流浹背锭魔。 一陣腳步聲響...
    開封第一講書人閱讀 33,060評論 1 270
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留路呜,地道東北人赂毯。 一個月前我還...
    沈念sama閱讀 48,247評論 3 371
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親党涕。 傳聞我的和親對象是個殘疾皇子烦感,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,979評論 2 355

推薦閱讀更多精彩內(nèi)容