數(shù)據(jù)資產(chǎn)的管理方法

|0x00 數(shù)據(jù)資產(chǎn)的重要性

在最近幾年的業(yè)務(wù)發(fā)展中讼育,數(shù)據(jù)都是各大公司建設(shè)的“寵兒”,幾乎所有的業(yè)務(wù)都圍繞數(shù)據(jù)展開沃缘,其重要性堪比信息化時代的“石油”舅锄。因此鞭达,大多數(shù)的公司都會建設(shè)自己的數(shù)據(jù)資產(chǎn)平臺,一方面是為了做一些諸如統(tǒng)一數(shù)據(jù)口徑一類的基礎(chǔ)工作皇忿,另一方面也是為了深入挖掘數(shù)據(jù)的價值畴蹭,為企業(yè)帶來高額的利潤回報。

回看過去的發(fā)展歷史鳍烁,圍繞著數(shù)據(jù)的采集叨襟、建設(shè)、管理和應(yīng)用幔荒,已經(jīng)基本形成了體系化的建設(shè)方法糊闽。運營在做定價的時候,需要數(shù)據(jù)的支持铺峭;財務(wù)在評估預(yù)算的時候墓怀,需要數(shù)據(jù)的支持汽纠;法務(wù)在判定風險時卫键,同樣需要數(shù)據(jù)的支持…… 同時,隨著企業(yè)發(fā)展的進行虱朵,數(shù)據(jù)口徑的統(tǒng)一需要對數(shù)據(jù)進行治理莉炉;成本的管理需要對數(shù)據(jù)進行治理钓账;支持業(yè)務(wù)的增多需要對數(shù)據(jù)進行治理…… 凡此種種,當我們?nèi)鄙倭藬?shù)據(jù)資產(chǎn)門戶的時候絮宁,很多的治理和查詢工作梆暮,便很容易產(chǎn)生亂子。

某些意義上绍昂,數(shù)據(jù)資產(chǎn)的整理啦粹,是一種“臟活累活”,需要持續(xù)的維護和迭代窘游,但做好之后唠椭,其發(fā)揮的價值,也是非常大的忍饰,只不過這種價值需要依附于別的項目才能體現(xiàn)出來贪嫂。

因此,本文簡單介紹一種整理數(shù)據(jù)資產(chǎn)的方法艾蓝,供大家交流力崇,篇幅不長,介紹思路更多一些赢织。

|0x01 數(shù)據(jù)的整理

其實數(shù)據(jù)的整理亮靴,用“運營”的思路來講,更像是“品類規(guī)劃”于置。只有把類目和索引做到了台猴,全局層面便有了可視化的基礎(chǔ),后續(xù)資產(chǎn)的整理和歸類俱两,也會有科學(xué)的指引饱狂。

像比較大一點的互聯(lián)網(wǎng)公司,業(yè)務(wù)通常不是單一的宪彩,因此如何仿照類目的思路休讳,將一、二尿孔、三級索引做好俊柔,就是一個關(guān)鍵點和難點。

從消費者的視角活合,可以根據(jù)行為偏好雏婶、互動行為、個人屬性白指、社交關(guān)系等方面構(gòu)建類目留晚,行為偏好又可以分為購買行為、點擊行為告嘲、瀏覽行為错维,等等奖地;從業(yè)務(wù)的視角,可以根據(jù)電商赋焕、金融参歹、社交、媒體等業(yè)務(wù)屬性構(gòu)建類目隆判,電商又可以分為B2C犬庇、C2C、B2B2C等不同的業(yè)務(wù)模式侨嘀;從部門的視角械筛,又可以根據(jù)XX事業(yè)部這種方式來建設(shè),然后一級一級細分到具體負責的團隊飒炎÷裼矗總之,根據(jù)某一種分類的原則郎汪,將一二三級類目做完整赤赊,通常情況下可以很快的定位到需要的數(shù)據(jù)。

當然煞赢,只有類目也是不行的抛计,這時候支持一個基本的搜索功能,將業(yè)務(wù)名照筑、表名吹截、字段名、屬性名等做成模糊匹配的方法凝危,供用戶搜索和查詢波俄,便可以支持絕大多數(shù)的自行查詢場景。

當然蛾默,因為表或者字段的展示格式都是固定的懦铺,因此搜索的結(jié)果可以做到非常的美觀,配合手工打上的標簽支鸡,90%以上的場景都可以支持用戶自定義查詢冬念。

總結(jié)一下,資產(chǎn)的導(dǎo)航牧挣,適合以“類目”的方式進行組織急前,以搜索的方式配合使用,展示的接口以樹形最佳瀑构,配合標簽等個性化的內(nèi)容裆针,可以最大程度上滿足查詢訴求。

|0x02 數(shù)據(jù)的獲取和使用

當用戶查詢到需要使用的數(shù)據(jù)時,下一步便是如何獲取和使用數(shù)據(jù)据块。在通常的技術(shù)場景下码邻,研發(fā)的同學(xué)只需要申請對應(yīng)的表權(quán)限既可以獲得折剃。

但現(xiàn)在是有三種情況另假,我們需要分別看獲取的方式:

一種是這種數(shù)據(jù)不適合直接開放底表,因為權(quán)限隔離的緣故怕犁,不能把所有權(quán)限開放出去边篮,這時候就需要有資產(chǎn)分離的功能,也就是根據(jù)適用范圍申請數(shù)據(jù)奏甫;

一種是非技術(shù)的同學(xué)申請戈轿,通常直接給一個表也是不知道怎么用的,可能給一個數(shù)據(jù)看板阵子,或者是申請一個數(shù)據(jù)集思杯,更合適一些,非研發(fā)的同學(xué)挠进,可以使用報表工具自行配置色乾。當然這種場景可以支持的數(shù)據(jù)查詢能力會比較有限,需要盡可能的將報表的門戶建設(shè)做好之后领突,再開放出去暖璧;

一種是有明確數(shù)據(jù)安全場景的訴求,比如最近剛出臺的“個保法”君旦,對于用戶隱私的數(shù)據(jù)監(jiān)管非常嚴格澎办,這時候就需要配套有對應(yīng)的法務(wù)審批或者是其他的數(shù)據(jù)安全接口人審批,這里的流程也是要單獨設(shè)置的金砍。

但不論哪種方式局蚀,都少不了完善的數(shù)據(jù)使用流程,這其實是屬于“流程管理”的范疇恕稠,系統(tǒng)通常會默認指定審批人至会,但如果有特殊的需要,比如“個保法”谱俭,通常也需要能夠自行設(shè)定審批流程奉件。

總結(jié)一下,數(shù)據(jù)的獲取昆著,根據(jù)場景和使用人的不同县貌,提供數(shù)據(jù)表、字段或者是報表等多種方式凑懂,同時要配合有相應(yīng)的權(quán)限審批和資產(chǎn)分離的功能煤痕。

|0xFF 數(shù)據(jù)的治理

數(shù)據(jù)的治理也是一項比較重要但繁瑣的工作。因為數(shù)據(jù)資產(chǎn)的錄入,通常是人來維護的摆碉,那么相同的指標塘匣,錄入多次的時候,用戶以哪次為準呢巷帝?這就是最典型維護難題忌卤,因此,在錄入或者自動更新數(shù)據(jù)的時候楞泼,提供一些提示性的功能驰徊,或者通過“精品”、“臨時”等標簽予以區(qū)分堕阔,也是一種可行的思路棍厂。

因而,通常情況下超陆,技術(shù)提供的公共資產(chǎn)牺弹,一般以公共層的數(shù)據(jù)為準,只有明確使用場景的情況下时呀,ADS才會被提供出來张漂。

接下來,就是針對龐大的數(shù)據(jù)資產(chǎn)退唠,構(gòu)建自動化的診斷和分析功能了鹃锈,關(guān)于如何用數(shù)據(jù)來治理資產(chǎn),參考個人之前的文章《數(shù)據(jù)資產(chǎn)治理概要:用數(shù)據(jù)來治理數(shù)據(jù)》瞧预。標準化的治理之前屎债,通常需要有全局的數(shù)據(jù)資產(chǎn)視圖,才能制定出明確的目標垢油、范圍和結(jié)果盆驹。

最后,數(shù)據(jù)資產(chǎn)的使用滩愁,通常也是需要有穩(wěn)定性的治理躯喇,比如每個表或者某一份數(shù)據(jù),更新的頻率硝枉、每次更新的時間等廉丽,都需要有說明提供給使用者,而開發(fā)來維護顯然是不現(xiàn)實的妻味,因此通過監(jiān)控Hadoop集群的運行結(jié)果來自動更新正压,就是一種不錯的方法。同時责球,一些執(zhí)行明顯偏慢但又使用者非常多的數(shù)據(jù)焦履,也可以有相應(yīng)的預(yù)警郵件提供給使用者拓劝。

數(shù)據(jù)資產(chǎn)的管理,底層也是基于數(shù)倉建模嘉裤、數(shù)據(jù)平臺郑临、元數(shù)據(jù)標準、質(zhì)量監(jiān)控等基礎(chǔ)的機制屑宠,配合組織的審批厢洞、管理等標準,最終才能服務(wù)于頂層戰(zhàn)略侨把。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末犀变,一起剝皮案震驚了整個濱河市妹孙,隨后出現(xiàn)的幾起案子秋柄,更是在濱河造成了極大的恐慌,老刑警劉巖蠢正,帶你破解...
    沈念sama閱讀 222,681評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件骇笔,死亡現(xiàn)場離奇詭異,居然都是意外死亡嚣崭,警方通過查閱死者的電腦和手機笨触,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,205評論 3 399
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來雹舀,“玉大人芦劣,你說我怎么就攤上這事∷涤埽” “怎么了虚吟?”我有些...
    開封第一講書人閱讀 169,421評論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長签财。 經(jīng)常有香客問我串慰,道長,這世上最難降的妖魔是什么唱蒸? 我笑而不...
    開封第一講書人閱讀 60,114評論 1 300
  • 正文 為了忘掉前任邦鲫,我火速辦了婚禮,結(jié)果婚禮上神汹,老公的妹妹穿的比我還像新娘庆捺。我一直安慰自己,他們只是感情好屁魏,可當我...
    茶點故事閱讀 69,116評論 6 398
  • 文/花漫 我一把揭開白布滔以。 她就那樣靜靜地躺著,像睡著了一般蚁堤。 火紅的嫁衣襯著肌膚如雪醉者。 梳的紋絲不亂的頭發(fā)上但狭,一...
    開封第一講書人閱讀 52,713評論 1 312
  • 那天,我揣著相機與錄音撬即,去河邊找鬼立磁。 笑死,一個胖子當著我的面吹牛剥槐,可吹牛的內(nèi)容都是我干的唱歧。 我是一名探鬼主播,決...
    沈念sama閱讀 41,170評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼粒竖,長吁一口氣:“原來是場噩夢啊……” “哼颅崩!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起蕊苗,我...
    開封第一講書人閱讀 40,116評論 0 277
  • 序言:老撾萬榮一對情侶失蹤沿后,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后朽砰,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體尖滚,經(jīng)...
    沈念sama閱讀 46,651評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,714評論 3 342
  • 正文 我和宋清朗相戀三年瞧柔,在試婚紗的時候發(fā)現(xiàn)自己被綠了漆弄。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,865評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡造锅,死狀恐怖撼唾,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情哥蔚,我是刑警寧澤倒谷,帶...
    沈念sama閱讀 36,527評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站肺素,受9級特大地震影響恨锚,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜倍靡,卻給世界環(huán)境...
    茶點故事閱讀 42,211評論 3 336
  • 文/蒙蒙 一猴伶、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧塌西,春花似錦他挎、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,699評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至站辉,卻和暖如春呢撞,著一層夾襖步出監(jiān)牢的瞬間损姜,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,814評論 1 274
  • 我被黑心中介騙來泰國打工殊霞, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留摧阅,地道東北人。 一個月前我還...
    沈念sama閱讀 49,299評論 3 379
  • 正文 我出身青樓绷蹲,卻偏偏與公主長得像棒卷,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子祝钢,可洞房花燭夜當晚...
    茶點故事閱讀 45,870評論 2 361

推薦閱讀更多精彩內(nèi)容