? ? ? ?在現(xiàn)代科技發(fā)展的浪潮中刊棕,隨著摩爾定律的應(yīng)驗(yàn)發(fā)展炭晒、PC互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)的突起,不僅在各行業(yè)造成數(shù)據(jù)量的冪級(jí)上升甥角,軟硬件的發(fā)展也給大數(shù)據(jù)的收集网严、清洗、分析嗤无、應(yīng)用帶來了可能震束,一大批公司(互聯(lián)網(wǎng)巨頭、傳統(tǒng)行業(yè)巨頭和新時(shí)期的大數(shù)據(jù)公司)懷揣夢想圍繞數(shù)據(jù)和數(shù)據(jù)應(yīng)用展開了角逐当犯,關(guān)于大數(shù)據(jù)的定義垢村、應(yīng)用、價(jià)值嚎卫,企業(yè)與各界大數(shù)據(jù)大牛都給出了自己的獨(dú)到見解嘉栓,關(guān)于數(shù)據(jù)的算法使用、數(shù)據(jù)模型建設(shè)的重要性隨著水漲船高,出現(xiàn)在大眾視野侵佃,普及型大增麻昼。
? ? ? ?大數(shù)據(jù)既屬于科技,同時(shí)科技的各方面數(shù)據(jù)又可以反過來為科技服務(wù)馋辈,所有的科技都只有在實(shí)踐中實(shí)現(xiàn)應(yīng)用抚芦、量產(chǎn)、商業(yè)化迈螟,才不辜負(fù)它的誕生叉抡,才能真正為人類生活帶來福祉。身在專業(yè)做政企大數(shù)據(jù)應(yīng)用的企業(yè)里井联,深感電子政務(wù)環(huán)境文化的濃厚與大數(shù)據(jù)應(yīng)用發(fā)展與競爭的漩渦激流卜壕。
? ? ? ?大數(shù)據(jù)應(yīng)用按照使用者總的領(lǐng)域分為三個(gè):政用、商用烙常、民用轴捎。深度應(yīng)用覆蓋汽車、教育蚕脏、醫(yī)療侦副、科技、輿情驼鞭、質(zhì)監(jiān)秦驯、公安等40多個(gè)行業(yè)。針對(duì)每個(gè)行業(yè)進(jìn)行數(shù)據(jù)收集挣棕、需求分析译隘,為各行業(yè)、各企業(yè)定制出個(gè)性化全方位的大數(shù)據(jù)應(yīng)用系統(tǒng)洛心。美國最著名的大數(shù)據(jù)公司Palantir曾幫助CIA成功通過數(shù)據(jù)分析找到了本拉登的線索固耘,間接而無法推卸的導(dǎo)致本拉登被海豹突擊隊(duì)擊斃;還曾通過對(duì)各個(gè)銀行系統(tǒng)词身、數(shù)據(jù)交易系統(tǒng)的綜合分析厅目,幫助各個(gè)銀行追回在華爾道夫詐騙案中被詐騙的幾十億美元財(cái)產(chǎn);互聯(lián)網(wǎng)巨頭在數(shù)據(jù)方面對(duì)于競爭對(duì)手的摳搜法严、防護(hù)损敷、保密、炫耀深啤、對(duì)于數(shù)據(jù)在自家產(chǎn)品的深耕應(yīng)用拗馒、將海量數(shù)據(jù)作為彰顯企業(yè)競爭力和提高企業(yè)估值的企業(yè)資產(chǎn)、應(yīng)用產(chǎn)生數(shù)據(jù)-數(shù)據(jù)反哺應(yīng)用的正向閉環(huán)墓塌,如此種種瘟忱,大數(shù)據(jù)的神秘力量早已經(jīng)滲透在我們的生活中啦奥额!
? ? ? ?本人作為一名大數(shù)據(jù)產(chǎn)品汪,就結(jié)合所“孕育并正在出生過程中”的政務(wù)科技大數(shù)據(jù)產(chǎn)品從四個(gè)角度(應(yīng)用策劃访诱、方法論垫挨、項(xiàng)目方案側(cè)重點(diǎn)、應(yīng)用點(diǎn)集合)闡述一下大數(shù)據(jù)應(yīng)用方案的設(shè)計(jì)與實(shí)現(xiàn):
一触菜、 應(yīng)用策劃:
1. “巨人的肩膀”:行業(yè)深耕本身的積累與應(yīng)用洞察九榔,對(duì)于大數(shù)據(jù)應(yīng)用已經(jīng)打造的一套通用方案作為底座,通用的方案包含了:輿情分析涡相、預(yù)警系統(tǒng)哲泊、數(shù)據(jù)分析維度策劃、數(shù)據(jù)可視化呈現(xiàn)方案催蝗、數(shù)據(jù)安全保護(hù)切威、算法模型隨時(shí)待命、數(shù)據(jù)存儲(chǔ)分析框架的軟硬件配置丙号。
2. 數(shù)據(jù)收集:“巧婦難為無米之炊”先朦,大數(shù)據(jù)應(yīng)用的資產(chǎn)是數(shù)據(jù),在政務(wù)科技方案犬缨,需要收集政府部門的內(nèi)部業(yè)務(wù)數(shù)據(jù)喳魏、相關(guān)部門的關(guān)聯(lián)數(shù)據(jù),圍繞這些數(shù)據(jù)怀薛,收集PC互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)刺彩、新聞資訊、科技行業(yè)報(bào)告枝恋、國際國內(nèi)科技行業(yè)情報(bào)创倔、微博、微信焚碌、QQ三幻、知乎等社交平臺(tái)的科技輿情數(shù)據(jù),國家整體各省市科技發(fā)展分析數(shù)據(jù)呐能。
3. 行業(yè)特性:科技政務(wù)數(shù)據(jù)具有鮮明的行業(yè)特色,需要響應(yīng)國家科技發(fā)展策略抑堡,要緊隨科技發(fā)展大趨勢摆出,充分調(diào)動(dòng)地區(qū)各科技企業(yè)、研究機(jī)構(gòu)首妖、高校的高度重視和積極行動(dòng)偎漫,及時(shí)保障各行業(yè)科技人才的持續(xù)輸出與培育,同時(shí)對(duì)科技專家既敬重又進(jìn)行信用監(jiān)督有缆,不僅要推動(dòng)科技項(xiàng)目的綠色申請(qǐng)與進(jìn)行象踊,又能保障科技項(xiàng)目的質(zhì)量温亲,對(duì)于項(xiàng)目給予的資金支持,量入為出杯矩,做一個(gè)盡職的管家婆栈虚。根據(jù)這樣的特性,在方案的設(shè)計(jì)上史隆,基于數(shù)據(jù)的收集魂务,基于行業(yè)特性,給出一個(gè)全面有效的規(guī)劃泌射。
4. 客戶需求:設(shè)計(jì)方案的第一要素粘姜,“這個(gè)設(shè)計(jì)給誰用”至關(guān)重要!滿足客戶實(shí)際應(yīng)用需求熔酷,是設(shè)計(jì)方案的基礎(chǔ)孤紧,產(chǎn)品能夠投放使用并且創(chuàng)造價(jià)值是設(shè)計(jì)方案目標(biāo)!圍繞目標(biāo)用戶拒秘,描繪用戶畫像号显,調(diào)研用戶需求,坐在客戶的位子上翼抠,從客戶角度進(jìn)行思考咙轩,將客戶喜歡的產(chǎn)品體驗(yàn)、風(fēng)格阴颖、實(shí)際需求對(duì)已經(jīng)設(shè)計(jì)出的方案進(jìn)行細(xì)化描繪活喊。
二、 方法論:
1. 模塊化:不僅在代碼編寫上對(duì)于功能進(jìn)行模塊化開發(fā)量愧,方案也可以從功能角度進(jìn)行模塊化劃分和設(shè)計(jì)钾菊,一個(gè)一個(gè)的功能方案模塊不僅方便復(fù)用移植,在客戶不想要某個(gè)功能模塊的時(shí)候偎肃,可以方便刪除煞烫,而又不影響其他的部分,模塊劃分清晰明了累颂,低耦合高復(fù)用滞详。
2. 任務(wù)包與任務(wù)節(jié)點(diǎn):方案的實(shí)施一樣需要量化,設(shè)計(jì)好的方案按功能分成不同的任務(wù)包紊馏,每個(gè)包中再劃分小的任務(wù)節(jié)點(diǎn)料饥,方便估算方案實(shí)現(xiàn)的人力、物力朱监、時(shí)間岸啡。
三、 項(xiàng)目方案側(cè)重點(diǎn):
1. 初期需求采集:初期階段赫编,要發(fā)散思維巡蘸、開腦洞奋隶,根據(jù)客戶需求確定數(shù)據(jù)生態(tài)模型建設(shè),在持續(xù)進(jìn)行的數(shù)據(jù)收集工作結(jié)束之前悦荒,假定所有的數(shù)據(jù)都是可以獲取的唯欣,對(duì)于功能方案設(shè)計(jì)要盡善盡美,盡量全方位挖掘數(shù)據(jù)價(jià)值逾冬,匯總數(shù)據(jù)展示維度黍聂,根據(jù)數(shù)據(jù)應(yīng)用分析,匹配適宜的可視化方式身腻。
2. 項(xiàng)目方案初步定稿:項(xiàng)目方案定稿之后产还,將項(xiàng)目方案結(jié)構(gòu)分成多個(gè)任務(wù)包,每個(gè)任務(wù)包再劃分多個(gè)任務(wù)節(jié)點(diǎn)嘀趟,立項(xiàng)之后脐区,根據(jù)方案建立項(xiàng)目組,找組員組隊(duì)打怪了她按。
3. 項(xiàng)目開發(fā)實(shí)現(xiàn)過程中:一個(gè)是數(shù)據(jù)實(shí)際情況牛隅,要根據(jù)收集數(shù)據(jù)的齊全程度以及維度,對(duì)方案設(shè)計(jì)進(jìn)行微調(diào)與優(yōu)化酌泰;要打破各業(yè)務(wù)部門之間的信息孤島媒佣,實(shí)現(xiàn)數(shù)據(jù)共享;要對(duì)歷史數(shù)據(jù)進(jìn)行收集陵刹;這些都并非是容易的事情默伍。數(shù)據(jù)丟失,各部門數(shù)據(jù)格式不統(tǒng)一衰琐,數(shù)據(jù)沖突也糊,存儲(chǔ)數(shù)據(jù)由于人力硬件等原因,明確的只有一部分羡宙,在對(duì)數(shù)據(jù)清洗狸剃、去噪的過程中,對(duì)數(shù)據(jù)進(jìn)行加工又是一個(gè)繁瑣慎重的工序狗热。
另一個(gè)是客戶需求钞馁,期初的客戶需求都還在想像階段,是腦海中的完美演繹匿刮,這個(gè)跟買衣服一樣:想象中穿上會(huì)好看指攒,但只有真試穿后才知道是否漂亮。在開發(fā)過程中僻焚,在每一個(gè)小任務(wù)點(diǎn)完成后,交給客戶再次確認(rèn)膝擂,這個(gè)實(shí)際的體驗(yàn)是否是他們想要的虑啤,根據(jù)客戶需求對(duì)方案不斷優(yōu)化調(diào)整是個(gè)必經(jīng)的過程隙弛。
4. 項(xiàng)目驗(yàn)收:項(xiàng)目整體完成,設(shè)計(jì)方案成果終于變成現(xiàn)實(shí)中的樣子狞山,當(dāng)所有的功能點(diǎn)和客戶的需求碰撞在一起的時(shí)候全闷,都會(huì)出現(xiàn)調(diào)整,盡量滿足客戶的應(yīng)用需求的同時(shí)萍启,也要考慮到數(shù)據(jù)本身的特性总珠,積極溝通,使項(xiàng)目順利完成勘纯。
5. 項(xiàng)目上線:孩子出生后局服,放出去跑一跑,看看四肢是否健全驳遵,是否人見人愛花見花開淫奔,不管是方案還是產(chǎn)品,實(shí)際的反饋都是一個(gè)成長堤结,對(duì)這些反饋進(jìn)行記錄唆迁,一方面在產(chǎn)品的迭代更新中擇優(yōu)上新,一方面反哺到方案竞穷,進(jìn)行項(xiàng)目總結(jié)和方案設(shè)計(jì)總結(jié)唐责。
四、 應(yīng)用點(diǎn):
1. 數(shù)據(jù)監(jiān)測:數(shù)據(jù)的產(chǎn)生是實(shí)時(shí)的流動(dòng)信息瘾带,對(duì)數(shù)據(jù)實(shí)時(shí)監(jiān)測鼠哥,實(shí)時(shí)顯示各方面數(shù)據(jù)的變動(dòng)、科技項(xiàng)目數(shù)量月弛、項(xiàng)目進(jìn)度和負(fù)責(zé)人肴盏、項(xiàng)目的預(yù)算和產(chǎn)出、科技企業(yè)的科技成果與商業(yè)實(shí)現(xiàn)帽衙。
2. 數(shù)據(jù)對(duì)比:科技發(fā)展的國際趨勢菜皂、國內(nèi)趨勢、某地區(qū)趨勢厉萝,當(dāng)三條數(shù)據(jù)線放在一起時(shí)恍飘,對(duì)比的戲劇化效果就出來了,通過從時(shí)間和地域兩個(gè)維度谴垫,對(duì)數(shù)據(jù)進(jìn)行橫向縱向?qū)Ρ确治稣履福瑪?shù)據(jù)和目標(biāo)數(shù)據(jù)的可視化對(duì)比,給客戶提供有效的決策支撐翩剪。
3. 未來預(yù)測:在海量的歷史數(shù)據(jù)中得出數(shù)據(jù)之間的相關(guān)關(guān)系乳怎,通過算法模型將關(guān)系表達(dá)出來。歷史都是循環(huán)往復(fù)的前弯,當(dāng)同樣的數(shù)據(jù)異常波動(dòng)出現(xiàn)時(shí)蚪缀,我們就可以知道接下來會(huì)發(fā)生什么秫逝,應(yīng)該采取怎樣的措施應(yīng)對(duì)。
4. 預(yù)警系統(tǒng):我們對(duì)于系統(tǒng)的運(yùn)行設(shè)置一些正常范圍的閥值询枚,當(dāng)超出正常范圍违帆,發(fā)出預(yù)警信號(hào),不同的程度使用不同等級(jí)的預(yù)警信息金蜀、預(yù)警強(qiáng)度刷后、顏色標(biāo)識(shí),發(fā)送給不同等級(jí)的相關(guān)部門負(fù)責(zé)人處理渊抄,能及時(shí)引起重視尝胆,控制事態(tài),找出原因抒线。
5. 輿情系統(tǒng):“聽見群眾的聲音”班巩,實(shí)時(shí)監(jiān)測輿論,企業(yè)和工作者的正負(fù)面輿論評(píng)價(jià)嘶炭,輿論的來源抱慌、發(fā)布者、牽扯利益方眨猎、輿論導(dǎo)向抑进、輿論影響力、輿論浪潮勢能睡陪∷律客戶能及時(shí)控制,及時(shí)了解底層信息兰迫。
6. 定向服務(wù):不同的業(yè)務(wù)部門關(guān)注的點(diǎn)是不一樣的信殊,業(yè)務(wù)職責(zé)的不同造成他們觀察世界的角度不同,除了通用的數(shù)據(jù)展示之外汁果,根據(jù)不同的需求和觀察維度涡拘,定制設(shè)計(jì)出不同的數(shù)據(jù)挖掘方式、分析角度据德、展示方案鳄乏。
7. 數(shù)據(jù)權(quán)限保護(hù):數(shù)據(jù)安全和隱私保護(hù)是一項(xiàng)重中之重,是數(shù)據(jù)共享開放所帶來的硬幣另一面棘利,對(duì)于數(shù)據(jù)設(shè)置權(quán)限橱野,對(duì)于功能模塊設(shè)置權(quán)限,不同的業(yè)務(wù)部門善玫、不同的人員角色看到的只是自己權(quán)限范圍之內(nèi)的數(shù)據(jù)水援、不同的功能模塊。
? ? ? ?以上是對(duì)于產(chǎn)品工作和方案工作綜合的感悟,大數(shù)據(jù)的設(shè)計(jì)和實(shí)現(xiàn)是一個(gè)奇妙而充滿挑戰(zhàn)的過程裹唆,科技之美的樂趣與甘苦也正在于這樣翻越一座又一座的大山的過程中誓斥。