架構(gòu)師訓(xùn)練營第13周作業(yè) 數(shù)據(jù)分析 PageRank

你所在的行業(yè),常用的數(shù)據(jù)分析指標(biāo)有哪些纸颜?請簡述兽泣。

我目前在影視后期公司工作,影視后期制作過程設(shè)計到多項目胁孙、多環(huán)節(jié)唠倦、多任務(wù)的并行工作称鳞,對于資源分配、成本把控稠鼻、生產(chǎn)效率冈止、成品質(zhì)量等都比較看重,因此常用的數(shù)據(jù)分析指標(biāo)有以下幾種:

任務(wù)數(shù)和版本數(shù)

通常會設(shè)定一個統(tǒng)計的時間段候齿,例如一天熙暴、一周、一個月慌盯,統(tǒng)計該短時間內(nèi)所有的任務(wù)數(shù)(一個任務(wù)指的是特定制作環(huán)節(jié)中的一個步驟)周霉,單位時間內(nèi)并行任務(wù)數(shù)越多則代表公司的生產(chǎn)狀況越繁忙。

在此基礎(chǔ)上亚皂,還可以統(tǒng)計指定時間內(nèi)完成的任務(wù)數(shù)俱箱、返工的任務(wù)數(shù)、延期的任務(wù)數(shù)等灭必,基于任務(wù)的不同狀態(tài)分別進(jìn)行統(tǒng)計分析狞谱,可以進(jìn)一步了解項目的進(jìn)展情況是否順利,在哪些環(huán)節(jié)出現(xiàn)了問題厂财,從而幫助生產(chǎn)團隊及時作出調(diào)整芋簿。

對于每個任務(wù),通過不斷迭代版本來逐步完善制作效果璃饱,直至審核通過与斤。因此,針對版本數(shù)的統(tǒng)計可以直觀地呈現(xiàn)不同任務(wù)的制作難度荚恶、返工率撩穿,版本越多則表明根據(jù)反饋進(jìn)行修改的情況越普遍。另一方面谒撼,每日提交的版本數(shù)也可以反映出生產(chǎn)團隊的迭代速度和生產(chǎn)效率食寡。

鏡頭分級和預(yù)算

在項目開始的時候,根據(jù)客戶提出的制作需求廓潜,制作總監(jiān)會對每個需要制作鏡頭根據(jù)制作難度進(jìn)行分級抵皱,并預(yù)估其所需的制作周期,從而統(tǒng)計出整個項目的成本和排期辩蛋。在此呻畸,對鏡頭分級和評估周期的依據(jù)則是來自于過往項目中類似的制作需求。

項目正式進(jìn)入制作階段后悼院,需要根據(jù)實際情況統(tǒng)計實際的資源成本消耗伤为,并與最初的預(yù)算進(jìn)行對比,一方面不斷優(yōu)化預(yù)估模型据途,另一方面對實際成本和預(yù)算之間的誤差做出相應(yīng)的應(yīng)對措施绞愚。

硬件資源消耗

影視制作對硬件資源的需求極其大叙甸,一個項目的文件總量能夠達(dá)到上百TB,需要上百臺高性能圖形工作站或渲染節(jié)點同時工作位衩,并且由于涉及到多家公司之間的大量數(shù)據(jù)交接裆蒸,因此需要充足的網(wǎng)絡(luò)帶寬資源。根據(jù)前期預(yù)算和排期規(guī)劃蚂四,結(jié)合實際進(jìn)展中的實時需求光戈,對公司硬件資源的占用情況進(jìn)行統(tǒng)計和調(diào)度,確保項目周期緊張時仍能夠調(diào)配足夠的硬件資源遂赠。結(jié)合一定的機器學(xué)習(xí)算法和自動化運維技術(shù),能夠做到硬件資源的自動調(diào)度晌杰。

Google 搜索引擎是如何對搜索結(jié)果進(jìn)行排序的跷睦?(請用自己的語言描述 PageRank 算法。)

Google對搜索結(jié)果的排序主要基于兩方面的因素肋演,一是網(wǎng)頁本身的質(zhì)量抑诸,二是網(wǎng)頁與搜索關(guān)鍵詞的相關(guān)程度。前者主要是基于PageRank算法來計算爹殊,后者主要基于TF-IDF算法來計算蜕乡。

PageRank算法

PageRank算法是Google的核心技術(shù)之一,也是Google搜索結(jié)果顯著優(yōu)于其他搜索引擎的關(guān)鍵所在梗夸。它的基本原理是:一個網(wǎng)頁的權(quán)重层玲,是由其他鏈接到它的網(wǎng)頁的權(quán)重之和決定的。說白了這就是一個民主投票策略反症,簡單來說辛块,一個網(wǎng)頁獲得的來自其他網(wǎng)頁的鏈接越多,那么說明它越重要铅碍,越受到大家的認(rèn)可润绵;另一方面,高權(quán)重的網(wǎng)頁可以提升其鏈接到的網(wǎng)頁的權(quán)重胞谈。

PageRank算法將整個互聯(lián)網(wǎng)視為一個整體進(jìn)行計算尘盼,由于網(wǎng)頁之間是相互鏈接的,一個網(wǎng)頁的排名由其他指向它的網(wǎng)頁決定烦绳,而那些指向它的網(wǎng)頁的排名又需要使用同樣的算法得出卿捎,因此最終整個運算變成了一個遞歸運算。為了避免出現(xiàn)死循環(huán)爵嗅,實際操作上先為所有網(wǎng)頁取一個相同的初始權(quán)重值娇澎,然后逐步迭代計算每個頁面的權(quán)重,并在兩次迭代計算差別足夠小時停止迭代睹晒,這時候運算結(jié)果就已經(jīng)收斂到基本準(zhǔn)確趟庄。

在實際實現(xiàn)上括细,還需要考慮兩種特殊的情況,一是頁面只有入鏈沒有出鏈戚啥,二是單個或多個頁面之間的鏈接形成閉環(huán)奋单,這兩種情況都會導(dǎo)致這些頁面不斷吸收其他頁面的PR值,使得其他頁面的PR值最終趨于0猫十,這顯然是不合理的览濒。既然理論上無法解決這個問題,則從實際出發(fā)拖云,無論是沒有出鏈的情況還是閉環(huán)鏈接的情況贷笛,對于真實的訪問者來說,他都有一定的概率通過直接輸入網(wǎng)址來跳轉(zhuǎn)到其他頁面宙项,而不會因為這兩種特殊情況而陷入僵局乏苦。因此,最終的改進(jìn)算法對網(wǎng)頁權(quán)重的考量結(jié)合了來自其他頁面的入鏈尤筐,以及用戶直接通過輸入網(wǎng)址進(jìn)入該頁面的概率汇荐。


對于整個搜索引擎收錄的海量網(wǎng)頁進(jìn)行整體計算顯然是計算量非常大的,為了便于拆分成MapReduce之類的分布式并行計算盆繁,PageRank算法實際上使用了矩陣運算作為每次迭代的計算方式掀淘。

TF-IDF算法

TF即詞頻,指的是某個詞在網(wǎng)頁中出現(xiàn)的頻率油昂,它的計算方式是該詞在網(wǎng)頁中出現(xiàn)的次數(shù)除以網(wǎng)頁的總詞數(shù)革娄。對于多個詞組成的搜索關(guān)鍵詞,整個關(guān)鍵詞的詞頻是其分詞過后每個詞的詞頻之和秕狰。

IDF即逆文檔頻率稠腊,指的是一個詞的特殊程度,即當(dāng)頁面中出現(xiàn)該詞的時候鸣哀,能夠以此確定頁面主題的程度架忌,其計算公式是對所有頁面總數(shù)和包含該詞的頁面數(shù)的商取對數(shù)。

針對給定的關(guān)鍵詞和頁面我衬,計算出該詞的TF值與IDF值的乘積叹放,該乘積越大則表明給定網(wǎng)頁與該詞的相關(guān)性越高。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末挠羔,一起剝皮案震驚了整個濱河市井仰,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌破加,老刑警劉巖俱恶,帶你破解...
    沈念sama閱讀 212,454評論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡合是,警方通過查閱死者的電腦和手機了罪,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,553評論 3 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來聪全,“玉大人泊藕,你說我怎么就攤上這事∧牙瘢” “怎么了娃圆?”我有些...
    開封第一講書人閱讀 157,921評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長蛾茉。 經(jīng)常有香客問我讼呢,道長,這世上最難降的妖魔是什么谦炬? 我笑而不...
    開封第一講書人閱讀 56,648評論 1 284
  • 正文 為了忘掉前任吝岭,我火速辦了婚禮,結(jié)果婚禮上吧寺,老公的妹妹穿的比我還像新娘。我一直安慰自己散劫,他們只是感情好稚机,可當(dāng)我...
    茶點故事閱讀 65,770評論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著获搏,像睡著了一般赖条。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上常熙,一...
    開封第一講書人閱讀 49,950評論 1 291
  • 那天纬乍,我揣著相機與錄音,去河邊找鬼裸卫。 笑死仿贬,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的墓贿。 我是一名探鬼主播茧泪,決...
    沈念sama閱讀 39,090評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼聋袋!你這毒婦竟也來了队伟?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,817評論 0 268
  • 序言:老撾萬榮一對情侶失蹤幽勒,失蹤者是張志新(化名)和其女友劉穎嗜侮,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,275評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡锈颗,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,592評論 2 327
  • 正文 我和宋清朗相戀三年顷霹,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片宜猜。...
    茶點故事閱讀 38,724評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡泼返,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出姨拥,到底是詐尸還是另有隱情绅喉,我是刑警寧澤,帶...
    沈念sama閱讀 34,409評論 4 333
  • 正文 年R本政府宣布叫乌,位于F島的核電站柴罐,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏憨奸。R本人自食惡果不足惜革屠,卻給世界環(huán)境...
    茶點故事閱讀 40,052評論 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望排宰。 院中可真熱鬧似芝,春花似錦、人聲如沸板甘。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,815評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽盐类。三九已至寞奸,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間在跳,已是汗流浹背枪萄。 一陣腳步聲響...
    開封第一講書人閱讀 32,043評論 1 266
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留猫妙,地道東北人瓷翻。 一個月前我還...
    沈念sama閱讀 46,503評論 2 361
  • 正文 我出身青樓,卻偏偏與公主長得像吐咳,于是被迫代替她去往敵國和親逻悠。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,627評論 2 350

推薦閱讀更多精彩內(nèi)容