你所在的行業(yè),常用的數(shù)據(jù)分析指標(biāo)有哪些纸颜?請簡述兽泣。
我目前在影視后期公司工作,影視后期制作過程設(shè)計到多項目胁孙、多環(huán)節(jié)唠倦、多任務(wù)的并行工作称鳞,對于資源分配、成本把控稠鼻、生產(chǎn)效率冈止、成品質(zhì)量等都比較看重,因此常用的數(shù)據(jù)分析指標(biāo)有以下幾種:
任務(wù)數(shù)和版本數(shù)
通常會設(shè)定一個統(tǒng)計的時間段候齿,例如一天熙暴、一周、一個月慌盯,統(tǒng)計該短時間內(nèi)所有的任務(wù)數(shù)(一個任務(wù)指的是特定制作環(huán)節(jié)中的一個步驟)周霉,單位時間內(nèi)并行任務(wù)數(shù)越多則代表公司的生產(chǎn)狀況越繁忙。
在此基礎(chǔ)上亚皂,還可以統(tǒng)計指定時間內(nèi)完成的任務(wù)數(shù)俱箱、返工的任務(wù)數(shù)、延期的任務(wù)數(shù)等灭必,基于任務(wù)的不同狀態(tài)分別進(jìn)行統(tǒng)計分析狞谱,可以進(jìn)一步了解項目的進(jìn)展情況是否順利,在哪些環(huán)節(jié)出現(xiàn)了問題厂财,從而幫助生產(chǎn)團隊及時作出調(diào)整芋簿。
對于每個任務(wù),通過不斷迭代版本來逐步完善制作效果璃饱,直至審核通過与斤。因此,針對版本數(shù)的統(tǒng)計可以直觀地呈現(xiàn)不同任務(wù)的制作難度荚恶、返工率撩穿,版本越多則表明根據(jù)反饋進(jìn)行修改的情況越普遍。另一方面谒撼,每日提交的版本數(shù)也可以反映出生產(chǎn)團隊的迭代速度和生產(chǎn)效率食寡。
鏡頭分級和預(yù)算
在項目開始的時候,根據(jù)客戶提出的制作需求廓潜,制作總監(jiān)會對每個需要制作鏡頭根據(jù)制作難度進(jìn)行分級抵皱,并預(yù)估其所需的制作周期,從而統(tǒng)計出整個項目的成本和排期辩蛋。在此呻畸,對鏡頭分級和評估周期的依據(jù)則是來自于過往項目中類似的制作需求。
項目正式進(jìn)入制作階段后悼院,需要根據(jù)實際情況統(tǒng)計實際的資源成本消耗伤为,并與最初的預(yù)算進(jìn)行對比,一方面不斷優(yōu)化預(yù)估模型据途,另一方面對實際成本和預(yù)算之間的誤差做出相應(yīng)的應(yīng)對措施绞愚。
硬件資源消耗
影視制作對硬件資源的需求極其大叙甸,一個項目的文件總量能夠達(dá)到上百TB,需要上百臺高性能圖形工作站或渲染節(jié)點同時工作位衩,并且由于涉及到多家公司之間的大量數(shù)據(jù)交接裆蒸,因此需要充足的網(wǎng)絡(luò)帶寬資源。根據(jù)前期預(yù)算和排期規(guī)劃蚂四,結(jié)合實際進(jìn)展中的實時需求光戈,對公司硬件資源的占用情況進(jìn)行統(tǒng)計和調(diào)度,確保項目周期緊張時仍能夠調(diào)配足夠的硬件資源遂赠。結(jié)合一定的機器學(xué)習(xí)算法和自動化運維技術(shù),能夠做到硬件資源的自動調(diào)度晌杰。
Google 搜索引擎是如何對搜索結(jié)果進(jìn)行排序的跷睦?(請用自己的語言描述 PageRank 算法。)
Google對搜索結(jié)果的排序主要基于兩方面的因素肋演,一是網(wǎng)頁本身的質(zhì)量抑诸,二是網(wǎng)頁與搜索關(guān)鍵詞的相關(guān)程度。前者主要是基于PageRank算法來計算爹殊,后者主要基于TF-IDF算法來計算蜕乡。
PageRank算法
PageRank算法是Google的核心技術(shù)之一,也是Google搜索結(jié)果顯著優(yōu)于其他搜索引擎的關(guān)鍵所在梗夸。它的基本原理是:一個網(wǎng)頁的權(quán)重层玲,是由其他鏈接到它的網(wǎng)頁的權(quán)重之和決定的。說白了這就是一個民主投票策略反症,簡單來說辛块,一個網(wǎng)頁獲得的來自其他網(wǎng)頁的鏈接越多,那么說明它越重要铅碍,越受到大家的認(rèn)可润绵;另一方面,高權(quán)重的網(wǎng)頁可以提升其鏈接到的網(wǎng)頁的權(quán)重胞谈。
PageRank算法將整個互聯(lián)網(wǎng)視為一個整體進(jìn)行計算尘盼,由于網(wǎng)頁之間是相互鏈接的,一個網(wǎng)頁的排名由其他指向它的網(wǎng)頁決定烦绳,而那些指向它的網(wǎng)頁的排名又需要使用同樣的算法得出卿捎,因此最終整個運算變成了一個遞歸運算。為了避免出現(xiàn)死循環(huán)爵嗅,實際操作上先為所有網(wǎng)頁取一個相同的初始權(quán)重值娇澎,然后逐步迭代計算每個頁面的權(quán)重,并在兩次迭代計算差別足夠小時停止迭代睹晒,這時候運算結(jié)果就已經(jīng)收斂到基本準(zhǔn)確趟庄。
在實際實現(xiàn)上括细,還需要考慮兩種特殊的情況,一是頁面只有入鏈沒有出鏈戚啥,二是單個或多個頁面之間的鏈接形成閉環(huán)奋单,這兩種情況都會導(dǎo)致這些頁面不斷吸收其他頁面的PR值,使得其他頁面的PR值最終趨于0猫十,這顯然是不合理的览濒。既然理論上無法解決這個問題,則從實際出發(fā)拖云,無論是沒有出鏈的情況還是閉環(huán)鏈接的情況贷笛,對于真實的訪問者來說,他都有一定的概率通過直接輸入網(wǎng)址來跳轉(zhuǎn)到其他頁面宙项,而不會因為這兩種特殊情況而陷入僵局乏苦。因此,最終的改進(jìn)算法對網(wǎng)頁權(quán)重的考量結(jié)合了來自其他頁面的入鏈尤筐,以及用戶直接通過輸入網(wǎng)址進(jìn)入該頁面的概率汇荐。
對于整個搜索引擎收錄的海量網(wǎng)頁進(jìn)行整體計算顯然是計算量非常大的,為了便于拆分成MapReduce之類的分布式并行計算盆繁,PageRank算法實際上使用了矩陣運算作為每次迭代的計算方式掀淘。
TF-IDF算法
TF即詞頻,指的是某個詞在網(wǎng)頁中出現(xiàn)的頻率油昂,它的計算方式是該詞在網(wǎng)頁中出現(xiàn)的次數(shù)除以網(wǎng)頁的總詞數(shù)革娄。對于多個詞組成的搜索關(guān)鍵詞,整個關(guān)鍵詞的詞頻是其分詞過后每個詞的詞頻之和秕狰。
IDF即逆文檔頻率稠腊,指的是一個詞的特殊程度,即當(dāng)頁面中出現(xiàn)該詞的時候鸣哀,能夠以此確定頁面主題的程度架忌,其計算公式是對所有頁面總數(shù)和包含該詞的頁面數(shù)的商取對數(shù)。
針對給定的關(guān)鍵詞和頁面我衬,計算出該詞的TF值與IDF值的乘積叹放,該乘積越大則表明給定網(wǎng)頁與該詞的相關(guān)性越高。