隨著互聯(lián)網(wǎng)的蓬勃發(fā)展及內(nèi)容消費(fèi)形態(tài)的升級(jí)，網(wǎng)絡(luò)平臺(tái)內(nèi)容迎來大爆發(fā)凰慈。無論是從法律法規(guī)的要求汞幢、互聯(lián)網(wǎng)企業(yè)應(yīng)當(dāng)承擔(dān)的社會(huì)責(zé)任，還是互聯(lián)網(wǎng)企業(yè)自身產(chǎn)品用戶及口碑增長的需要出發(fā)微谓，內(nèi)容安全儼然已成為內(nèi)容型互聯(lián)網(wǎng)企業(yè)或產(chǎn)品發(fā)展中不可忽視的一環(huán)森篷。

什么是內(nèi)容安全？

內(nèi)容安全豺型，指平臺(tái)內(nèi)用戶發(fā)布的一切內(nèi)容的安全仲智，內(nèi)部包括但不限于圖片、文本姻氨、視頻钓辆、語音等。內(nèi)容安全是業(yè)務(wù)安全的其中一個(gè)分類肴焊。也是內(nèi)容型產(chǎn)品整體風(fēng)控體系中非常重要的一趴前联。

常見的內(nèi)容安全有：

1. 違法內(nèi)容：包括但不限于涉政、涉黃娶眷、涉暴等內(nèi)容似嗤，該類內(nèi)容往往會(huì)引起政府監(jiān)管部分的注意，可能導(dǎo)致APP下架或其他更加嚴(yán)重的事態(tài)届宠，是平臺(tái)不可觸碰的紅線烁落。

2. 負(fù)面內(nèi)容：包括但不限于內(nèi)涵、過于消極的內(nèi)容豌注，該類內(nèi)容容易引起用戶不適伤塌、反感，重則引起較大范圍的輿情幌羞，對(duì)產(chǎn)品口碑產(chǎn)生非常負(fù)面的影響寸谜。不同產(chǎn)品基于各自的內(nèi)容生態(tài)，對(duì)于負(fù)面內(nèi)容把控的重點(diǎn)也不盡相同。例如一款主打明星粉絲關(guān)系的內(nèi)容產(chǎn)品熊痴，不同粉絲群體質(zhì)檢的拉踩他爸、互黑內(nèi)容，是內(nèi)容安全管控的重點(diǎn)果善。

3. 垃圾內(nèi)容：泛指降低平臺(tái)質(zhì)量的內(nèi)容诊笤。例如無意義的數(shù)字、符號(hào)巾陕，廣告等內(nèi)容讨跟。該類內(nèi)容一旦較多，會(huì)對(duì)用戶的使用體驗(yàn)造成極大干擾鄙煤。

常見的內(nèi)容審核

1. 系統(tǒng)審核

1）文本：

主要為關(guān)鍵詞過濾晾匠。可自動(dòng)識(shí)別出文本中出現(xiàn)的涉政梯刚、涉黃凉馆、廣告、辱罵亡资、灌水等內(nèi)容澜共。關(guān)鍵詞可以根據(jù)業(yè)務(wù)需求進(jìn)行動(dòng)態(tài)配置。還可以為其設(shè)置多種匹配方式：精確匹配锥腻、模糊匹配嗦董、組合匹配。

2）圖像&視頻：

圖像：可針對(duì)圖片文字瘦黑、圖片質(zhì)量京革、圖片水印、圖片場(chǎng)景供璧、物品人物存崖、動(dòng)作等進(jìn)行審核

視頻：在畫面的審核上和圖片一致，只是會(huì)先截取視頻的畫面睡毒，針對(duì)截取的畫面進(jìn)行審核

3）音頻審核：

可以將音頻內(nèi)容轉(zhuǎn)為文本進(jìn)行審核来惧，另外還可以進(jìn)行語種、聲紋的識(shí)別演顾，對(duì)于涉黃的嬌喘類語音也能夠進(jìn)行識(shí)別供搀。

2. 人工審核

對(duì)于內(nèi)容審核準(zhǔn)確率要求較高、或者無法通過機(jī)審兜住所有風(fēng)險(xiǎn)的情況下钠至，需要采取機(jī)審+人審的方式進(jìn)行葛虐。一般從成本角度出發(fā)，人審主要承擔(dān)：1）機(jī)審?fù)ㄟ^內(nèi)容的審核棉钧；2）機(jī)審識(shí)別為疑似內(nèi)容的審核屿脐；3）已審核內(nèi)容的質(zhì)檢審核；此外，根據(jù)業(yè)務(wù)需要的诵，人審也可以設(shè)置多輪人審万栅，每輪人審執(zhí)行不用的平臺(tái)管控標(biāo)準(zhǔn)，最大化保障UGC的體驗(yàn)西疤。例如在內(nèi)容流量達(dá)到一定閾值后烦粒，再次進(jìn)行一輪人工審核，確保高熱內(nèi)容安全的同時(shí)代赁，在價(jià)值層以及平臺(tái)調(diào)性層面進(jìn)行把控扰她。

內(nèi)容安全管理要點(diǎn)

在很多公司，內(nèi)容審核是由協(xié)同部門或者第三方公司來完成的芭碍，業(yè)務(wù)方在進(jìn)行內(nèi)容安全管理時(shí)徒役，有以下幾個(gè)要點(diǎn)：

1. 盤點(diǎn)清楚自身業(yè)務(wù)需求，把握關(guān)鍵點(diǎn)

1）清晰了解業(yè)務(wù)可能存在的風(fēng)險(xiǎn)類型

2）梳理好內(nèi)容從上線到分發(fā)的全流程

2. 制定好安全審核需要達(dá)成的目標(biāo)

即我們需要安全審核側(cè)做到什么程度窖壕？審核時(shí)效性需要多高廉涕？人審、機(jī)審的時(shí)效性及準(zhǔn)確率是怎樣的艇拍，能否滿足當(dāng)前業(yè)務(wù)需要？

3. 建立內(nèi)容安全管理機(jī)制宠纯，做好策略迭代

策略要不斷迭代：受到站外環(huán)境以及當(dāng)前業(yè)務(wù)發(fā)展的需要卸夕，內(nèi)容安全策略一定不是一成不變的，不僅需要定期關(guān)注內(nèi)容安全方面最新的政策婆瓜，也需要定期審查自身業(yè)務(wù)是否有新的內(nèi)容安全需要快集，不斷迭代安全策略

對(duì)安全審核側(cè)一定要做過程管理：尤其是人工審核，除了在任務(wù)執(zhí)行初期需要對(duì)審核人員的結(jié)果進(jìn)行質(zhì)檢廉白，確保標(biāo)準(zhǔn)理解的一致性以外个初，過程中也需要進(jìn)行定期審查。尤其是在審核標(biāo)準(zhǔn)偏生態(tài)化管控標(biāo)準(zhǔn)時(shí)（即并不是非黑即白）猴蹂，一定會(huì)出現(xiàn)標(biāo)準(zhǔn)執(zhí)行一段時(shí)間后背離初衷的情況發(fā)生院溺。筆者在做安全管理過程中，還遇到過審核側(cè)后臺(tái)操作系統(tǒng)不穩(wěn)定導(dǎo)致偶發(fā)的審核時(shí)效慢磅轻，服務(wù)器帶寬不夠?qū)е聶C(jī)審接口長期存在一定失敗率等問題珍逸。所以過程管理一定要重視起來！

4. 建立事前聋溜、事中谆膳、事后防御機(jī)制

1）事前：日常需要進(jìn)行政府指令&日常負(fù)面熱點(diǎn)事件持續(xù)監(jiān)控，預(yù)判風(fēng)險(xiǎn)并給予合適粒度的干預(yù)

2）事中：監(jiān)控用戶內(nèi)容負(fù)面反饋撮躁，及時(shí)發(fā)現(xiàn)問題并處理相關(guān)內(nèi)容

3）事后：聯(lián)系當(dāng)事人漱病，必要時(shí)刻聯(lián)系公關(guān)部門，快速響應(yīng)處理避免進(jìn)一步發(fā)酵，并通過事件復(fù)盤優(yōu)化當(dāng)前風(fēng)控策略

關(guān)注指標(biāo)

1. 衡量自身安全能力建設(shè)指標(biāo)

1）衡量機(jī)審能力：召回率杨帽、誤傷率漓穿、準(zhǔn)確率

2）衡量人審能力：漏放率、誤傷率睦尽、準(zhǔn)確率

3）衡量系統(tǒng)能力：送審失敗率器净、審核時(shí)長

2. 當(dāng)前業(yè)務(wù)內(nèi)容安全風(fēng)險(xiǎn)指標(biāo)

1）用戶內(nèi)容輿情反饋量

2）業(yè)務(wù)側(cè)走查的質(zhì)檢通過率