分享一下我對企業(yè)安全的一些認知蒿褂。企業(yè)安全是一個特別大的概念监嗜，做好企業(yè)安全的最終目標是保障企業(yè)正常發(fā)展非迹，而企業(yè)安全整個體系由不同的模塊組成毕泌，任何一部分沒有做好喝检，都會影響企業(yè)的發(fā)展，這種影響可能是企業(yè)的營收利潤撼泛，可能是是企業(yè)的聲譽挠说，甚至可能是企業(yè)的存亡。
經常接觸甲方的幾個部門：安全部門愿题、運營部門损俭、審核部門、開發(fā)部門等等潘酗。每個部門關注的點不同杆兵，網(wǎng)絡安全的事情基本都由安全部門負責，市場營銷策略效果保障的事情由運營部門負責仔夺，審核部門負責內容質量和內容違規(guī)的事情琐脏，開發(fā)部門會涉及到安全平臺的統(tǒng)一開發(fā)建設。? 各個部門的工作重要性缸兔，也與公司的業(yè)務有直接的關系日裙，但是不管哪個部門的工作出問題，企業(yè)都會受到影響灶体。
舉個直觀的例子，對于一個游戲公司來說掐暮，可能會遭受到DDOS攻擊影響業(yè)務的穩(wěn)定運行蝎抽，可能會有數(shù)據(jù)泄露問題影響企業(yè)的聲譽，可能會有內容違規(guī)的問題，會讓整個游戲下架整改樟结，最常見的還是外掛問題养交，直接的后果就是用戶流失以及收入的損失。
一瓢宦、企業(yè)典型安全問題：
1碎连、內容違規(guī)事件
比如出現(xiàn)各種黃賭毒的信息。19年的6月份驮履，網(wǎng)信辦針對語音進行嚴查鱼辙，下架了一大批的應用。? 在行業(yè)內主要的解決方案玫镐，將業(yè)務相關的文本倒戏、圖片、視頻恐似、音頻對接到機器審核平臺杜跷，目前主要是第三方的服務商saas檢測平臺，或是企業(yè)自建的檢測平臺矫夷，主要用來提高效率和降低審核時間葛闷，同時結合人工審核來保障效果，降低漏判和誤判率双藕。
2淑趾、APP安全問題
尤其在游戲APP上，在游戲破解方面蔓彩，大家有興趣的可以搜一下淘寶店鋪治笨，輸入關鍵詞游戲破解，會有非常多的店鋪和游戲可以選擇赤嚼。游戲破解的除了去掉游戲里面正常的收費旷赖，還會增加一些比較變態(tài)的功能，比如加倍攻擊等等來吸引玩家更卒。有的店鋪按照會員制度收費等孵，月付150元，已經超過了很多原版游戲的單用戶收入蹂空。對于原版游戲來說是非常致命的俯萌。對于這類問題的解決，拿移動段游戲來說上枕，針對破解的問題可以采用加固的方式防止被逆向破解咐熙，外掛的問題可以通過游戲反外掛技術對模擬器、多開器辨萍、云真機棋恼、模擬點擊等進行檢查，并且結合運營手段，增強對外掛的威懾力爪飘，
3义起、薅羊毛的威脅
18年末的時候星巴克做的一次新人注冊送咖啡券活動。當時的用戶驗證做的比較簡單师崎，填寫比較少的信息就可以拿到咖啡券默终，上線一天半的時間，被羊毛黨刷走了差不多400W張券犁罩，按照中杯價格估值齐蔽，大概要1000W人民幣左右。? 在羊毛黨這個圈子中昼汗，分分鐘幾十萬還是有可能的肴熏。 對于羊毛黨的防護，以威脅情報庫為支撐顷窒，比如手機號蛙吏、IP、郵箱號這些信息的黑名單鞋吉，再通過收集活動過程中的用戶的相關信息進行數(shù)據(jù)分析和行為分析鸦做。? 在這個黑灰產行業(yè)里，利益驅動力非常強大谓着，對抗很激烈泼诱。
4、數(shù)據(jù)泄露
數(shù)據(jù)泄露的事情比較有意思的地方在于赊锚，基本上百分之60以上數(shù)據(jù)泄露治筒，都有內鬼的原因。最近剛發(fā)生的某招聘網(wǎng)站泄露16W份簡歷信息就是內外勾結典型事件舷蒲。? ? 50元一份簡歷耸袜，被非法賣給商販后，在淘寶上1-2元一份的價格賣出牲平。所以數(shù)據(jù)防泄漏堤框，不僅僅是使用一些數(shù)據(jù)防泄漏的產品就可以解決，還需要完善制度纵柿，注意權限劃分蜈抓，加強審計活動，對內部人員進行安全意識培訓昂儒，增加法制意識沟使。
5、底層網(wǎng)絡攻擊
DDoS攻擊也算是最古老但是最有效的一種網(wǎng)絡攻擊方式了渊跋，得益于網(wǎng)絡通信和互聯(lián)網(wǎng)技術的發(fā)展腊嗡，DDoS攻擊愈演愈烈撤缴。 比如現(xiàn)在的物聯(lián)網(wǎng)設備，很多都可以用來進行DDos攻擊叽唱。 對于用戶來說很難解決攻擊源，只能被動防護微宝。 在國內棺亭，現(xiàn)在動輒幾十GB的攻擊已經非常常見了。通常都是夾雜著流量和CC混合型攻擊蟋软，本地化部署防護設備很難應對镶摘，大多采用云清洗的方式來解決。我們可以看到國內的很多安全廠商岳守，從硬件開始轉型到云服務凄敢，也是安全服務云化的一個趨勢湿痢。
本次分享上涝缝，還是做一些聚焦，在這個UGC內容爆發(fā)增長譬重，國家監(jiān)管力度日漸增強的背景下拒逮，如何解決企業(yè)面臨的內容安全問題。
二臀规、內容治理的一個現(xiàn)狀
內容治理現(xiàn)狀滩援。從三個角度來看，首先是監(jiān)管角度幾個特點：監(jiān)管部門多塔嬉、法規(guī)要求多玩徊、專項整治多。
1谨究、監(jiān)管部門
監(jiān)管部門包含有：網(wǎng)信辦恩袱、原廣電總局現(xiàn)在拆分為廣播電視總局、國家新聞出版署记盒、國家電影局憎蛤，文化部、公安部纪吮、工信部俩檬。
各個監(jiān)管部門的監(jiān)管內容是各有側重的，但是也會有重合的地方碾盟。? 比如新聞出版署主要是新聞出本內容進行監(jiān)管棚辽，廣播電視總局對廣播電視內容進行審核，比如各種網(wǎng)劇電視劇冰肴。
對于一個企業(yè)來講屈藐，作為一個監(jiān)管對象榔组，會同時受到注冊地的公安部門、網(wǎng)信辦等多個部門的監(jiān)管联逻。監(jiān)管的方式搓扯，一般是通過用戶舉報，以及專項檢查活動來落實包归。尤其是用戶舉報是一個非常重要的渠道锨推，比如說網(wǎng)信辦，提供了一個中央網(wǎng)信辦違法和不良信息舉報中心公壤，光是今年6月份换可，就受理了1170萬件舉報事件。監(jiān)管機構不單自己建立舉報平臺厦幅，也會要求各大內容平臺要建設有舉報渠道沾鳄，所以我們可以看到比如是各大視頻網(wǎng)站都是有舉報反饋入口的。
// 我們大家在今后的工作生活中确憨，可以講遇到的不良網(wǎng)站或內容译荞，通過舉報的方式提交給網(wǎng)信辦。
2休弃、監(jiān)管要求
監(jiān)管的第二個特點磁椒，是法規(guī)要求比較多。有興趣的可以查看下各個監(jiān)管部門官方網(wǎng)站上的法規(guī)要求玫芦，目前已經非常詳細浆熔；
這里想強調一下責任主體的問題，這里面主體一個是用戶桥帆，一個是平臺医增。
1、拿一個場景來舉例老虫，一個用戶在內容平臺發(fā)表了色情廣告信息叶骨。用戶這種行為是違法的，內容平臺如果發(fā)布了這個內容也是違法的祈匙『龉簦客觀來說應該對于兩者都進行處罰，但是實際情況來看夺欲，對于用戶追責成本非常之高跪帝，所以在各類的內容違規(guī)事件上，我們可以看到的大多是對平臺的處理些阅。
并且從2017年6月1日開始伞剑，正式實行了網(wǎng)絡安全法，監(jiān)管部門又多了一個法律依據(jù)市埋。再拿一個場景舉例：
一個惡意用戶黎泣，通過網(wǎng)絡攻擊的方式篡改網(wǎng)站發(fā)布帶有色情信息的內容恕刘，那運營平臺不光是違反了內容發(fā)布的要求，同時根據(jù)網(wǎng)絡安全法抒倚，運營方沒有落實好信息系統(tǒng)保護的工作褐着，將會依據(jù)網(wǎng)絡安全法給與一定的處罰。
3托呕、監(jiān)管活動
監(jiān)管的第三個特點：治理活動多
以網(wǎng)信辦的檢查來說献起，從2018年12月份，到19年6月份镣陕，先后發(fā)起的內容治理活動就多大4次。
18年12月份進行的是針對APP的專項檢測姻政，主要是涉黃涉毒呆抑、違規(guī)游戲、不良學習等應用進行檢查汁展，下架了33W款應用
19月1月份鹊碍，對教育類APP進行專項整治，查實了“作業(yè)狗”食绿、“口袋老師”等20多款APP非法傳播淫穢色情內容侈咕，進行下架處理
19年1月份-6月份，進行的為期半年的“全網(wǎng)整改行動”器紧，
6月份進行了語音專項整治活動耀销。
可以看出來國家對于建設綠色網(wǎng)絡空間環(huán)境決心和力度。
即使是在這么強的監(jiān)管力度之下铲汪，違規(guī)內容還是層出不窮的熊尉。
違規(guī)內容的特點：覆蓋場景多、數(shù)據(jù)變種多掌腰、對抗性強狰住。
（1）覆蓋場景來說，已經到了無孔不入的地步齿梁。? 新聞內容催植、用戶評論、用戶頭像勺择、昵稱创南、看網(wǎng)劇彈幕，沒有任何一個有內容發(fā)表的場景可以躲得過違規(guī)內容的騷擾省核。
（2）在各種場景里扰藕，出現(xiàn)的違規(guī)數(shù)據(jù)種類和變種也非常之多。? ? 從最初的文本敏感詞芳撒，到現(xiàn)在的字體查分邓深、特殊符號混淆未桥、已經圖片內嵌入違規(guī)內容等多種形式，最近一兩年在語音方面有多了一個ASMR的內容類型會夾雜著很多色情內容芥备。
（3）對抗性強體現(xiàn)在違規(guī)內容的發(fā)不上有一定的組織性和對抗性冬耿，以內容形式的變換和賬號的變化來對抗檢測或運營策略。這個部分會在后面的縱深防御體積建設的必要性進行詳細說明萌壳。
三亦镶、能力體系建設的難點問題
那么在國家的強監(jiān)管背景下，做好內容安全其實是一個比較困難的問題袱瓮。?
對管理者來說缤骨，最終要看的一般包含兩個指標：檢測的效果，以及對業(yè)務的影響度尺借。? 這里面檢測效果一般看正確率绊起、召回率。業(yè)務的影響主要是看檢測的用時燎斩，盡量不要影響用戶體驗虱歪。比如在IM聊天中檢測，如果一條文本檢測時間超過1s栅表，就屬于對用戶體驗造成嚴重影響笋鄙。
那么要實現(xiàn)這些目標，從0到1自建檢測系統(tǒng)怪瓶，存在比較多的難點萧落。
1、成本問題
首先是成本的投入洗贰，最主要的的兩種成本：人力成本和設備成本铐尚。? ? 人力成本方面，在互聯(lián)網(wǎng)招人成本還是很高的哆姻，光是一個成熟的算法專家宣增，年薪一般要50W上下。而且整個體系需要的不僅是算法人員矛缨，還有相關的運營和審核人員爹脾。光是是在人力方面投入，就會需要百萬的級別箕昭。? 在設備方面灵妨，現(xiàn)在圖像處理所需要用到的GPU節(jié)點是比較大的開銷。比如一塊英偉達的P40顯卡落竹，是在16年上市的泌霍，現(xiàn)在要5W左右一個，一個P40能夠做的圖片檢測并發(fā)在30QPS左右述召。此外還需要有GPU節(jié)點來做模型訓練朱转。 也是比較高的開銷
2蟹地、數(shù)據(jù)問題
除了考慮成本，還有數(shù)據(jù)積累和審核經驗的壁壘藤为。拿圖片訓練來說怪与，一個檢測模型，需要的樣本數(shù)據(jù)需要再幾萬甚至大幾十萬缅疟。沒有一定的時間和渠道是做不到這種樣本數(shù)據(jù)積累的分别。
3、團隊及經驗問題
另外審核人員的經驗和審核流程及制度存淫，也是效果的重要保障耘斩，人員的審核經驗，決定了主觀上的審核效果和審核效率桅咆，完善的流程和制度是對效果客觀上的保障括授。? 人員的經驗要靠不斷的學習和培訓，流程和制度需要時間去制定和完善轧邪。都需要有一個過程。
四羞海、體系建設思路
接下來這我來介紹下建設檢測團隊和技術體系
1忌愚、團隊建設
首先是團隊的建設，這里我拿公司的的團隊來舉例却邓；
整個大的團隊細分成幾個小的團隊硕糊，算法團隊，系統(tǒng)開發(fā)團隊腊徙，運營團隊简十、人工審核團隊；
核心技術由算法團隊來實現(xiàn)撬腾，團隊內又細分為不同的小組螟蝙，比如做文本機器學期的小組，圖片機器學習的小組民傻；
系統(tǒng)開發(fā)團隊負責業(yè)務平臺的搭建胰默；
運營團隊負責直接和業(yè)務部門對接，明確檢測標準需求漓踢，并實時的調整一些檢測策略來進行效果調優(yōu)牵署；
審核團隊人員最多，目前也是以輪班輪崗的工作模型完成全天候的審核工作喧半。
2奴迅、檢測標準
制定檢測標準，要考慮兩個原則挺据，一個是全面性原則取具，一個是可落地性原則脖隶。
從全面性來講，需要考慮是兩個需要主體者填，一個是國家浩村，一個是運營平臺。? 對于國家來說占哟，色情心墅、暴恐、違禁品這些都屬于違禁內容榨乎，會有相關的法律及法規(guī)條文明禁止出現(xiàn)的怎燥。這些標準基本上是所有內容平臺要做到的檢測。
對于運營平臺來說蜜暑，比如針對謾罵铐姚、灌水、競品廣告信息這些內容是不希望出現(xiàn)肛捍。
這里強調一個實時性隐绵，從要求提出到標準的落實，需要盡快完成拙毫，以減少檢測的真空期依许。?
從可落地性來看，需要做到數(shù)據(jù)可收集缀蹄，和模型可訓練這兩點峭跳。數(shù)據(jù)可收集是對于人來說，標準可以是描述性的缺前，但是數(shù)據(jù)收集和打標簽必須是細化的蛀醉。例如，在色情分類下衅码，對于“性行為”的檢測要求拯刁，要求的文字本身是描述了性行為的范疇和概念，落實到數(shù)據(jù)打標簽就需要更為細節(jié)逝段，比如對漏臀圖片進行筛璧，需要說明，根據(jù)拍攝的角度惹恃，是否有漏點夭谤，以及是否是兒童照片等因素，分到不同類別的說明巫糙。最終會被標記為色情朗儒、低俗、性感或是正常的照片。
制定標準之后醉锄，依據(jù)場景檢測需要應用不同的標準乏悄。? 性感圖片在新聞內容中發(fā)布沒有什么問題，但是在兒童教育IM中出現(xiàn)就不太正常了恳不。
3檩小、系統(tǒng)平臺搭建
最重要的三個平臺：
檢測平臺（服務的核心），預置了已經訓練好的各類模型烟勋。
人工審核平臺（效果及能力補充规求，提高效率），里面的功能包括數(shù)據(jù)的抽檢卵惦、審核快捷操作等功能阻肿。
模型訓練平臺（效果保障），主要有GPU集群組成沮尿，
業(yè)務系統(tǒng)與檢測系統(tǒng)對接丛塌，對于文本和圖片類的檢測結果可以實時反饋。? 需要人工審核部分的數(shù)據(jù)畜疾，由檢測平臺和審核平臺對接赴邻，最終由審核平臺將結果返回給業(yè)務系統(tǒng)。
機器訓練平臺啡捶，主要是基于各個渠道的badcase姥敛，進行模型訓練調優(yōu)，最終輸入訓練結果供檢測平臺使用届慈。
這樣這幾個平臺形成一個閉環(huán)徒溪，達到業(yè)務可快速接入忿偷，效果可持續(xù)調優(yōu)的目標金顿。
五、全鏈路對抗必要性與思路
1鲤桥、必要性說明
以上的三個部分揍拆，團隊、標準茶凳、平臺嫂拴，形成了比較完善的檢測系統(tǒng)≈可以應對常規(guī)的內容檢測需求。
但實際情況是，內容治理不光是對內容進行處理椭赋，還需要有一個縱深的檢測防御體系惕橙。
客觀事實表明：大多數(shù)的違規(guī)內容是非正常用戶發(fā)布的，內容治理是企業(yè)和黑灰產的直接較量，只做內容檢測手段過于單一灶伊，或落入疲于應對的局面疆前。
為什么說內容治理是企業(yè)和黑灰產的直接較量，我們先來看一個黑灰產的業(yè)務流程：
從角色上看聘萨，有發(fā)單人竹椒，有業(yè)務分包，有內容平臺米辐。發(fā)單人有幾種胸完，比如各種黃賭毒的網(wǎng)站，為了吸引流量需要發(fā)布網(wǎng)站相關信息儡循，也會有人處于惡意競爭的目的在同行業(yè)平臺發(fā)布違規(guī)內容舶吗。發(fā)單人會找到業(yè)務分包的角色來實現(xiàn)違規(guī)內容發(fā)布，這個業(yè)務分包就會涉及到非常多的角色择膝，有專門寫自動化工具的人員誓琼，有倒賣賬號的人員，有執(zhí)行內容發(fā)布的平臺比如各種群控平臺肴捉。最終有發(fā)單人在各大平臺進行灌水式的發(fā)布
現(xiàn)在的黑灰產是非常成熟的腹侣，各個環(huán)節(jié)分工不同，就如PPT所示齿穗，有專門的手機卡商傲隶，賬號商人，打碼平臺窃页，各種云控平臺等等跺株。
大家知道現(xiàn)在的手機卡都是實名制的。所以手機卡商是如何實現(xiàn)大批量申請卡的脖卖，有一種操作方式乒省，注冊公司，就可以用公司的名義來申請到大批量的物聯(lián)網(wǎng)卡畦木。這些物聯(lián)網(wǎng)卡沒有語音功能袖扛，但是可以接發(fā)短信。就可以用來注冊和登陸賬號十籍。? 所以當你回撥一個注冊號碼的手機號蛆封，語音提示：你所撥打的號碼未開通語音功能的時候，大概率就是一張物聯(lián)網(wǎng)卡了勾栗。
這里面的利益驅動力非常之強惨篱，舉個例子，一個新號價值幾元围俘，但是通過不定期發(fā)表正常內容等手段砸讳，所以的養(yǎng)好机断，最終可以價值幾十元甚至百元。
在各大內容平臺進行發(fā)布绣夺，現(xiàn)在的對抗尤其的激烈吏奸，比如微博舉例，大家可以觀察到陶耍，以往的色情賬號會直接在各個熱點時間下發(fā)表色情言論奋蔚，比如色情網(wǎng)站，或者加聯(lián)系方式烈钞。? 這種比較容易被檢測和封號泊碑，現(xiàn)在已經轉變?yōu)橘~號頭像會換成比較性感單不屬于色情的圖片，發(fā)表的內容多是正常的評論毯欣，但是個人主人都是色情引流的信息馒过。以此來增強對抗性。
2酗钞、建設思路
在這種強對抗的背景下腹忽，僅做內容檢測手段過于單一，縱深防護是關鍵
內容治理砚作，不僅僅在于發(fā)表內容的檢測窘奏，還需要從源頭進行整治。? 需要建立一個縱身的的防御體系葫录，從賬號注冊着裹、到賬號登陸，再到用戶行為米同，最終再到發(fā)表內容骇扇，進行全方位的檢測，才能達到更好的效果面粮。也就是從內容檢測延伸到用戶行為檢測少孝，具有用戶畫像的能力，才能更好的對抗黑灰產的攻擊但金。
在注冊階段韭山，會有批量注冊郁季、虛假注冊的問題冷溃，可以考慮用驗證碼、號碼認證梦裂、實人認證來解決在登陸階段似枕，會有批量登陸，暴力破解的問題年柠，可以用驗證碼和反作弊的技術手段凿歼。然后對發(fā)布行為和發(fā)布內容進行檢測，比如對同一個賬號在短時間內發(fā)表大量相似內容的行為進行處理。
這里提到的技術手段答憔，拿驗證碼和反作弊簡單說明一下
先手下驗證碼味赃，主要用來做人機識別，目的是提高攻擊者的攻擊成本虐拓。早期的驗證碼比如字符型的驗證碼是非常容易被破解心俗，破解主要使用的還是OCR的識別技術，很輕松就把圖片中的字符識別出來目前大多采用的驗證碼蓉驹，還是智能型驗證碼城榛，是對用戶的一些行為信息和設備信息進行分析來判斷的。現(xiàn)在比較主流比如拼圖滑動式的驗證碼态兴，文字點選的驗證碼狠持，增強了對抗能力。
反作弊這里會用到的技術瞻润，比如IP畫像喘垂，會檢測用戶的IP地理位置，是不是代理IP等等绍撞，對設備環(huán)境的檢測王污，會檢測設備是不是模擬器，是否有root或者越獄楚午，對用戶行為的分析昭齐，根據(jù)各個維多之間的信息，通過規(guī)則設定正常的行為基線矾柜。一般多由于注冊阱驾、登陸、和關鍵業(yè)務操作的事件入口怪蔑，比如發(fā)帖操作里覆。
以上為典型安全問題，已經重點在內容安全建設的一些分享缆瓣。? ? ?——卡卡橙汁喧枷，一名內容及業(yè)務安全從業(yè)者
