全局敏感詞處理

全局敏感詞處理

基于ToolGood.Words類庫豺谈,配合敏感字的文本文件荐吵,寫的API接口棠隐。

一共二種方式

1.ToolGood.Words

類庫配合敏感庫

簡單用法

[Fact]
public void IssuesTest_17()
{
    var illegalWordsSearch = new IllegalWordsSearch();
    string s = "中國|zg人|abc";
    illegalWordsSearch.SetKeywords(s.Split('|'));
    var str = illegalWordsSearch.Replace("我是中美國人厲害中國完美abcddb好的", '*');

    Assert.Equal("我是中美國人厲害**完美***ddb好的", str);
}

配合敏感庫文本文件衩茸,寫的工具類

二個文件放到wwwroot/_Illegal目錄下暂幼,通過ReplaceStopWords方法調(diào)用即可對

public class ToolGoodUtils
{
    //敏感庫只要這二個文件存在即可
    //本地敏感庫緩存-https://github.com/toolgood/ToolGood.Words/tree/master/csharp/ToolGood.Words.Test/_Illegal
    //因為需要上傳至github并同步gitee,安全起見筹煮,所以未上傳至git遮精,需要自行下載并復(fù)制
    private const string KeywordsPath = "wwwroot/_Illegal/IllegalKeywords.txt";
    private const string UrlsPath = "wwwroot/_Illegal/IllegalUrls.txt";

    private const string InfoPath = "wwwroot/_Illegal/IllegalInfo.txt";
    private const string BitPath = "wwwroot/_Illegal/IllegalBit.iws";

    private static IllegalWordsSearch _search;
    /// <summary>
    /// 本地敏感庫,文件修改后,重新創(chuàng)建緩存Bit
    /// </summary>
    /// <returns></returns>
    public static IllegalWordsSearch GetIllegalWordsSearch()
    {
        if (_search == null)
        {
            string ipath = Path.GetFullPath(InfoPath);
            if (File.Exists(ipath) == false)
            {
                _search = CreateIllegalWordsSearch();
            }
            else
            {
                var texts = File.ReadAllText(ipath).Split('|');
                if (new FileInfo(Path.GetFullPath(KeywordsPath)).LastWriteTime.ToString("yyyy-MM-dd HH:mm:ss") !=
                    texts[0] ||
                    new FileInfo(Path.GetFullPath(UrlsPath)).LastWriteTime.ToString("yyyy-MM-dd HH:mm:ss") !=
                    texts[1]
                )
                {
                    _search = CreateIllegalWordsSearch();
                }
                else
                {
                    var s = new IllegalWordsSearch();
                    s.Load(Path.GetFullPath(BitPath));
                    _search = s;
                }
            }
        }
        return _search;
    }

    private static IllegalWordsSearch CreateIllegalWordsSearch()
    {
        string[] words1 = File.ReadAllLines(Path.GetFullPath(KeywordsPath), Encoding.UTF8);
        string[] words2 = File.ReadAllLines(Path.GetFullPath(UrlsPath), Encoding.UTF8);
        var words = new List<string>();
        foreach (var item in words1)
        {
            words.Add(item.Trim());
        }
        foreach (var item in words2)
        {
            words.Add(item.Trim());
        }

        var search = new IllegalWordsSearch();
        search.SetKeywords(words);

        search.Save(Path.GetFullPath(BitPath));

        var text = new FileInfo(Path.GetFullPath(KeywordsPath)).LastWriteTime.ToString("yyyy-MM-dd HH:mm:ss") + "|"+ new FileInfo(Path.GetFullPath(UrlsPath)).LastWriteTime.ToString("yyyy-MM-dd HH:mm:ss");
        File.WriteAllText(Path.GetFullPath(InfoPath), text);

        return search;
    }
}

2. 循環(huán)使用Replace

方案:通過維護敏感庫,循環(huán)replace
大佬分享給我的本冲,稍微改成了從文件中獲取敏感字准脂。

public static class StopWords
{

    static readonly ConcurrentDictionary<string, bool> FunNlpDataSensitive = new ConcurrentDictionary<string, bool>();
    static readonly ConcurrentDictionary<int, string> ReplaceNewValue = new ConcurrentDictionary<int, string>();

    private const string KeywordsPath = "wwwroot/_Illegal/IllegalKeywords.txt";
    private const string UrlsPath = "wwwroot/_Illegal/IllegalUrls.txt";


    static StopWords()
    {
        LoadDataFromFile();
    }

    public static void LoadDataFromFile()
    {
        string words1 = File.ReadAllText(Path.GetFullPath(KeywordsPath), Encoding.UTF8);
        string words2 = File.ReadAllText(Path.GetFullPath(UrlsPath), Encoding.UTF8);
        LoadDataFromText(words1);
        LoadDataFromText(words2);
    }


    public static void LoadDataFromText(string text)
    {
        int oldcount = FunNlpDataSensitive.Count;
        foreach (string wd in text.Split('\n'))
        {
            string keykey = wd.Trim().Trim('\r', '\n').Trim();
            if (string.IsNullOrEmpty(keykey)) continue;
            FunNlpDataSensitive.TryAdd(keykey, true);
            if (ReplaceNewValue.ContainsKey(keykey.Length) == false)
                ReplaceNewValue.TryAdd(keykey.Length, "".PadRight(keykey.Length, '*'));
        }
        Console.WriteLine($"敏感詞加載完畢,增加數(shù)量:{FunNlpDataSensitive.Count - oldcount}");
    }


    /// <summary>
    /// 替換所有敏感詞為 *
    /// </summary>
    /// <param name="that"></param>
    /// <returns></returns>
    public static string ReplaceStopWords(this string that)
    {
        foreach (var wd in FunNlpDataSensitive.Keys)
            that = that.Replace(wd, ReplaceNewValue.TryGetValue(wd.Length, out var tryval) ? tryval : "".PadRight(wd.Length, '*'));
        return that;
    }
}

FreeSql全局處理敏感詞

使用FreeSql這個ORM時檬洞,全局處理string類型的值狸膏,進行敏感詞處理。代碼在StartUp.cs的構(gòu)造函數(shù)中添怔。

//敏感詞處理
IllegalWordsSearch illegalWords = ToolGoodUtils.GetIllegalWordsSearch();

Fsql.Aop.AuditValue += (s, e) =>
{
    if (e.Column.CsType == typeof(string) && e.Value != null)
    {
        string oldVal = (string)e.Value;
        string newVal = illegalWords.Replace(oldVal);
        //第二種處理敏感詞的方式
        //string newVal = oldVal.ReplaceStopWords();
        if (newVal != oldVal)
        {
            e.Value = newVal;
        }
    }
};
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末湾戳,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子澎灸,更是在濱河造成了極大的恐慌院塞,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,734評論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件性昭,死亡現(xiàn)場離奇詭異拦止,居然都是意外死亡,警方通過查閱死者的電腦和手機糜颠,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,931評論 3 394
  • 文/潘曉璐 我一進店門汹族,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人其兴,你說我怎么就攤上這事顶瞒。” “怎么了元旬?”我有些...
    開封第一講書人閱讀 164,133評論 0 354
  • 文/不壞的土叔 我叫張陵榴徐,是天一觀的道長。 經(jīng)常有香客問我匀归,道長坑资,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,532評論 1 293
  • 正文 為了忘掉前任穆端,我火速辦了婚禮袱贮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘体啰。我一直安慰自己攒巍,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,585評論 6 392
  • 文/花漫 我一把揭開白布荒勇。 她就那樣靜靜地躺著柒莉,像睡著了一般。 火紅的嫁衣襯著肌膚如雪沽翔。 梳的紋絲不亂的頭發(fā)上常柄,一...
    開封第一講書人閱讀 51,462評論 1 302
  • 那天忌堂,我揣著相機與錄音狠持,去河邊找鬼。 笑死,一個胖子當(dāng)著我的面吹牛统刮,可吹牛的內(nèi)容都是我干的祭钉。 我是一名探鬼主播剔氏,決...
    沈念sama閱讀 40,262評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼酗宋,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了品姓?” 一聲冷哼從身側(cè)響起寝并,我...
    開封第一講書人閱讀 39,153評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎腹备,沒想到半個月后衬潦,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,587評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡植酥,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,792評論 3 336
  • 正文 我和宋清朗相戀三年镀岛,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片友驮。...
    茶點故事閱讀 39,919評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡漂羊,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出卸留,到底是詐尸還是另有隱情走越,我是刑警寧澤,帶...
    沈念sama閱讀 35,635評論 5 345
  • 正文 年R本政府宣布耻瑟,位于F島的核電站旨指,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏喳整。R本人自食惡果不足惜谆构,卻給世界環(huán)境...
    茶點故事閱讀 41,237評論 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望算柳。 院中可真熱鬧,春花似錦姓言、人聲如沸瞬项。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,855評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽囱淋。三九已至,卻和暖如春餐塘,著一層夾襖步出監(jiān)牢的瞬間妥衣,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,983評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留税手,地道東北人蜂筹。 一個月前我還...
    沈念sama閱讀 48,048評論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像芦倒,于是被迫代替她去往敵國和親艺挪。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,864評論 2 354

推薦閱讀更多精彩內(nèi)容

  • @synthesize和@dynamic分別有什么作用?@property有兩個對應(yīng)的詞器钟,一個是 @synthes...
    筆筆請求閱讀 515評論 0 1
  • 猜想runloop內(nèi)部是如何實現(xiàn)的傲霸?一般來講疆瑰,一個線程一次只能執(zhí)行一個任務(wù),執(zhí)行完成后線程就會退出狞谱。如果我們需要一...
    筆筆請求閱讀 422評論 0 0
  • 之前在微信上跟一個朋友約好今天出去乃摹,無奈被放飛機了。 雖然她已經(jīng)爽了我很多次約了跟衅,但不知道為什么我生氣不起來孵睬。 高...
    珊珊大人是也閱讀 272評論 0 3
  • 這就是青春:充滿著力量,充滿著期待伶跷、志愿掰读,充滿著求知和斗爭的志向,充滿著希望叭莫、信心的青春蹈集。前蘇聯(lián)作家奧斯特洛夫斯基...
    王的國閱讀 292評論 0 2
  • 在正確的時節(jié)間,用正確的方式雇初,做正確的事情拢肆。
    bushabush閱讀 229評論 0 0