這個(gè)是很實(shí)用的功能截亦，很多時(shí)候聊天都會有敏感詞過濾爬泥。有的時(shí)候發(fā)文有敏感詞發(fā)都不讓發(fā)，所以說用的地方還是挺多的崩瓤。然后下面說下java實(shí)現(xiàn)的思路袍啡，與代碼實(shí)現(xiàn)。
這里所謂的敏感詞過濾有多種表現(xiàn)形式：
1. 用戶發(fā)了一段文字却桶，判斷有沒有敏感詞境输。有的話提示有敏感詞，不讓提交颖系。
2. 用戶發(fā)了一段文字嗅剖，判斷有沒有敏感詞并找出敏感詞匯，返回給用戶嘁扼。不讓提交信粮。
3. 用戶發(fā)了一段文字，判斷有沒有敏感詞趁啸，有敏感詞的話把敏感詞用*替換强缘。可以提交不傅。
當(dāng)然了旅掂，我這里其實(shí)第一種就是偷懶的辦法，對用戶不友好访娶，雖然確實(shí)寫著簡單但是不建議這么做商虐。那么剩下的就是2,3兩種方式了。
然后說一下實(shí)現(xiàn)的思路：我之前查了一會兒崖疤，這個(gè)敏感詞匯對于不同的軟件來說是不一樣的称龙，所以我就在git上找了一個(gè)敏感詞詞匯的整理文件。地址如下:
https://github.com/chason777777/mgck/archive/master.zip
這里還有個(gè)很好玩的事戳晌，就是我不是習(xí)慣什么資源都傳到群里便于以后使用嘛。痴柔。然后我這個(gè)文件就傳不上去沦偎。。咳蔚。附上截圖：
哈哈，這個(gè)也算是敏感詞攔截的一個(gè)例子了吧谈火？繼續(xù)往下說侈询。
其實(shí)這個(gè)實(shí)現(xiàn)起來很方便，jar都不用引入糯耍，就是一個(gè)算法而已扔字。
然后我這里簡單說下思路：
- 把這些詞匯整理一下存在一個(gè)項(xiàng)目可以獲取到的地方囊嘉。不管是properties文件里還是外部確定位置的文件，甚至我之前看的demo就是放在數(shù)據(jù)庫的革为，開心就好扭粱，這個(gè)都隨便。
- 把這些詞匯存到一個(gè)set中震檩，然后構(gòu)建DFA算法模型琢蛤。這個(gè)的代碼也不算很復(fù)雜，我感覺有點(diǎn)類似于前綴樹抛虏。但是這個(gè)不是重點(diǎn)博其，照抄代碼就行了。
我這里是用指定位置的配置文件的形式來實(shí)現(xiàn)的迂猴。這樣修改起來也比較方便慕淡。直接貼代碼：
/**
* 敏感詞過濾工具類
* @author lsj
*
*/
import java.io.FileInputStream;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.HashSet;
import java.util.List;
import java.util.Map;
import java.util.Set;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;
@SuppressWarnings({ "unchecked", "rawtypes" })
public class SensitiveFilterUtil {
/**
* 敏感詞集合
*/
public static HashMap sensitiveWordMap;
/**
* 初始化敏感詞庫,構(gòu)建DFA算法模型
*/
public static void initContext() {
HashSet<String> set = new HashSet<String>();
try {
//獲取敏感詞文件
Workbook workbook = new XSSFWorkbook(new FileInputStream("D:\\ty-logistics\\敏感詞庫表統(tǒng)計(jì).xlsx"));
// 獲取第一個(gè)張表
Sheet sheet = workbook.getSheetAt(0);
// 獲取每行中的字段
for (int j = 1; j <= sheet.getLastRowNum(); j++) {
Row row = sheet.getRow(j); // 獲取行
if (row == null) {// 略過空行
continue;
} else {
if(row.getCell(2)!=null) set.add(row.getCell(2).getStringCellValue());
}
}
initSensitiveWordMap(set);
} catch (Exception e) {
System.out.println("<<<<<<解析敏感詞文件報(bào)錯(cuò)！");
e.printStackTrace();
}
}
/**
* 初始化敏感詞庫,構(gòu)建DFA算法模型
*
* @param sensitiveWordSet 敏感詞庫
*/
private static void initSensitiveWordMap(Set<String> sensitiveWordSet) {
//初始化敏感詞容器,減少擴(kuò)容操作
sensitiveWordMap = new HashMap<String,String>(sensitiveWordSet.size());
Map<Object,Object> temp;
Map<Object,Object> newWorMap;
//遍歷sensitiveWordSet
for(String key:sensitiveWordSet) {
temp = sensitiveWordMap;
for (int i = 0; i < key.length(); i++) {
//轉(zhuǎn)換成char型
char keyChar = key.charAt(i);
//庫中獲取關(guān)鍵字
Object wordMap = temp.get(keyChar);
//如果存在該key,直接賦值,用于下一個(gè)循環(huán)獲取
if (wordMap != null) {
temp = (Map) wordMap;
} else {
//不存在則,則構(gòu)建一個(gè)map,同時(shí)將isEnd設(shè)置為0,因?yàn)樗皇亲詈笠粋€(gè)
newWorMap = new HashMap<>();
//不是最后一個(gè)
newWorMap.put("isEnd", "0");
temp.put(keyChar, newWorMap);
temp = newWorMap;
}
//最后一個(gè)
if (i == key.length() - 1) temp.put("isEnd", "1");
}
}
}
/**
* 判斷文字是否包含敏感字符
*
* 文本
*
* 若包含返回true,否則返回false
*/
public static boolean contains(String txt) {
boolean flag = false;
for (int i = 0; i < txt.length(); i++) {
int matchFlag = checkSensitiveWord(txt, i); //判斷是否包含敏感字符
if (matchFlag > 0) {//大于0存在,返回true
flag = true;
}
}
return flag;
}
/**
* 檢查文字中是否包含敏感字符,檢查規(guī)則如下:
*
* @param txt
* @param beginIndex
* @param matchType
* @return 如果存在,則返回敏感詞字符的長度,不存在返回0
*/
private static int checkSensitiveWord(String txt, int beginIndex) {
//敏感詞結(jié)束標(biāo)識位:用于敏感詞只有1位的情況
boolean flag = false;
//匹配標(biāo)識數(shù)默認(rèn)為0
int matchFlag = 0;
char word;
Map nowMap = sensitiveWordMap;
for (int i = beginIndex; i < txt.length(); i++) {
word = txt.charAt(i);
//獲取指定key
nowMap = (Map) nowMap.get(word);
if (nowMap != null) {//存在,則判斷是否為最后一個(gè)
//找到相應(yīng)key,匹配標(biāo)識+1
matchFlag++;
//如果為最后一個(gè)匹配規(guī)則,結(jié)束循環(huán),返回匹配標(biāo)識數(shù)
if ("1".equals(nowMap.get("isEnd"))) {
//結(jié)束標(biāo)志位為true
flag = true;
}
} else {//不存在,直接返回
break;
}
}
if (matchFlag < 2 || !flag) {//長度必須大于等于1,為詞
matchFlag = 0;
}
return matchFlag;
}
/**
* 獲取文字中的敏感詞
*
* txt文字
*
*
*/
public static List getSensitiveWord(String txt) {
List sensitiveWordList = new ArrayList();
for (int i = 0; i < txt.length(); i++) {
//判斷是否包含敏感字符
int length = checkSensitiveWord(txt, i);
if (length > 0) {//存在,加入list中
sensitiveWordList.add(txt.substring(i, i + length));
i = i + length - 1;//減1的原因,是因?yàn)閒or會自增
}
}
return sensitiveWordList;
}
/**
* context是要校驗(yàn)的內(nèi)容错忱。返回結(jié)果是list儡率，為空說明沒有敏感詞
* @param context
* @return
*/
public static List checkTxt(String context) {
initContext();
//包含敏感詞返回所有敏感詞數(shù)據(jù)
return getSensitiveWord(context);
}
public static void main(String[] args){
System.out.println(checkTxt("賣淫嫖娼殺人犯法共產(chǎn)黨國民黨法輪大法"));
}
}
然后簡單說下我這里的代碼邏輯，首先獲取敏感詞以清，然后敏感詞建模型儿普。這里還有一個(gè)方法是判斷有沒有敏感詞，是我網(wǎng)上的帖子上的內(nèi)容掷倔，我覺得沒啥必要所以沒用眉孩。直接就判斷有沒有敏感詞。
真正使用的時(shí)候調(diào)用checkTxt方法就行了勒葱。
然后我參考的那個(gè)帖子的代碼比我這個(gè)復(fù)雜浪汪，有什么最小匹配原則最大匹配原則，雖然代碼中沒啥實(shí)用性（不是我吐槽凛虽，真的最小原則都沒用過）死遭，然后還有那個(gè)技術(shù)貼是用的數(shù)據(jù)庫存儲的方式。一會兒在最后我會貼傳送門凯旋。
另外之前說的不是攔截呀潭，而且換成**的實(shí)現(xiàn)，在這個(gè)基礎(chǔ)上變一下就行了至非。
獲取了所有的敏感詞钠署。在原文中用replace全部替換一遍。然后返回context就ok了荒椭，因?yàn)槲疫@里不需要所以沒做谐鼎。
附上我參考的帖子地址：https://blog.csdn.net/qq_40838030/article/details/82625910
本篇筆記就記到這里，如果稍微幫到你了記得點(diǎn)個(gè)喜歡點(diǎn)個(gè)關(guān)注趣惠，如果我上文說的有什么不清楚或者有什么問題歡迎留言或者私聊探討狸棍。另外也祝大家工作順順利利吧身害！周末愉快~
