Mecab-ko 韓文分詞器安裝與使用

Mecab-ko 韓文分詞器安裝與使用

環(huán)境信息:

Linux: centos7 (debian編譯碰到了好多依賴問題氧秘,需要一個個調試)

Docker也是同樣的問題蚣抗,推薦使用centos7鏡像

1. 前置依賴安裝

# 編譯依賴安裝
yum install -y gcc gcc-c++ wget automake autoconf autogen

2. mecab-ko 編譯安裝

mecab-ko: 基礎庫

mecab-ko-dic:字典庫

mecab-java:外部執(zhí)行程序瘫怜,必須在linux下扇售。 其實主要是為了生成 libMeCab.soMeCab.jar

編譯后的文件都放到了: /usr/local/lib/usr/local/bin

# 1. mecab-ko 安裝
wget https://bitbucket.org/eunjeon/mecab-ko/downloads/mecab-0.996-ko-0.9.2.tar.gz
# 解壓
tar xvfz mecab-0.996-ko-0.9.2.tar.gz
cd mecab-0.996-ko-0.9.2
# 編譯安裝
./configure
make & make install
# 驗證是否安裝成功
mecab --version

# 2. mecab-ko-dic 安裝
wget https://bitbucket.org/eunjeon/mecab-ko-dic/downloads/mecab-ko-dic-2.1.1-20180720.tar.gz
# 解壓
tar xvfz mecab-ko-dic-2.1.1-20180720.tar.gz
cd mecab-ko-dic-2.1.1-20180720
# 編譯安裝 
sudo ./autogen.sh
./configure
make & make install
ldconfig

# 3.安裝jdk,這里以jdk-11.0.12為例,jdk解壓到/opt/jdk-11.0.2路徑下
wget https://cdn.azul.com/zulu/bin/zulu11.58.23-ca-jdk11.0.16.1-linux_x64.tar.gz

# 4.mecab-java安裝
wget https://bitbucket.org/eunjeon/mecab-java/downloads/mecab-java-0.996.tar.gz
# 解壓
tar zxvf mecab-java-0.996.tar.gz
# 編輯Makefile文件鸳谜,更新jdk地址
vi Makefile
# ----------------------
# java環(huán)境變量替換
INCLUDE=/opt/jdk-11.0.2/include
JAVAC=/opt/jdk-11.0.2/bin/javac
JAR=/opt/jdk-11.0.2/bin/jar
# -----------------------

# 復制編譯好之后的文件到/usr/local/lib 下
sudo cp libMeCab.so /usr/local/lib 
sudo cp MeCab.jar /usr/local/lib


# 配置環(huán)境變量
echo "export LD_LIBRARY_PATH=/usr/local/lib" >> ~/.bash_profile 
# 或
vim ~/.bash_profile
#------------------
export LD_LIBRARY_PATH=/usr/local/lib
#-----------------
source ~/.bash_profile
# 執(zhí)行完以上操作后就可以進入mecab-java環(huán)境進行測試
cd /mecab-java
# javac 編譯
/opt/jdk-11.0.2/bin/javac test.java
# java執(zhí)行
/opt/jdk-11.0.2/bin/java test

#/opt/jdk-11.0.2/bin/javac -cp MeCab.jar test.java
#/opt/jdk-11.0.2/bin/java -Djava.library.path=/usr/local/bin/mecab-java -cp .:MeCab.jar test

參考資料
1. [MeCabのインストール(研究室編)] https://hase1031.hatenadiary.org/entry/20111005/1317808636
2. [Mac?? MeCab Ko? Java API ????] https://velog.io/@nocode/Mac%EC%97%90%EC%84%9C-MeCab-Ko%EC%9D%98-Java-API-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B8%B0
3. [MECAB ?? ??? ??? ???? ????] http://guruble.com/mecab-%ED%95%9C%EA%B8%80-%ED%98%95%ED%83%9C%EC%86%8C-%EB%B6%84%EC%84%9D%EA%B8%B0-%ED%94%8C%EB%9F%AC%EA%B7%B8%EC%9D%B8-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0/
4. [Elasticsearch 5.5.0 ???? ??? ??? ?? ????
??: https://kogun82.tistory.com/173 [Ctrl+C&V ? ?? ?????:????]] https://kogun82.tistory.com/173
5. [GitHub] https://github.com/SOMJANG/Mecab-ko-for-Google-Colab/blob/master/install_mecab-ko_on_colab_light_220429.sh

???? ?? ???? ??? ? ?? ??? ?? channels:history
?? Angelie Jayme Liamzon Cafe24 ?? ?? ??? ??????. ???? ????? ??? ? ????.

3. Dockerfile

先準備好如下文件膝藕,放到docker打包路徑下:


[root@localhost docker]# ll
總用量 4
drwxr-xr-x. 9 root root  141 10月 14 15:05 build
-rw-r--r--. 1 root root 1891 10月 14 12:53 Dockerfile
drwxr-xr-x. 2 root root  183 10月 14 10:42 public
[root@localhost docker]#

# build 為java編譯后生成的路徑
# public 為資源文件

# public資源文件如下:
總用量 244684
-rw-r--r--. 1 root root       697 10月 14 10:42 Makefile
-rw-r--r--. 1 root root   1414979 10月 14 10:42 mecab-0.996-ko-0.9.2.tar.gz
-rw-r--r--. 1 root root     28653 10月 14 10:42 mecab-java-0.996.tar.gz
-rw-r--r--. 1 root root  49775061 10月 14 10:42 mecab-ko-dic-2.1.1-20180720.tar.gz
-rw-r--r--. 1 root root 199324356 10月 14 10:42 zulu11.58.23-ca-jdk11.0.16.1-linux_x64.tar.gz


FROM centos:7
USER root
#==============
# mecab 編譯
#==============
# nginx版本
ENV JAVA_PATH /opt
# 臨時源文件路徑
ENV TMP_PATH /opt/tmp
ENV LD_LIBRARY_PATH /usr/local/lib
ENV JDK_PACKAGE zulu11.58.23-ca-jdk11.0.16.1-linux_x64
ENV MECAB_KO_PACKAGE mecab-0.996-ko-0.9.2
ENV MECAB_KO_DIC mecab-ko-dic-2.1.1-20180720
ENV MECAB_JAVA mecab-java-0.996

# 依賴準備
RUN yum install -y gcc gcc-c++ wget automake autoconf autogen make
COPY /public $TMP_PATH
WORKDIR $TMP_PATH

# 安裝mecab-ko
RUN tar xvfz $MECAB_KO_PACKAGE.tar.gz
WORKDIR $MECAB_KO_PACKAGE
RUN echo "mecab-ko.........."
RUN ./configure --with-charset=utf8 \
    && make -j4 \
    && make install \
    && ldconfig \
    && mecab --version

# 安裝mecab-ko-dic
WORKDIR $TMP_PATH
RUN tar xvfz $MECAB_KO_DIC.tar.gz
WORKDIR $MECAB_KO_DIC
RUN ./autogen.sh \
    && ./configure --with-charset=utf8 \
    && make -j4 \
    && make install \
    && ldconfig
RUN echo "java 準備編譯... "

# jdk安裝
WORKDIR /opt
RUN mv $TMP_PATH/$JDK_PACKAGE.tar.gz /opt \
    && tar zxvf $JDK_PACKAGE.tar.gz \
    && mv $JDK_PACKAGE jdk11
WORKDIR jdk11

# java 類庫安裝
WORKDIR $TMP_PATH
RUN ls -l
RUN tar zxvf $MECAB_JAVA.tar.gz
WORKDIR $MECAB_JAVA
# 覆蓋Makefile
# COPY /public/Makefile $TMP_PATH/mecab-java-0.996
RUN mv -f $TMP_PATH/Makefile $TMP_PATH/$MECAB_JAVA \
    && make \
    && cp libMeCab.so /usr/local/lib \
    && cp MeCab.jar /usr/local/lib

# 清除臨時目錄
RUN rm -rf $TMP_PATH \
    rm -rf $TMP_PATH/$JDK_PACKAGE.tar.gz

WORKDIR /
COPY build/libs/*.jar app.jar
RUN ls -l
# USER java
EXPOSE 8000
# CMD /opt/jdk11/bin/java -Dfile.encoding=utf-8 -Djava.security.egd=file:/dev/./urandom -jar /app.jar --spring.profiles.active=${APPS_ENV}
CMD /opt/jdk11/bin/java -Dfile.encoding=utf-8 -Djava.security.egd=file:/dev/./urandom -jar /app.jar

4. 常用Docker命令

systemctl restart docker

# docker 測試
# 打包資源上傳路徑
cd /opt/docker

# 生成image鏡像
docker build -t mecab-ko:v2.4 .

# container 運行image鏡像
docker run -d --name mecab-ko -p 8000:8000 mecab-ko:v2.4

# 進入容器
docker exec -it d4d09122009d /bin/bash

# 停止所有docker container
docker stop $(docker ps -a -q)

# 刪除所有docker container
docker rm $(docker ps -a -q)

5. SpringBoot核心代碼

需要將mecab-java-0.996項目下的 org.chasen.mecab 包及類文件完整的拷貝到你的Springboot項目中。

/**
 * @author: curyu
 * @date: 2022/10/13 10:51
 * @description:
 */
@RestController
@RequestMapping("mecab")
public class MecabController {

    static {
        try {
            System.loadLibrary("MeCab");
        } catch (UnsatisfiedLinkError e) {
            System.err.println("Cannot load the example native code.\nMake sure your LD_LIBRARY_PATH contains \'.\'\n" + e);
            System.exit(1);
        }
    }

    @SneakyThrows
    @GetMapping("/api")
    public List<Map<String, Object>> mecabKeywords(String text) {
        List<Map<String, Object>> resultList = new ArrayList<>();
        String[] split = text.split("\\r\\n");
        for (String s : split) {
            Map<String, Object> map = doMecab(s);
            resultList.add(map);
        }
        return resultList;
    }

    private Map<String, Object> doMecab(String text) {
        Map<String, Object> result = new HashMap<>();
        List<String> list = new ArrayList<>();
        System.out.println(MeCab.VERSION);
        Tagger tagger = new Tagger();
        String record1 = tagger.parse(text);
        Node node = tagger.parseToNode(text);
        result.put("sourceText", text);
        // result.put("targetParse", record1);
        for (; node != null; node = node.getNext()) {
            String record3 = node.getSurface();
            list.add(record3);
            if (node.getSurface() != null && !("").equals(node.getSurface()) && node.getSurface().toString().length() > 0) {
                result.put("targetNode", list);
            }
        }
        return result;
    }

}

測試頁面html

<!DOCTYPE html>
<html>
<head>
    <meta charset="utf-8">
    <title>分詞測試</title>
    <script src="jquery.mini.js"></script>
</head>
<body>
<form action="/mecab/api" target="hidden_frame">
    keywords: <textarea style="width:1000px;height:500px" name="text"></textarea>
    <br>
    <input type="submit">
</form>
<iframe id="hidden_frame" name="hidden_frame" style="display:none;"></iframe>
<div class="innerDiv">
<h1>為了展示更直觀咐扭,以 | 為分隔符</h1>
</div>
</body>
</html>

<script type="text/javascript" charset="UTF-8">
    $('#hidden_frame').load(function () {
        var resultText = $("#hidden_frame")[0].contentDocument.body.getElementsByTagName("pre")[0].innerHTML;
        var result = $.parseJSON(resultText);
        console.log("result ==", result)
        var innerHtmlText = "";
        result.forEach((item, index, arr) => {
            var sourceText = item.sourceText;
            var targetNode = item.targetNode;
            console.log(sourceText);
            console.log("----------------")
            console.log(targetNode)

            innerHtmlText += "    <h1>原文</h1>\n" +
                "    <span>" + sourceText + "</span>\n" +
                "    <br>\n" +
                "    <h2>分詞</h2>\n" +
                "    <span>" + targetNode.join(" <span style='color: red'>|</span>  ") + "</span>\n" +
                "    <br>\n" +
                "    <br>"
        })
        $(".innerDiv").html(innerHtmlText)
    });
</script>

6. 效果展示

AJ2vvIyGAm.gif
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末芭挽,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖八秃,帶你破解...
    沈念sama閱讀 222,807評論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異辛馆,居然都是意外死亡,警方通過查閱死者的電腦和手機豁延,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,284評論 3 399
  • 文/潘曉璐 我一進店門怀各,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人术浪,你說我怎么就攤上這事瓢对。” “怎么了胰苏?”我有些...
    開封第一講書人閱讀 169,589評論 0 363
  • 文/不壞的土叔 我叫張陵硕蛹,是天一觀的道長。 經常有香客問我,道長法焰,這世上最難降的妖魔是什么秧荆? 我笑而不...
    開封第一講書人閱讀 60,188評論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮埃仪,結果婚禮上乙濒,老公的妹妹穿的比我還像新娘。我一直安慰自己卵蛉,他們只是感情好颁股,可當我...
    茶點故事閱讀 69,185評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著傻丝,像睡著了一般甘有。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上葡缰,一...
    開封第一講書人閱讀 52,785評論 1 314
  • 那天亏掀,我揣著相機與錄音,去河邊找鬼泛释。 笑死滤愕,一個胖子當著我的面吹牛,可吹牛的內容都是我干的怜校。 我是一名探鬼主播间影,決...
    沈念sama閱讀 41,220評論 3 423
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼韭畸!你這毒婦竟也來了?” 一聲冷哼從身側響起蔓搞,我...
    開封第一講書人閱讀 40,167評論 0 277
  • 序言:老撾萬榮一對情侶失蹤胰丁,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后喂分,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體锦庸,經...
    沈念sama閱讀 46,698評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,767評論 3 343
  • 正文 我和宋清朗相戀三年蒲祈,在試婚紗的時候發(fā)現(xiàn)自己被綠了甘萧。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,912評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡梆掸,死狀恐怖扬卷,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情酸钦,我是刑警寧澤怪得,帶...
    沈念sama閱讀 36,572評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響徒恋,放射性物質發(fā)生泄漏蚕断。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,254評論 3 336
  • 文/蒙蒙 一入挣、第九天 我趴在偏房一處隱蔽的房頂上張望亿乳。 院中可真熱鬧,春花似錦径筏、人聲如沸葛假。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,746評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽桐款。三九已至,卻和暖如春夷恍,著一層夾襖步出監(jiān)牢的瞬間魔眨,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,859評論 1 274
  • 我被黑心中介騙來泰國打工酿雪, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留遏暴,地道東北人。 一個月前我還...
    沈念sama閱讀 49,359評論 3 379
  • 正文 我出身青樓指黎,卻偏偏與公主長得像朋凉,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子醋安,可洞房花燭夜當晚...
    茶點故事閱讀 45,922評論 2 361