1.背景
上一篇利用xlwings庫冗懦，實現(xiàn)文件名與excel表格內(nèi)容的極大似然匹配標注（一）文章（以下簡稱文章一）的末尾提到存在的不足與改進的方向乙各。
-
先來簡單說明一下任務：當前文件夾中存放著目標表格（hotels.xlsx）爬骤，表格中內(nèi)容是收集上來各個酒店的詳細信息，包括全稱以及其他信息贱纠，表格如下圖所示：
部分表格.png目前征集上來收取的各個賓館的承諾書存放在當前目錄下“住宿行業(yè)承諾書”這個文件夾峻厚。我們需要根據(jù)收取到的承諾書，在hotels.xlsx上面賓館名稱一列標出顏色谆焊，從而篩選出沒有交的企業(yè)惠桃。
當前目錄結構住宿行業(yè)承諾書文件夾內(nèi)部 文章一的不足在于，承諾書的文件名稱需要與表格中的完全匹配辖试，一個字符都不能差辜王。然而現(xiàn)實工作中這樣的要求是很苛刻的，一般收取上來的承諾書有賓館的簡稱就已經(jīng)很不錯了罐孝。
帶著問題呐馆，博主咨詢了在字節(jié)、快手互聯(lián)網(wǎng)大廠工作的三位大佬@江風不眠晚來霧@黃_01fd@麻辣小王子莲兢。三位大佬各自提出了切實有效的解決方法汹来。經(jīng)過電話連線討論，博主最終決定采用如下的方法：計算每個文件名與表格每個賓館名稱文本的相似度改艇，文本相似度最高的收班，確定為極大似然匹配，之后在表格中標注谒兄。
2.實現(xiàn)
- 需要用到jieba分詞以及gensim等工具摔桦。
- 思路如下：
1.在hotels.xlsx單元表格中獲取所有賓館的名字全稱并存至列表生成文本集hotel_names。在住宿行業(yè)承諾書文件夾獲取所有賓館簡稱舵变，生成關鍵字keywords庫酣溃；
2.用jieba分詞對hotel_names處理，生成分詞列表hotel_names纪隙；
3.基于分詞列表hotel_names建立詞典dictionary赊豌，并獲得詞典特征數(shù)num_features；
4.基于詞典dictionary绵咱，將分詞列表集hotel_names轉換成稀疏向量集corpus碘饼，稱作語料庫corpus；
5.用詞典dictionary將keywords庫中的每一個keyword轉換成稀疏向量悲伶；
6.創(chuàng)建TF-IDF模型艾恼，傳入語料庫corpus訓練；
7.用TF-IDF模型處理語料庫麸锉，得到sparse_matrix钠绍；
8.對于每一個keyword，用TF-IDF模型處理花沉，得到相似度柳爽。獲取相似度最大的那一個的索引媳握，在表格上找出標黃。
- 代碼貼上：
'''
Descripttion: 利用xlwings庫磷脯，實現(xiàn)文件名與excel表格內(nèi)容的極大似然匹配標注
version: V2.0
Author: HK
Date: 2022-04-11 22:25:44
LastEditors: HK
LastEditTime: 2022-04-13 23:36:30
'''
import os
from sklearn.decomposition import sparse_encode
import xlwings as xw
from jieba import lcut
from gensim.similarities import SparseMatrixSimilarity
from gensim.corpora import Dictionary
from gensim.models import TfidfModel
import numpy as np
hotel_names = []
hotel_file_path = "./hotels.xlsx"
hotel_names_path = "./住宿行業(yè)承諾書/"
keywords = os.listdir(hotel_names_path)
for i in range(len(keywords)):
index = keywords[i].rfind('.')
keywords[i] = keywords[i][0:index]
try:
app = xw.App(visible=False,add_book=False)
wb = app.books.open(hotel_file_path)
sht = wb.sheets("Sheet1")
info = sht.used_range
nrows = info.last_cell.row
for i in range(3,nrows + 1):
rng = "C%d" % i
item = sht.range(rng)
hotel_names.append(item.value)
hotel_names = [lcut(hotel_name) for hotel_name in hotel_names]
dictionary = Dictionary(hotel_names)
num_features = len(dictionary.token2id)
corpus = [dictionary.doc2bow(hotel_name) for hotel_name in hotel_names]
kw_vectors = [dictionary.doc2bow(lcut(keyword)) for keyword in keywords]
tfidf = TfidfModel(corpus)
tf_texts = tfidf[corpus]
sparse_matrix = SparseMatrixSimilarity(tf_texts,num_features)
for kw_vector in kw_vectors:
tf_kw = tfidf[kw_vector]
similarities = sparse_matrix.get_similarities(tf_kw)
index = np.argmax(similarities)
item = sht.range(f'C{index + 3}')
item.color = (255,255,0)
finally:
wb.save()
wb.close()
app.quit()
3.總結
- 跑了二十多個測試用例蛾找，結果還不錯，后面還需要增加測試用例赵誓，進行準確率分析打毛。感謝三位大佬的建議，讓博主減少了很多工作量俩功，也懇請各位看官批評指正幻枉。
