搜狗詞庫的批量下載#Python

在制作電子病歷全文索引時(shí)凌箕,需要建立索引,索引是根據(jù)索引詞建立的词渤,現(xiàn)有索引詞匱乏牵舱,不能滿足需求,搜尋之后缺虐,發(fā)現(xiàn)搜狗輸入法的醫(yī)學(xué)詞庫很龐大芜壁,所以,想著自學(xué)寫一個(gè)Python腳本高氮,完成詞庫的自動(dòng)下載工作慧妄。

正文

分析參考資料代碼

通過分析代碼發(fā)現(xiàn),思路是:

  1. 獲取分類鏈接
  2. 獲取該分類的分頁鏈接
  3. 獲取該頁下載鏈接-->生成一個(gè)list
  4. 通過list下載內(nèi)容

所需模塊知識(shí)補(bǔ)充

1剪芍、requests和BeautifulSoup模塊(分類塞淹、分頁、下載鏈接都涉及)

  • 爬取網(wǎng)頁過程
  • 獲取網(wǎng)頁數(shù)據(jù)-->requests模塊罪裹,并轉(zhuǎn)換成txt格式
  • 解析數(shù)據(jù)-->BeautifulSoup模塊饱普,txt轉(zhuǎn)換成bs對(duì)象
  • 提取相關(guān)數(shù)據(jù)-->需要分析url找到想要的數(shù)據(jù)內(nèi)容运挫,確定對(duì)應(yīng)的class_
  • 舉例,小分類的全部鏈接可以在cate_words_list的table下面全部找到套耕,所以提取整體內(nèi)容items = soup.find_all('table', class_='cate_words_list')
image

2谁帕、write模塊

def download_dict(dl_url, path):    
    res = requests.get(dl_url, timeout=5)    
    with open(path, "wb") as fw:        
          fw.write(res.content)

總結(jié)

解析網(wǎng)頁和下載內(nèi)容部分進(jìn)行了詳細(xì)解釋,針對(duì)如何將scel文件轉(zhuǎn)換成txt文件冯袍,這里先不做講解了(我也沒弄明白呢)雇卷,下次有機(jī)會(huì)再給大家分析分析。

附贈(zèng)代碼下載鏈接

我用夸克網(wǎng)盤分享了「搜狗詞庫的批量下載#Python」颠猴,點(diǎn)擊鏈接即可保存。打開「夸克APP」小染,無需下載在線播放視頻翘瓮,暢享原畫5倍速,支持電視投屏裤翩。
鏈接:https://pan.quark.cn/s/2d42c4b3ee60
提取碼:dtp5

參考資料

  1. Python 搜狗詞庫的批量下載
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末资盅,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子踊赠,更是在濱河造成了極大的恐慌呵扛,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,539評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件筐带,死亡現(xiàn)場離奇詭異今穿,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)伦籍,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,594評(píng)論 3 396
  • 文/潘曉璐 我一進(jìn)店門蓝晒,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人帖鸦,你說我怎么就攤上這事芝薇。” “怎么了作儿?”我有些...
    開封第一講書人閱讀 165,871評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵洛二,是天一觀的道長。 經(jīng)常有香客問我攻锰,道長晾嘶,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,963評(píng)論 1 295
  • 正文 為了忘掉前任口注,我火速辦了婚禮变擒,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘寝志。我一直安慰自己娇斑,他們只是感情好策添,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,984評(píng)論 6 393
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著毫缆,像睡著了一般唯竹。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上苦丁,一...
    開封第一講書人閱讀 51,763評(píng)論 1 307
  • 那天浸颓,我揣著相機(jī)與錄音,去河邊找鬼旺拉。 笑死产上,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的蛾狗。 我是一名探鬼主播晋涣,決...
    沈念sama閱讀 40,468評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼沉桌!你這毒婦竟也來了谢鹊?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,357評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤留凭,失蹤者是張志新(化名)和其女友劉穎佃扼,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體蔼夜,經(jīng)...
    沈念sama閱讀 45,850評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡兼耀,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,002評(píng)論 3 338
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了挎扰。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片翠订。...
    茶點(diǎn)故事閱讀 40,144評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖遵倦,靈堂內(nèi)的尸體忽然破棺而出尽超,到底是詐尸還是另有隱情,我是刑警寧澤梧躺,帶...
    沈念sama閱讀 35,823評(píng)論 5 346
  • 正文 年R本政府宣布似谁,位于F島的核電站,受9級(jí)特大地震影響掠哥,放射性物質(zhì)發(fā)生泄漏巩踏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,483評(píng)論 3 331
  • 文/蒙蒙 一续搀、第九天 我趴在偏房一處隱蔽的房頂上張望塞琼。 院中可真熱鬧,春花似錦禁舷、人聲如沸彪杉。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,026評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春崭捍,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背侯嘀。 一陣腳步聲響...
    開封第一講書人閱讀 33,150評(píng)論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留谱轨,地道東北人戒幔。 一個(gè)月前我還...
    沈念sama閱讀 48,415評(píng)論 3 373
  • 正文 我出身青樓,卻偏偏與公主長得像土童,于是被迫代替她去往敵國和親溪食。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,092評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容