【Sentence-bert】 Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks 論文: http...
【Sentence-bert】 Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks 論文: http...
1.Constrained Deep Adaptive Clustering with Cluster Refinement 論文:https://ojs.aaai.org/...
1. GOLD: Improving Out-of-Scope Detection in Dialogues using Data Augmentation 論文:https...
1. Self-Guided Contrastive Learning for BERT Sentence Representations 論文:https://arxiv....
1.Exploiting Cloze Questions for Few Shot Text Classifification and Natural Language In...
錯(cuò)別字類型 1. 字形相似錯(cuò)誤初肉。 2. 拼音相似錯(cuò)誤 3. 其他: 多字胸完、少字、亂序 糾錯(cuò)難點(diǎn) 1. 需要一定的知識(shí)背景: 專有名詞又厉、人名等 2. 需要一定推理和分析能力 3...
Pycorrector實(shí)現(xiàn)文本糾錯(cuò) 代碼: https://github.com/shibing624/pycorrector[https://github.com/shib...
SimCSE: Simple Contrastive Learning of Sentence Embeddings 摘要 論文利用對(duì)比學(xué)習(xí)獲得更優(yōu)的句子向量菠镇,不管是用無(wú)標(biāo)簽...
【BERT】問(wèn)題 - 預(yù)訓(xùn)練與微調(diào)之間的不匹配問(wèn)題,微調(diào)時(shí)從未看到[MASK] - 收斂速度慢: 每個(gè)batch中只預(yù)測(cè)了15%的token禀梳,導(dǎo)致收斂速度慢杜窄;換句話說(shuō),模型只...
摘要 BART是一個(gè)用來(lái)預(yù)訓(xùn)練seq-to-seq模型的去噪自編碼器算途。它通過(guò)在輸入序列中加入隨機(jī)的噪聲函數(shù)塞耕,并利用seq2seq結(jié)構(gòu)從損壞的文本中重構(gòu)原始文本來(lái)訓(xùn)練模型。BA...
摘要 Span extraction旨在從原始文本中抽取出一些文本span (如單詞或短語(yǔ))嘴瓤。引入標(biāo)簽信息(如實(shí)體的tag)有助于提升文本表示扫外,可以將span extract...
本文用于理解ROC曲線的定義刻获,繪制過(guò)程及其應(yīng)用實(shí)現(xiàn),主要用于自我溫習(xí)回顧基礎(chǔ) 基本目錄如下: 什么是ROC曲線瞎嬉?1.1 ROC曲線的歷史1.2 ROC曲線的定義1.3 ROC...
本文用于理解機(jī)器學(xué)習(xí)中常見(jiàn)的兩種降維方法蝎毡,主成分分析和線性判別分析,并對(duì)兩者進(jìn)行簡(jiǎn)單的對(duì)比氧枣。 基本目錄如下: 什么是PCA沐兵?1.1 先導(dǎo)數(shù)學(xué)知識(shí)準(zhǔn)備1.2 PCA基本概念理解...
本文主要用于理解主題模型LDA(Latent Dirichlet Allocation)其背后的數(shù)學(xué)原理及其推導(dǎo)過(guò)程。本菇力求用簡(jiǎn)單的推理來(lái)論證LDA背后復(fù)雜的數(shù)學(xué)知識(shí)便监,苦于...
本文主要用于記錄谷歌發(fā)表于2014年的一篇神作(引用量上千)扎谎,現(xiàn)已被廣泛使用的Sequence to Sequence模型論文碳想。方便初學(xué)者快速入門(mén),以及自我回顧毁靶。 論文鏈接:...
本文主要用于記錄發(fā)表于2014年的一篇神作(引用量破5k)胧奔。該論文第一次將注意力機(jī)制引入了NLP領(lǐng)域,而本筆記意在方便初學(xué)者快速入門(mén)预吆,以及自我回顧龙填。 論文鏈接:https:/...
本文主要用于記錄發(fā)表于2015年的一篇神作(引用量上千)。該論文將注意力機(jī)制在機(jī)器翻譯的領(lǐng)域進(jìn)行了升級(jí)拐叉,而本筆記意在方便初學(xué)者快速入門(mén)岩遗,以及自我回顧。 論文鏈接:http:/...