發(fā)簡信
IP屬地：西藏
-
Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning背景：基于大規(guī)模的語言模型。在pretrain-fineTuning兩階段的范式下前域，pretrain 階段辕近，數據量較大，學習到的知識泛化能力較強...
-
Match2: A matching over Matching Model for Similar Question Identification
任務背景：社區(qū)問答中匿垄，識別用戶相似的問題移宅。主要應用在兩個產品中。1是椿疗，當用戶提問時漏峰，需要一段時間后，才會有反饋届榄。此時浅乔，可以給用戶推薦相似問題的已...
-
Multi-Sample Dropout1. 模型結構 orginal dropout ： 對單個樣本，進行單次drop out。 2. 思想 stacking方法中的子模型靖苇。事實...
-
drop-out在有監(jiān)督任務上的應用—Rdrop場景：有監(jiān)督模型中席噩，利用dropout的方式，增強模型的泛化能力贤壁。 drop-out在無監(jiān)督學習上的應用 ：用于對比學習悼枢。同個query，dro...
-
ERNIE主題：根據額外的信息輸入（實體）脾拆，增強語言表征能力馒索。利用大規(guī)模的文本語料庫以及KG圖，訓練得到一個增強的語言表示模型名船。 問題：將額外的知識加入語...
-
降噪自動編碼器（Denoising AutoEncoder）+BERT
背景：隨著科技發(fā)展绰上。出現處理更多的高維數據，比如圖像包帚、語音渔期。1）傳統(tǒng)的統(tǒng)計學-機器學習方法：由于數據維度過高运吓，數據單調渴邦，噪聲分布廣，傳統(tǒng)的特征工...
-
Pytorch中的DataLoader, DataSet, Sampler
DataLoader： 數據的迭代器拘哨，數據是model直接可用的格式谋梭。分成一個個的batch。 DataSet : 根據索引倦青，拿到數據后瓮床。對數據...
-
python3+pytorch+horovod 安裝最近研究poly-encoder ，用的是pytorch 進行的開發(fā)产镐。在代碼優(yōu)化時隘庄，調研到torch本身的DataParallel實現，在效率上...
-
lambdaMART-1.GBDTboosting思想：疊加多個弱模型癣亚，漸進的逼近真實情況丑掺。問題在于：如何保證擬合方向正確，如何疊加弱模型的結果述雾。 問題： 以什么目標學習下一棵樹...