之前在改自定義的DataSet的時候，由于在getitem()里面寫了太多操作告丢，導致訓練過程賊慢鬼譬，于是考慮用多線程優(yōu)化一下。查閱一些資料發(fā)現(xiàn)pytorch在DataLoade...
發(fā)簡信
IP屬地：陜西
-
Pytorch中DataLoader類的多線程實現(xiàn)方法分析
-
【paper reading】Deep Interest Evolution Network for Click-Through Rate PredictionDIEN 是阿里媽媽在9月份公開的一個點擊率預(yù)估模型嚣镜。論文中提到的技術(shù)點十分值得去研究和嘗試一下藕甩。之前做了一個slides海雪，今天抽時間將它整理出來~ 主要從以下幾個角度介紹土匀。...
-
模型壓縮--知識蒸餾Knowledge Distilling
前言 目前提高機器學習算法性能的方法幾乎都用多模型ensamble子房，在計算上非常昂貴且難以部署，尤其是大型神經(jīng)網(wǎng)絡(luò)就轧，比如bert证杭。知識蒸餾就是希望用小型模型得到跟大型復(fù)雜模型...
-
歸一化 （Normalization）、標準化 （Standardization）和中心化/零均值化 （Zero-centered）1 概念??歸一化：１）把數(shù)據(jù)變成(０妒御，１)或者（1,1）之間的小數(shù)解愤。主要是為了數(shù)據(jù)處理方便提出來的，把數(shù)據(jù)映射到0～1范圍之內(nèi)處理乎莉，更加便捷快速送讲。２）把有量綱表達式變成無量...
-
DSSM模型和tensorflow實現(xiàn)DSSM 的原理很簡單奸笤，通過搜索引擎里 Query 和 Title 的海量的點擊曝光日志，用 DNN 把 Query 和 Title 表達為低緯語義向量李茫，并通過 cosine...
-
Shell腳本并發(fā)及并發(fā)數(shù)的控制
正常情況下，Shell腳本是串行執(zhí)行的存筏，一條命令執(zhí)行完才會執(zhí)行接下來的命令宠互。如下代碼： 腳本執(zhí)行的結(jié)果如下： echo $1 命令串行執(zhí)行，如果命令耗時較長導致總時間較長椭坚。如...
