是絕對位置呻逆。learnable怎么理解呢柳譬？
Bert細(xì)節(jié)整理本文是對bert的細(xì)節(jié)進(jìn)行整理荞怒，分成3個部分的問題： 目錄 輸入 與transformer相比輸入有什么不同样眠？ bert的3種embedding分別有什么意義脑奠，如果實現(xiàn)的图呢？ ...
發(fā)簡信
IP屬地：北京
-
-
特征歸一化/標(biāo)準(zhǔn)化1. 為什么要做特征歸一化/標(biāo)準(zhǔn)化乃摹？ 數(shù)據(jù)預(yù)處理中禁漓，通常會用到特征歸一化，為什么要做歸一化呢孵睬？一般有兩點(diǎn)： 消除特征間單位和尺度差異的影響特征間的單位（尺度）可能不同播歼。比如身...
-
Bert細(xì)節(jié)整理本文是對bert的細(xì)節(jié)進(jìn)行整理，分成3個部分的問題： 目錄 輸入 與transformer相比輸入有什么不同掰读？ bert的3種embedding分別有什么意義秘狞，如果實現(xiàn)的？ ...
-
L1蹈集、L2正則化正則化（Regularization）是機(jī)器學(xué)習(xí)中一種常用的技術(shù)烁试，其主要目的是控制模型復(fù)雜度，減小過擬合拢肆。最基本的正則化方法是在原目標(biāo)（代價）函數(shù) 中添加懲罰項减响，對復(fù)雜度高的...
-
Transformer細(xì)節(jié)整理本文是對transformer的細(xì)節(jié)進(jìn)行整理靖诗，主要有以下問題： Transformer為什么Q和K使用不同的權(quán)重矩陣生成，為何不能使用同一個值進(jìn)行自身的點(diǎn)乘支示？ 關(guān)于 self...
-
pyspark: sql.functions以及udf函數(shù)
大綱 選取列 select 常數(shù)列 lit 條件分支 when otherwise 數(shù)學(xué)函數(shù) 時間函數(shù) 窗口函數(shù) row_number 自定義函數(shù) udf split & e...
-
交叉熵?fù)p失函數(shù)
目錄 二分類 多分類 為什么sigmoid激活函數(shù)刊橘，使用交叉熵?fù)p失函數(shù)更好? 1. 二分類 激活函數(shù)sigmoid這里要注意的是是最后一層的輸出，才是激活函數(shù)后的輸出颂鸿，為預(yù)測...
-
搜索排序指標(biāo)
這里說的指標(biāo)用于離線評估模型的促绵。一般驗證時都是拿前T天的數(shù)據(jù)進(jìn)行模型訓(xùn)練，拿第T+1到T+m天的數(shù)據(jù)進(jìn)行離線指標(biāo)驗證嘴纺。本篇文章主要介紹以下一些指標(biāo)： AUC GAUC log...
-
搜索排序之房源點(diǎn)擊在我們的業(yè)務(wù)場景中败晴，優(yōu)化指標(biāo)是總的商機(jī)數(shù)（聯(lián)系經(jīng)紀(jì)人算是商機(jī)），通過對業(yè)務(wù)指標(biāo)進(jìn)行拆解栽渴，將目標(biāo)拆分成： 提升用戶搜索次數(shù) 提升搜索pctr（pctr表示點(diǎn)擊次數(shù)/請求數(shù)） 提...
-
wide&deep VS deepFMwide&deep和deepFM在推薦搜索中比較常見位衩，這里對原理不做過多介紹，主要想說下特征處理熔萧。 1. wide&deep 模型結(jié)構(gòu) wide&deep結(jié)合了LR和DNN糖驴，...
-
lgb的categorical_feature
在lightgbm中對categorical feature有專門的處理，但是需要標(biāo)明哪些特征是categorical類型佛致；另外在執(zhí)行config文件也有相應(yīng)的參數(shù)categ...
-
-
python 優(yōu)先級隊列PriorityQueue
本文內(nèi)容來自于python隊列queue 之優(yōu)先級隊列[https://www.cnblogs.com/saolv/p/9502124.html] PriorityQueue...
-
信息熵的相關(guān)概念（交叉熵感昼、相對熵等）
1. 信息熵 參考信息熵是什么？- D.Han的回答-知乎[https://www.zhihu.com/question/22178202/answer/223017546]...
-
python字典初始化dict()與{}
參考： The Performance Impact of Using dict() Instead of {} in CPython 2.7[https://doughel...
-
阿里小蜜的架構(gòu)設(shè)計本篇總結(jié)了阿里小蜜從2017-2020年的演進(jìn)過程罐脊，更偏向架構(gòu)體系上的介紹定嗓，不對具體技術(shù)做詳細(xì)介紹。具體技術(shù)部分會放在后面的文章中萍桌。 1. 2017：意圖與匹配分層的技術(shù)架構(gòu)...