1. 為什么要做特征歸一化/標(biāo)準(zhǔn)化？ 數(shù)據(jù)預(yù)處理中，通常會用到特征歸一化狸剃，為什么要做歸一化呢憾筏？一般有兩點(diǎn)： 消除特征間單位和尺度差異的影響特征間的單位（尺度）可能不同请琳。比如身...
發(fā)簡信
IP屬地：北京
-
特征歸一化/標(biāo)準(zhǔn)化 -
Bert細(xì)節(jié)整理本文是對bert的細(xì)節(jié)進(jìn)行整理慰于，分成3個(gè)部分的問題： 目錄 輸入 與transformer相比輸入有什么不同酱讶？ bert的3種embedding分別有什么意義围苫，如果實(shí)現(xiàn)的裤园？ ...
-
L1、L2正則化正則化（Regularization）是機(jī)器學(xué)習(xí)中一種常用的技術(shù)剂府，其主要目的是控制模型復(fù)雜度拧揽，減小過擬合。最基本的正則化方法是在原目標(biāo)（代價(jià)）函數(shù) 中添加懲罰項(xiàng)腺占，對復(fù)雜度高的...
-
Transformer細(xì)節(jié)整理本文是對transformer的細(xì)節(jié)進(jìn)行整理淤袜，主要有以下問題： Transformer為什么Q和K使用不同的權(quán)重矩陣生成，為何不能使用同一個(gè)值進(jìn)行自身的點(diǎn)乘衰伯？ 關(guān)于 self...
-
搜索排序之房源點(diǎn)擊在我們的業(yè)務(wù)場景中铡羡，優(yōu)化指標(biāo)是總的商機(jī)數(shù)（聯(lián)系經(jīng)紀(jì)人算是商機(jī)），通過對業(yè)務(wù)指標(biāo)進(jìn)行拆解意鲸，將目標(biāo)拆分成： 提升用戶搜索次數(shù) 提升搜索pctr（pctr表示點(diǎn)擊次數(shù)/請求數(shù)） 提...
-
wide&deep VS deepFMwide&deep和deepFM在推薦搜索中比較常見烦周，這里對原理不做過多介紹，主要想說下特征處理怎顾。 1. wide&deep 模型結(jié)構(gòu) wide&deep結(jié)合了LR和DNN读慎，...
-
信息熵的相關(guān)概念（交叉熵、相對熵等）
1. 信息熵 參考信息熵是什么槐雾？- D.Han的回答-知乎[https://www.zhihu.com/question/22178202/answer/223017546]...
-
SVD 代碼實(shí)踐
本文主要介紹tensorflow和pyspark對svd的實(shí)現(xiàn)夭委，具體原理可見上篇-SVD在協(xié)同過濾推薦系統(tǒng)中的應(yīng)用 大綱 SVD 代碼實(shí)踐之tensorflow SVD 代碼...
-
論文閱讀：Alibaba-Deep Interest Network for CTR Prediction提綱 解決的問題 方法 啟發(fā)與疑問 1. 解決的問題 簡單點(diǎn)說，本文是為了解決在商品推薦中如何表示用戶對不同種類商品的興趣蚜退。舉個(gè)例子闰靴，一位年輕的媽媽瀏覽過或者購買過很多種類的...