記錄一下,慢慢更新...
一曲初、數(shù)據(jù)方面
1. 一定要做標(biāo)準(zhǔn)化L遐恕!臼婆!不然NN根本不工作
2抒痒、高維離散特征embedding是有效的
二、模型方面
1颁褂、可以加入BN層故响,但感覺提升不明顯
2傀广、初始化方法
三、調(diào)參方面
主要是DNN彩届,目前主要調(diào)整的超參數(shù):
1. 學(xué)習(xí)率 learning rate:開始是0.001伪冰,增大到0.01,auc反而更高了
2. drop out:設(shè)置的0.9樟蠕,比沒用drop out 還是有提升的
3. batch size:
4. 優(yōu)化算法:一開始用的Adam
5.?