本章內(nèi)容
1.損失函數(shù)
損失函數(shù)是估量模型預(yù)測(cè)值與真實(shí)值不一致程度的函數(shù)镶骗。當(dāng)前已有許多通用的標(biāo)準(zhǔn)損失函數(shù)绽媒，但在目標(biāo)建模過程中伏伯，可能需要通過提出新的損失函數(shù)來提升模型表現(xiàn)浩考，此時(shí)需要自定義損失函數(shù)壤圃。
2.學(xué)習(xí)率
學(xué)習(xí)率控制了學(xué)習(xí)的步長陵霉，即模型參數(shù)的收斂速率。在簡(jiǎn)單ML模型中也許常采用經(jīng)驗(yàn)數(shù)值（0.05伍绳，0.1......）踊挠，或者進(jìn)行手工調(diào)參（傳統(tǒng)藝能），但也有一些動(dòng)態(tài)調(diào)整學(xué)習(xí)率的方式冲杀。如效床，使用函數(shù)進(jìn)行學(xué)習(xí)率調(diào)整（線性函數(shù)、指數(shù)函數(shù)等）权谁。
3.模型調(diào)整
DL模型訓(xùn)練時(shí)剩檀，可以利用現(xiàn)有強(qiáng)大模型，并基于現(xiàn)有模型進(jìn)行改造及個(gè)性化層定義旺芽、訓(xùn)練沪猴、微調(diào)。
4.半精度設(shè)置
半精度技巧可以減少數(shù)據(jù)占用顯存采章，在數(shù)據(jù)size比較大時(shí)可以提升訓(xùn)練速度及模型效果运嗜。
Github頁面公式展示問題可以通過以下方式處理：
Google擴(kuò)展小程序Math Jax Plugin for Github，實(shí)現(xiàn)自動(dòng)轉(zhuǎn)換markdown公式等共缕。
2022年03月20日
https://github.com/orsharir/github-mathjax
