1、交叉熵
p是數(shù)據(jù)的真實概率分布，q是由數(shù)據(jù)計算得到的概率分布闽铐。機器學(xué)習(xí)的目的就是希望q盡可能地逼近甚至等于p，從而使得相對熵接近最小值0奶浦。對交叉熵求最小值兄墅，也等效于求最大似然估計（maximum likelihood estimation）。具體可以參考Deep Learning 5.5 Maximum Likelihood Estimation澳叉。
2隙咸、均方（根）誤差
均方誤（根）差作為損失函數(shù)，描述預(yù)測值和真實值的誤差成洗。
參考：https://www.zhihu.com/question/41252833
http://blog.csdn.net/marsjhao/article/details/72630147
