一.cross entropy 交叉熵
交叉熵的概念得從信息熵的概念說(shuō)起，我們都知道信息熵飘弧，簡(jiǎn)而言之就是信息量多少的度量携栋。
我們定義離散熵：
連續(xù)熵：
那么交叉熵是什么呢？交叉熵的定義如下：
離散：
連續(xù)：
cross entropy error在邏輯回歸中
二.ground truth
轉(zhuǎn)至知乎：https://www.zhihu.com/question/22464082
機(jī)器學(xué)習(xí)里經(jīng)常出現(xiàn)ground truth這個(gè)詞蕉拢，能否準(zhǔn)確解釋一下特碳？
作者：lee philip
鏈接：https://www.zhihu.com/question/22464082/answer/21443035
來(lái)源：知乎
著作權(quán)歸作者所有诚亚。商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系作者獲得授權(quán)，非商業(yè)轉(zhuǎn)載請(qǐng)注明出處午乓。
機(jī)器學(xué)習(xí)包括有監(jiān)督學(xué)習(xí)(supervised learning)站宗，無(wú)監(jiān)督學(xué)習(xí)(unsupervised learning)，和半監(jiān)督學(xué)習(xí)（semi-supervised learning）.
在*有監(jiān)督學(xué)習(xí)中益愈，數(shù)據(jù)是有標(biāo)注的梢灭，以(x, t)的形式出現(xiàn)，其中x是輸入數(shù)據(jù)蒸其，t是標(biāo)注.正確的t標(biāo)注是ground truth敏释， 錯(cuò)誤的標(biāo)記則不是。（也有人將所有標(biāo)注數(shù)據(jù)都叫做ground truth）
由模型函數(shù)的數(shù)據(jù)則是由(x, y)的形式出現(xiàn)的摸袁。其中x為之前的輸入數(shù)據(jù)钥顽，y為模型預(yù)測(cè)的值。
標(biāo)注會(huì)和模型預(yù)測(cè)的結(jié)果作比較靠汁。在損耗函數(shù)(loss function / error function)中會(huì)將y 和 t 作比較蜂大，從而計(jì)算損耗(loss / error)。 比如在最小方差中：
因此如果標(biāo)注數(shù)據(jù)不是ground truth蝶怔，那么loss的計(jì)算將會(huì)產(chǎn)生誤差奶浦，從而影響到模型質(zhì)量。
比如輸入三維踢星，判斷是否性感：
- 錯(cuò)誤的數(shù)據(jù)
標(biāo)注數(shù)據(jù)1 ( (84,62,86) , 1)澳叉，其中x =(84,62,86), t = 1 。
標(biāo)注數(shù)據(jù)2 ( (84,162,86) , 1)沐悦，其中x =(84,162,86), t = 1 成洗。
這里標(biāo)注數(shù)據(jù)1是ground truth， 而標(biāo)注數(shù)據(jù)2不是所踊。
預(yù)測(cè)數(shù)據(jù)1 y = -1
預(yù)測(cè)數(shù)據(jù)2 y = -1
- 正確的數(shù)據(jù)
標(biāo)注數(shù)據(jù)1 ( (84,62,86) , 1)泌枪，其中x =(84,62,86), t = 1 。
標(biāo)注數(shù)據(jù)2 ( (84,162,86) , 1)秕岛，其中x =(84,162,86), t = -1 碌燕。 （改為ground truth）
這里標(biāo)注數(shù)據(jù)1和2都是ground truth。
預(yù)測(cè)數(shù)據(jù)1 y = -1
預(yù)測(cè)數(shù)據(jù)2 y = -1
由于使用錯(cuò)誤的數(shù)據(jù)继薛，對(duì)模型的估計(jì)比實(shí)際要糟糕修壕。另外，標(biāo)記數(shù)據(jù)還被用來(lái)更新權(quán)重遏考，錯(cuò)誤標(biāo)記的數(shù)據(jù)會(huì)導(dǎo)致權(quán)重更新錯(cuò)誤慈鸠。因此使用高質(zhì)量的數(shù)據(jù)是很有必要的。
- 在半監(jiān)督學(xué)習(xí)中灌具，對(duì)標(biāo)記數(shù)據(jù)也要進(jìn)行比較
