令表示輸入數(shù)據(jù)带迟，表示類(lèi)別標(biāo)簽，表示模型輸出景描，輸入與其類(lèi)別間的互信息為： 上面的公式分項(xiàng)解釋如下： 表示對(duì)于輸入取期望十办，在訓(xùn)練集中等價(jià)于，其中表示訓(xùn)練集的數(shù)據(jù)量超棺； 表示模型輸出向族， 表示各類(lèi)輸出的均值，在實(shí)際訓(xùn)練中體現(xiàn)為棠绘； 于是上式在訓(xùn)練時(shí)可表示為： 表示類(lèi)別分布均值的熵件相，體現(xiàn)分類(lèi)器的“平均性”或“公平性”（fairness）； 表示數(shù)據(jù)樣本類(lèi)別的熵的平均值氧苍，最小化該值體現(xiàn)分類(lèi)器的“明確性”或“堅(jiān)定性”（firmness）夜矗。 參考文獻(xiàn)： Bridle J, Heading A, MacKay D. Unsupervised classifiers, mutual information and'Phantom targets[J]. Advances in neural information processing systems, 1991, 4.
表示對(duì)于輸入取期望十办，在訓(xùn)練集中等價(jià)于
，其中
表示訓(xùn)練集的數(shù)據(jù)量超棺；
表示模型輸出向族，
表示各類(lèi)輸出的均值，在實(shí)際訓(xùn)練中體現(xiàn)為
棠绘；
表示類(lèi)別分布均值的熵件相，體現(xiàn)分類(lèi)器的“平均性”或“公平性”（fairness）；
表示數(shù)據(jù)樣本類(lèi)別的熵的平均值氧苍，最小化該值體現(xiàn)分類(lèi)器的“明確性”或“堅(jiān)定性”（firmness）夜矗。
