熵的本質(zhì)是香農(nóng)信息量猾担，被用于描述一個(gè)系統(tǒng)中的不確定性。 在決策樹算法中的信息熵: 在反向傳播算法中衡量?jī)蓚€(gè)分布和差異的交叉熵： KL散度(相對(duì)熵)：
IP屬地：青海
-
信息熵+交叉熵+KL散度
-
矩陣和向量的乘法---點(diǎn)乘、叉乘、內(nèi)積肯腕、外積、數(shù)乘、哈達(dá)瑪積鬼雀、克羅內(nèi)克積向量的數(shù)乘：用一個(gè)數(shù)乘以向量中的每個(gè)元素 向量的內(nèi)積：等于對(duì)應(yīng)位置相乘再相加，兩個(gè)向量的內(nèi)積的結(jié)果是變成一個(gè)標(biāo)量（也叫點(diǎn)乘） 向量的外積：叉乘的運(yùn)算結(jié)果是一個(gè)向量而不是一個(gè)標(biāo)...
-
向量的范數(shù)
向量的范數(shù)是一個(gè)標(biāo)量范數(shù)為： 特別地： 0范數(shù)為向量中非零元素的個(gè)數(shù) 1范數(shù)為向量元素的絕對(duì)值相加 2范數(shù)為向量元素的平方和再開方蛙吏，即高中數(shù)學(xué)中向量的模 機(jī)器學(xué)習(xí)中的L2懲罰...
-
logistic 回歸基本理論 logistic回歸的總體思路：線性回歸→(激活函數(shù))→線性分類 激活函數(shù)即sigmoid函數(shù)源哩，即 logistic回歸模型表達(dá)式： logistic回歸模型只做二...
-
卷積神經(jīng)網(wǎng)絡(luò)的反向傳播1.DNN的反向傳播 首先回顧深度神經(jīng)網(wǎng)絡(luò)（DNN）的反向傳播 forward： Loss Function: backward: w的梯度： b的梯度： 令： 已知，推導(dǎo)上...
-
Glove 原理詳細(xì)解讀本文主要對(duì)《GloVe: Global Vectors for Word Representation》進(jìn)行解讀鸦做。 盡管word2vector在學(xué)習(xí)詞與詞間的關(guān)系上有了大進(jìn)步...
-
Word2vec原理詳細(xì)解讀0. 預(yù)備知識(shí) Softmax函數(shù)： 哈夫曼樹(Huffman Tree) 1.Skip-gram 從圖1可以看出Skip-gram就是用當(dāng)前中心詞(banking)預(yù)測(cè)...
-
BatchNormalization和LayerNormalization神經(jīng)網(wǎng)絡(luò)中有各種歸一化算法：Batch Normalization (BN)励烦、Layer Normalization (LN)、Instance Normalization ...