我們知道線性回歸一般都用來解決回歸類問題秽浇，例如房價預(yù)測酷麦，氣溫預(yù)測等。實(shí)際上否淤，加上 Softmax 這樣的技術(shù)悄但，我們還可以使用線性回歸來解決多分類問題。Softmax 是對網(wǎng)絡(luò)結(jié)構(gòu)中輸出層的改造石抡，其示意圖如下：
Softmax 技術(shù)細(xì)節(jié)
上圖中算墨，x1、x2 和 x3 是輸入層汁雷，它們分別通過兩個線性回歸模型來產(chǎn)生 y1 和 y2：
接著，把 y1 和 y2 輸入到 Softmax 模塊中报咳，輸出 y1' 和 y2'侠讯，經(jīng)過 Softmax 處理后的結(jié)果，是一個離散概率分布暑刃，即 y1' + y2' = 1厢漩。于是，我們可以用 y1' 和 y2' 來表示不同分類的預(yù)測概率岩臣。
Softmax 具體細(xì)節(jié)如下圖所示：
- 首先把輸出結(jié)果做 e 的次方處理溜嗜，得到
宵膨，
- 將第 1 步的結(jié)果相加：sum = z1 + z2
- 最后，將第 1 步的結(jié)果除以 sum炸宵，得到
辟躏，
因?yàn)閷Y(jié)果做了 e 的次方的處理，所以 Softmax 會強(qiáng)化較大的數(shù)——致使較大的結(jié)果的概率更大土全，這也是 Softmax 為什么要叫 Softmax捎琐，而不叫 max 的原因。
Softmax 分類的損失函數(shù)
Softmax 分類采用交叉熵（Cross Entropy）損失函數(shù)裹匙，仔細(xì)觀察瑞凑，交叉熵?fù)p失函數(shù)其實(shí)就是 Log Likelihood（見深入理解邏輯回歸一文），它們的目標(biāo)都是為了讓正確分類的預(yù)測值最大化概页。
上圖中籽御，y1'，y2' 和 y3' 為不同分類的預(yù)測概率惰匙，它是 Softmax 的輸出結(jié)果技掏；y1，y2 和 y3 是真實(shí)分類數(shù)據(jù)徽曲，在分類任務(wù)中零截，這三個數(shù)只有一個是 1，另外兩個都是 0秃臣，所以 y1涧衙，y2 和 y3 也是一個概率分布。
那么我們的機(jī)器學(xué)習(xí)任務(wù)就變成了：讓預(yù)測概率分布 不斷接近真實(shí)概率分布
的優(yōu)化問題奥此。我們用交叉熵（cross entropy）來衡量兩個概率分布的差異弧哎，交叉熵越小，這兩個分布越接近稚虎，交叉熵的表示如下：
上式中撤嫩，q 表示有 q 個分類， 為第 j 個分類的概率蠢终。把所有樣本的交叉熵加起來序攘，就是我們要的損失函數(shù)：
剛才說了，交叉熵又等效于 Log Likelihood寻拂，你可以從 Log Likelihood 的角度來理解它程奠。除此之外，你還可以從信息論的角度來理解：
在信息論中祭钉，熵
用來描述系統(tǒng)中所蘊(yùn)含的信息量的期望瞄沙，其中
是自信息，表示概率為
的事件發(fā)生時所產(chǎn)生的信息量，自信息可以理解為距境，小概率事件會產(chǎn)生較大的信息量申尼，相反，大概率事件產(chǎn)生的信息量較小垫桂。
而交叉熵
描述的是：要消除系統(tǒng)中的信息醋旦，需要付出的努力植酥，且當(dāng)分布
和
相等時恕齐，所付出的努力最小——
更詳盡的解釋可以參考這篇文章碱呼。
從零實(shí)現(xiàn) Softmax
現(xiàn)在我們用 TF2.0 來從零實(shí)現(xiàn) Softmax蒙挑，步驟如下：
- 定義 Softmax 多分類模型
- 定義損失函數(shù)
- 訓(xùn)練，評估模型
定義 Softmax 多分類模型
線性回歸的 Softmax 模型主要做兩件事情：
一愚臀、將輸入數(shù)據(jù)矩陣與參數(shù)矩陣做矩陣乘法忆蚀，輸入數(shù)據(jù)的行數(shù)為樣本數(shù) n，每行中的內(nèi)容為每條樣本的特征姑裂，設(shè)特征數(shù)為 d馋袜，則輸入數(shù)據(jù)的形狀為 n*d，一次訓(xùn)練多條數(shù)據(jù)舶斧，以此達(dá)到批量計算的目的欣鳖；參數(shù)矩陣的維度為 d*q，d 依然為特征數(shù)茴厉，q 表示分類數(shù)泽台，這樣乘出來的結(jié)果為 n*q，意為這 n 條樣本的每條樣本在不同分類上的輸出矾缓；
二怀酷、將第一步的結(jié)果做 Softmax 處理，得到每條樣本的在不同分類上的預(yù)測結(jié)果嗜闻。
def net(X):
'''
一層線性回歸網(wǎng)絡(luò)蜕依，輸出 softmax 后的多分類結(jié)果
Args:
- X: n 條樣本，每條樣本有 d 個維度琉雳，即 n*d 維矩陣
- W: 全局參數(shù)样眠，d*q 維矩陣，q 表示分類數(shù)
- b: bias翠肘，1*q 維向量
Return:
- softmax 后的多分類結(jié)果
'''
return softmax(tf.matmul(X, W) + b)
def softmax(y):
'''
對 n 個樣本吹缔，每個樣本有 q 種分類的數(shù)據(jù)做softmax
Args:
- y: n*q 維的矩陣
Return:
- n*q 維的 softmax 后的矩陣
Example:
>>> y = np.array([[0.1,0.2,0.8],[0.8,0.2,0.1]])
>>> softmax(y)
<tf.Tensor: shape=(2, 3), dtype=float64, numpy=
array([[0.24278187, 0.26831547, 0.48890266],
[0.48890266, 0.26831547, 0.24278187]])>
'''
return tf.exp(y) / tf.reduce_sum(tf.exp(y), axis=1, keepdims=True)
定義損失函數(shù)
觀察交叉熵?fù)p失函數(shù)的公式，要實(shí)現(xiàn)它锯茄，就要先拿到正確分類對應(yīng)的預(yù)測概率：
這里先用 one-hot 編碼將目標(biāo)向量轉(zhuǎn)化為和預(yù)測結(jié)果一樣的矩陣形式，如預(yù)測結(jié)果為 n*q 的矩陣（n 表示一次預(yù)測 n 條樣本，q 表示分類數(shù)）肌幽，那么 one-hot 編碼會將目標(biāo)向量也轉(zhuǎn)化為 n*q 的矩陣晚碾；
接著再對預(yù)測矩陣和目標(biāo)矩陣做一個“與操作” boolean_mask 就可以把正確分類對應(yīng)的預(yù)測值取出來了；
最后對預(yù)測值求 -log 喂急，再求和格嘁，就是這批樣本的 Loss，代碼如下：
def cross_entropy(y, y_hat):
'''
交叉熵?fù)p失函數(shù)
Args:
- y: n 條樣本的目標(biāo)值廊移，n*1 向量
- y_hat: n 條樣本的預(yù)測分布（softmax輸出結(jié)果）, n*q 矩陣
Return:
n 個樣本的 -log(y_hat) 的和
Examples:
>>> y = np.array([[2],[1]])
>>> y_hat = np.array([[0.1,0.2,0.2],[0.3,0.9,0.2]])
>>> cross_entropy(y, y_hat)
<tf.Tensor: shape=(), dtype=float64, numpy=1.7147984280919266>
'''
y_obs = tf.one_hot(y, depth=y_hat.shape[-1])
y_obs = tf.reshape(y_obs, y_hat.shape)
y_hat = tf.boolean_mask(y_hat, y_obs)
return tf.reduce_sum(-tf.math.log(y_hat))
評估模型
這次我們使用準(zhǔn)確率（accuracy）來評估模型的效果糕簿，準(zhǔn)確率意為預(yù)測正確數(shù)的占比。
評估模型時狡孔，要先對數(shù)據(jù)進(jìn)行預(yù)測懂诗，再拿預(yù)測結(jié)果（概率值最大的分類）和正確分類做對比，以此統(tǒng)計正確的預(yù)測次數(shù)苗膝。這里使用的 tf.argmax 函數(shù)殃恒，表示在多個預(yù)測分類中，取最大的那個值作為預(yù)測結(jié)果：
def accuracy(x, y, num_inputs, batch_size):
'''
求數(shù)據(jù)集的準(zhǔn)確率
Args:
- x: 數(shù)據(jù)集的特征
- y: 數(shù)據(jù)集的目標(biāo)值辱揭，n*1 維矩陣
- num_inputs: 特征維度（輸入層個數(shù)）
- batch_size: 每次預(yù)測的批次
'''
test_iter = tf.data.Dataset.from_tensor_slices((x, y)).batch(batch_size)
acc, n = 0, 0
for X, y in test_iter:
X = tf.reshape(X, (-1, num_inputs))
y = tf.cast(y, dtype=tf.int64)
acc += np.sum(tf.argmax(net(X), axis=1) == y)
n += y.shape[0]
return acc/n
訓(xùn)練
以上為模型訓(xùn)練离唐、預(yù)測和評估所需要的通用方法，接下來我們就可以來訓(xùn)練模型了问窃，本次我們使用的是 fashion_mnist 數(shù)據(jù)集亥鬓，其中每個樣本為一張 28*28 像素的圖片，目標(biāo)值 label 為這張圖片所屬的類別編號域庇，數(shù)據(jù)集中一共有 10 個類別嵌戈，如下所示：
我們的任務(wù)是，讀到一張這樣的圖片较剃，能預(yù)測其所屬的分類咕别。模型的輸入可以是圖片的每個像素值，因?yàn)橛?28*28=784 個像素写穴，每個像素的取值范圍為 0-255惰拱，那么我們模型的輸入層的節(jié)點(diǎn)個數(shù)便是 784；因?yàn)閿?shù)據(jù)集總共只有 10 個分類啊送，則模型的參數(shù) W 的形狀為 784*10 維矩陣偿短，bias 的形狀為 10*1，同時輸出層的節(jié)點(diǎn)數(shù)也為 10 個馋没。
把參數(shù)弄清楚后昔逗，剩下的就是模型迭代了，這一部分和上一篇線性回歸中的訓(xùn)練代碼大致一樣篷朵，代碼如下：
import tensorflow as tf
from tensorflow import keras
import numpy as np
import time
import sys
from tensorflow.keras.datasets import fashion_mnist
def train(W, b, lr, num_inputs):
(x_train, y_train), (x_test, y_test) = fashion_mnist.load_data()
# 數(shù)據(jù)歸一化
x_train = tf.cast(x_train, tf.float32) / 255
x_test = tf.cast(x_test, tf.float32) / 255
batch_size = 256
num_epochs = 5
for i in range(num_epochs):
# 小批量迭代
train_iter = tf.data.Dataset.from_tensor_slices((x_train, y_train)).batch(batch_size)
train_acc_sum, loss_sum, n = 0, 0, 0
for X, y in train_iter:
X = tf.reshape(X, (-1, num_inputs))
y = tf.reshape(y, (-1, 1))
# 計算loss和梯度
with tf.GradientTape() as tape:
l = cross_entropy(y, net(X))
grads = tape.gradient(l, [W, b])
# 根據(jù)梯度調(diào)整參數(shù)
W.assign_sub(lr * grads[0])
b.assign_sub(lr * grads[1])
loss_sum += l.numpy() # 累加loss
n += y.shape[0] #累加訓(xùn)練樣本個數(shù)
print("epoch %s, loss %s, train accuracy %s, test accuracy %s"
% (i+1, loss_sum/n,
accuracy(x_train, y_train, num_inputs, batch_size),
accuracy(x_test, y_test, num_inputs, batch_size)))
num_inputs = 784
num_outputs = 10
lr = 0.001
# 初始化模型參數(shù)
W = tf.Variable(tf.random.normal(shape=(num_inputs, num_outputs),
mean=0, stddev=0.01, dtype=tf.float32))
b = tf.Variable(tf.zeros(num_outputs, dtype=tf.float32))
train(W, b, lr, num_inputs)
下面是該訓(xùn)練的輸出勾怒，可見使用線性回歸這樣簡單的模型婆排，也可以把 fashion_mnist 圖片分類任務(wù)做到 0.85 的準(zhǔn)確率。
epoch 1, loss 0.8956155544281006, train accuracy 0.82518, test accuracy 0.8144
epoch 2, loss 0.6048591234842936, train accuracy 0.83978, test accuracy 0.8272
epoch 3, loss 0.5516327695210774, train accuracy 0.84506, test accuracy 0.8306
epoch 4, loss 0.5295544961929322, train accuracy 0.84906, test accuracy 0.8343
epoch 5, loss 0.5141636388142904, train accuracy 0.85125, test accuracy 0.8348
簡單的實(shí)現(xiàn)
照例笔链，我們還要看下 Softmax 的簡單實(shí)現(xiàn)版本：
# 加載數(shù)據(jù)集
(x_train, y_train), (x_test, y_test) = fashion_mnist.load_data()
x_train = x_train / 255
x_test = x_test / 255
# 配置模型
model = keras.Sequential([
keras.layers.Flatten(input_shape=(28, 28)), # 輸入層
keras.layers.Dense(10, activation=tf.nn.softmax) # 輸出層段只，激活函數(shù)使用的是 softmax
])
# 配置交叉熵?fù)p失函數(shù)
loss = 'sparse_categorical_crossentropy'
# 配置 SGD，學(xué)習(xí)率為 0.1
optimizer = tf.keras.optimizers.SGD(0.1)
model.compile(optimizer=optimizer,
loss = loss,
metrics=['accuracy']) # 使用準(zhǔn)確率來評估模型
model.fit(x_train, y_train, epochs=5, batch_size=256)
依然是只需要配置鉴扫，不用你寫一行邏輯代碼赞枕。
小結(jié)
本文我們一起學(xué)習(xí)了使用線性回歸和 Softmax 來實(shí)現(xiàn)一個多分類模型，并實(shí)際的使用 fashion_mnist 數(shù)據(jù)集做了實(shí)驗(yàn)坪创，得到了 0.85 一個還不賴的準(zhǔn)確率結(jié)果炕婶，在本文中，有兩點(diǎn)細(xì)節(jié)需要掌握
- Softmax 實(shí)現(xiàn)細(xì)節(jié)
- 交叉熵?fù)p失函數(shù)的原理
參考：
- 動手深度學(xué)習(xí)-softmax回歸 (zh.gluon.ai/)
- 動手深度學(xué)習(xí)TF2.0版本-softmax回歸
- 如何理解交叉熵和相對熵
相關(guān)文章：
