最近在讀論文的的過程中接觸到多標(biāo)簽分類(multi-label classification)的任務(wù)，必須要強(qiáng)調(diào)的是多標(biāo)簽（multi-label）分類任務(wù) 和 多分類(multi-class)任務(wù)的區(qū)別：
- 多標(biāo)簽分類任務(wù)指的是一條數(shù)據(jù)可能有一個或者多個標(biāo)簽驼唱，舉個例子：比如一個病人的體檢報告熟空，它可能被標(biāo)記上渔嚷，高血壓叹俏，高血糖等多個標(biāo)簽舞肆。
- 多分類任務(wù)指的是一條數(shù)據(jù)只有一個標(biāo)簽，但是標(biāo)簽有多種類別厂僧。機(jī)器學(xué)習(xí)中比較經(jīng)典的iris鳶尾花數(shù)據(jù)集就是標(biāo)準(zhǔn)的多分類任務(wù)扣草，一條數(shù)據(jù)喂給模型了牛，模型需判斷它是3個類別中的哪一個颜屠。
這里筆者強(qiáng)調(diào)一下多標(biāo)簽分類任務(wù)的兩個特點：
- 類別標(biāo)的數(shù)量是不確定的，有些樣本可能只有一個類標(biāo)鹰祸，有些樣本可能存在多個類別標(biāo)簽甫窟。
- 類別標(biāo)簽之間可能存在相互依賴關(guān)系，還是拿我上述的例子來說：如果一個人患有高血壓蛙婴，他有心血管疾病的概率也會變大粗井，所以高血壓這個label和心血管疾病的那些labels是存在一些依賴關(guān)系的。
多標(biāo)簽分類算法簡介
多標(biāo)簽分類算法比較常用的有ML-KNN街图、ML-DT浇衬、Rank-SVM、CML等餐济。我就不多介紹這些基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法耘擂，感興趣的同學(xué)可以自己去研究。這里主要介紹如何采用深度學(xué)習(xí)模型做多標(biāo)簽分類任務(wù)絮姆，首先我們必須明確一下多標(biāo)簽分類模型的輸入和輸出醉冤。
模型輸入輸出
假設(shè)我們有一個體檢疾病判斷任務(wù)：通過一份體檢報告判斷一個人是否患有以下五種仓然簟：有序排列——[高血壓，高血糖蚁阳，肥胖铃绒，肺結(jié)核，冠心病]
輸入：一份體檢報告
輸出：[1,0,1,0,0 ] 螺捐，其中1代表該位置的患病颠悬，0代表沒患病。所以這個label的含義：患者有高血壓和肥胖定血。
模型架構(gòu)
接下來如何建立模型呢:
當(dāng)然你可以對label的每一個維度分別進(jìn)行建模椿疗，訓(xùn)練5個二分類器。
但是這樣不僅是的label之間的依賴關(guān)系被破壞糠悼，而且還耗時耗力届榄。接下來我們還是來看看深度神經(jīng)網(wǎng)絡(luò)是如何應(yīng)用于此問題的。其架構(gòu)如下：
- 采用神經(jīng)網(wǎng)絡(luò)做特征提取器倔喂，這部分不需要多解釋铝条，就是一個深度學(xué)習(xí)網(wǎng)絡(luò)；
- 采用sigmoid做輸出層的激活函數(shù)席噩，若做體檢疾病判斷任務(wù)的話輸出層是5個節(jié)點對應(yīng)一個5維向量班缰，這里沒有采用softmax，就是希望sigmoid 對每一個節(jié)點的值做一次激活悼枢，從而輸出每個節(jié)點分別是 1 概率埠忘；
- 采用binary_crossentropy損失函數(shù)函數(shù)，這樣使得模型在訓(xùn)練過程中不斷降低output和label之間的交叉熵馒索。其實就相當(dāng)于模型使label為1的節(jié)點的輸出值更靠近1莹妒，label為0的節(jié)點的輸出值更靠近0。
有點類似 Structure Learing 绰上，最終模型的輸出就是一個結(jié)構(gòu)序列旨怠。
實戰(zhàn)部分
導(dǎo)入必要的python包。
import scipy
import pandas as pd
from scipy.io import arff
from sklearn.model_selection import train_test_split
from keras.layers import Dense
import numpy as np
載入數(shù)據(jù)
數(shù)據(jù)是一份益生菌的數(shù)據(jù)集蜈块，數(shù)據(jù)集可以從這里下載鉴腻。數(shù)據(jù)樣式如下圖所示： 共有117列糯钙，其中前103列是數(shù)據(jù)的feature狭握，后14列是數(shù)據(jù)的label（都是0或者1）仿吞。
data, meta = scipy.io.arff.loadarff('yeast-train.arff')
df = pd.DataFrame(data)
數(shù)據(jù)預(yù)處理
這里沒有做太多的EDA吴菠，數(shù)據(jù)清洗等工作疾就，只是將將數(shù)據(jù)的feature和label分開霉晕，同時將數(shù)據(jù)分成訓(xùn)練集合測試集罐旗。
X = df.iloc[:,0:103].values
y = df.iloc[:,103:117].values
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
y_train = y_train.astype(np.float64)
y_test = y_test.astype(np.float64)
模型定義
按照上文所描述的模型架構(gòu)芜茵，搭建了一個2層的神經(jīng)網(wǎng)絡(luò)盹舞，每層神經(jīng)元個數(shù)分別是500和100产镐。
def deep_model(feature_dim,label_dim):
from keras.models import Sequential
from keras.layers import Dense
model = Sequential()
print("create model. feature_dim ={}, label_dim ={}".format(feature_dim, label_dim))
model.add(Dense(500, activation='relu', input_dim=feature_dim))
model.add(Dense(100, activation='relu'))
model.add(Dense(label_dim, activation='sigmoid'))
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
return model
模型訓(xùn)練
定義好batch_size,訓(xùn)練輪數(shù)epoch隘庄，將處理好的數(shù)據(jù)喂給模型，就可以跑起來了癣亚。
def train_deep(X_train,y_train,X_test,y_test):
feature_dim = X_train.shape[1]
label_dim = y_train.shape[1]
model = deep_model(feature_dim,label_dim)
model.summary()
model.fit(X_train,y_train,batch_size=16, epochs=5,validation_data=(X_test,y_test))
train_deep(X_train,y_train,X_test,y_test)
模型架構(gòu)和訓(xùn)練過程如下圖所示：模型訓(xùn)練5輪丑掺，驗證集準(zhǔn)確率就達(dá)到0.8
結(jié)語
在現(xiàn)實生活中很多地方都會用到多標(biāo)簽分類，因為就拿用戶畫像來說述雾，一個人身上很少只被貼上一個標(biāo)簽街州，人是復(fù)雜的，通常是各種標(biāo)簽玻孟，各種人設(shè)的集合唆缴。所以模型必須學(xué)會如何分辨和識別一個帶有多個標(biāo)簽的復(fù)雜的事物，這樣的模型才會是更聰明的模型黍翎。
