P9 多分類問題

????softmax的輸入不需要再做非線性變換,即softmax之前不再需要激活函數(shù)(relu)。
softmax兩個(gè)作用:
1、如果在進(jìn)行softmax前的input有負(fù)數(shù)氧急,通過指數(shù)變換,得到正數(shù)毫深。
2吩坝、使所有類的概率求和為1。

????在多分類問題中哑蔫,標(biāo)簽y的類型是LongTensor钉寝。比如說手寫字符0-9分類問題弧呐,如果y = torch.LongTensor([3]),對(duì)應(yīng)的one-hot是[0,0,0,1,0,0,0,0,0,0].(這里要注意嵌纲,如果使用了one-hot俘枫,標(biāo)簽y的類型是LongTensor,糖尿病數(shù)據(jù)集中的target的類型是FloatTensor)

softmax的數(shù)學(xué)表達(dá)
交叉熵?fù)p失
''' 手寫字符識(shí)別pytorch實(shí)現(xiàn) '''
import torch
from torchvision import transforms, datasets
from torch.utils.data import DataLoader
import torch.nn.functional as F
from tqdm import tqdm

#定義一個(gè)cpu
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

# prepare dataset
batch_size = 64
# 圖像預(yù)處理
transform = transforms.Compose([transforms.ToTensor(),
        transforms.Normalize((0.1307,), (0.3081,))]) #歸一化逮走,兩個(gè)值是均值和方差

train_dataset = datasets.MNIST(root = 'dataset/mnist/', train = True, download = True, transform = transform)
train_loader = DataLoader(train_dataset, shuffle = True, batch_size = batch_size)
test_dataset = datasets.MNIST(root = 'dataset/mnist/', train = False, download = True, transform = transform)
test_loader = DataLoader(test_dataset, shuffle = False, batch_size = batch_size)

# design model using class
class Net(torch.nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.l1 = torch.nn.Linear(28*28, 512)
        self.l2 = torch.nn.Linear(512, 256)
        self.l3 = torch.nn.Linear(256, 128)
        self.l4 = torch.nn.Linear(128, 64)
        self.l5 = torch.nn.Linear(64, 10)

    def forward(self, x):
        x = x.view(-1, 784) #將N*1*28*28的圖片轉(zhuǎn)換成N*1*784鸠蚪,-1代表N的值,即自動(dòng)獲取mini_batch
        x = F.relu(self.l1(x))
        x = F.relu(self.l2(x))
        x = F.relu(self.l3(x))
        x = F.relu(self.l4(x))
        return self.l5(x)  # 最后一層不做激活,直接接到softmax

model = Net()
model.to(device)

# construct loss and optimizer
criterion = torch.nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(model.parameters(), lr = 0.01, momentum = 0.5)

# training cycle forward, backward, update
def train(epoch):
    running_loss = 0.0
    for batch_idx, data in enumerate(tqdm(train_loader), 0):
        inputs, labels = data[0].to(device), data[1].to(device) # 使用gpu訓(xùn)練
        optimizer.zero_grad()

        #forward + backward + optimize
        # 獲得模型預(yù)測(cè)結(jié)果(64, 10)
        outputs = model(inputs)
        # 交叉熵代價(jià)函數(shù)outputs(64,10),target(64)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

        running_loss += loss.item()
        if batch_idx % 300 == 299: # 輸出每次的平均loss
            print('\n [%d, %5d] loss: %.3f' % (epoch+1, batch_idx+1, running_loss/300))
            running_loss = 0.0

def test():
    correct = 0
    total = 0
    with torch.no_grad():
        for data in test_loader:
            images, labels = data[0].to(device), data[1].to(device)
            outputs = model(images)
            _, predicted = torch.max(outputs.data, dim = 1) #并不關(guān)心最大值是多少师溅,用下劃線來存茅信,需要在意的是index,
            #dim=1表示輸出所在行的最大值墓臭,若改寫成dim=0則輸出所在列的最大值蘸鲸。
            total += labels.size(0) # N*1
            correct += (predicted == labels).sum().item() # 張量之間的比較運(yùn)算
        print('accuracy on test set: %d %% ' % (100*correct/total))

if __name__ == '__main__':
    for epoch in range(10):
        train(epoch)
        test()

參考博客https://blog.csdn.net/bit452/article/details/109686936

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市起便,隨后出現(xiàn)的幾起案子棚贾,更是在濱河造成了極大的恐慌,老刑警劉巖榆综,帶你破解...
    沈念sama閱讀 211,743評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異铸史,居然都是意外死亡鼻疮,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,296評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門琳轿,熙熙樓的掌柜王于貴愁眉苦臉地迎上來判沟,“玉大人,你說我怎么就攤上這事崭篡∨埠澹” “怎么了?”我有些...
    開封第一講書人閱讀 157,285評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵琉闪,是天一觀的道長迹炼。 經(jīng)常有香客問我,道長颠毙,這世上最難降的妖魔是什么斯入? 我笑而不...
    開封第一講書人閱讀 56,485評(píng)論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮蛀蜜,結(jié)果婚禮上刻两,老公的妹妹穿的比我還像新娘。我一直安慰自己滴某,他們只是感情好磅摹,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,581評(píng)論 6 386
  • 文/花漫 我一把揭開白布滋迈。 她就那樣靜靜地躺著,像睡著了一般户誓。 火紅的嫁衣襯著肌膚如雪杀怠。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,821評(píng)論 1 290
  • 那天厅克,我揣著相機(jī)與錄音赔退,去河邊找鬼。 笑死证舟,一個(gè)胖子當(dāng)著我的面吹牛硕旗,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播女责,決...
    沈念sama閱讀 38,960評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼漆枚,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了抵知?” 一聲冷哼從身側(cè)響起墙基,我...
    開封第一講書人閱讀 37,719評(píng)論 0 266
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎刷喜,沒想到半個(gè)月后残制,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,186評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡掖疮,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,516評(píng)論 2 327
  • 正文 我和宋清朗相戀三年初茶,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片浊闪。...
    茶點(diǎn)故事閱讀 38,650評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡恼布,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出搁宾,到底是詐尸還是另有隱情折汞,我是刑警寧澤,帶...
    沈念sama閱讀 34,329評(píng)論 4 330
  • 正文 年R本政府宣布盖腿,位于F島的核電站爽待,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏奸忽。R本人自食惡果不足惜堕伪,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,936評(píng)論 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望栗菜。 院中可真熱鬧欠雌,春花似錦、人聲如沸疙筹。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,757評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至霍比,卻和暖如春幕袱,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背悠瞬。 一陣腳步聲響...
    開封第一講書人閱讀 31,991評(píng)論 1 266
  • 我被黑心中介騙來泰國打工们豌, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人浅妆。 一個(gè)月前我還...
    沈念sama閱讀 46,370評(píng)論 2 360
  • 正文 我出身青樓望迎,卻偏偏與公主長得像,于是被迫代替她去往敵國和親凌外。 傳聞我的和親對(duì)象是個(gè)殘疾皇子辩尊,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,527評(píng)論 2 349

推薦閱讀更多精彩內(nèi)容