定義tensor
tensorflow:tf.constant()和tf.convert_to_tensor(), 參數(shù)可以是數(shù)值更耻、list或者numpy涂乌。需要注意的是雖然可以通過(guò)dtype參數(shù)指定類(lèi)型祸轮，但是無(wú)法進(jìn)行類(lèi)型的轉(zhuǎn)換迷守，比如x=tf.constant([1, 2.2], dtype=tf.int16)就會(huì)出錯(cuò)蒜魄，為了安全起見(jiàn)，類(lèi)型轉(zhuǎn)換建議使用tf.cast()操作斜做。
pytorch: 'th.tensor()'也支持?jǐn)?shù)值苞氮、list和numpy，支持dtype指定類(lèi)型瓤逼。string類(lèi)型
tensorflow 提供了內(nèi)建的string類(lèi)型而pytorch沒(méi)有bool 類(lèi)型
tensorflow 只能使用True, Flase來(lái)構(gòu)建布爾變量笼吟，而pytorch可以使用數(shù)值然后通過(guò)dtype類(lèi)型轉(zhuǎn)換成布爾變量。 tensorflow和pytorch的布爾類(lèi)型都可以直接放到條件語(yǔ)句中使用霸旗。
- 一些常用函數(shù)的區(qū)別
- tensorflow 中zeros需要以tuple指定shape贷帮，否則第二個(gè)參數(shù)表示的是類(lèi)型， pytorch的zeros中tuple使用與否結(jié)果一樣
- ones 方法和 zeros 方法使用情況相同
- ones_like 和 zeros_like的用法相同
- 對(duì)于填充函數(shù)tensorflow使用fill方法定硝，而pytorch使用full方法皿桑，另外pytorch還可以使用tensor的內(nèi)置函數(shù)fill_()進(jìn)行數(shù)值填充
- 產(chǎn)生隨機(jī)數(shù)時(shí)毫目，tensorflow調(diào)用自身的random包產(chǎn)生正態(tài)和均勻分布蔬啡，且可以指定相關(guān)參數(shù)，而pytorch直接從th中調(diào)用對(duì)應(yīng)函數(shù)镀虐，且僅產(chǎn)生標(biāo)準(zhǔn)分布箱蟆，比如表征正態(tài)分布和[0,1)均勻分布。
- 產(chǎn)生序列是tensorflow和numpy一樣使用range方法刮便， pytorch使用arange方法空猜，都是左閉右開(kāi)區(qū)間，(左側(cè)值恨旱，右側(cè)值辈毯，步長(zhǎng))
- 索引與切片方法相同, tensorflow在給切片賦值的時(shí)候很不方便，參考方法scatter_nd_update和py_function
- 維度變換
- 增加維度, tensorflow采用expand_dims方法搜贤，指定維度的關(guān)鍵字是axis和numpy相同谆沃， 而pytorch采用unsqueeze方法和關(guān)鍵字dim
- 刪除維度，只能刪除長(zhǎng)度為1的維度仪芒，tensorflow和pytorch的方法名都為 squeeze
改變視圖唁影，都采用reshape方法, 對(duì)于tensorflow是共享存儲(chǔ)的耕陷； 對(duì)于pytorch而言，view和reshape都可以提供新的視圖据沈，但是view共享內(nèi)容且需要輸入連續(xù)哟沫，而reshape是否copy數(shù)據(jù)無(wú)法提前知道，所以盡可能地采用view - 交換維度锌介，tensorflow采用transpose方法, 輸入?yún)?shù)是排序后的index嗜诀， 其功能與pytorch的permute相同，而pytorch中的transpose只提供兩個(gè)維度交換
- 復(fù)制數(shù)據(jù)孔祸，tensorflow采用的和numpy相同的函數(shù)簽名tile, 而pytorch采用expand, expand_as和repeat實(shí)現(xiàn)類(lèi)似功能
- 廣播運(yùn)算裹虫， tensorflow和pytorch的機(jī)制是相同的
- 基礎(chǔ)運(yùn)算，基于元素的操作融击，包括加減乘除筑公，次冪、指數(shù)和對(duì)數(shù)tensorflow和pytorch用法都是相同的
- 下面給出兩個(gè)分別使用tensorflow和pytorch基礎(chǔ)操作的toy example：使用3層的MLP實(shí)現(xiàn)四分類(lèi)問(wèn)題的擬合
# --*-- coding:utf-8 --*--
import tensorflow as tf # tensorflow
import torch as th # pytorch
import numpy as np # numpy
# 創(chuàng)建數(shù)據(jù)集
x_list = np.random.randn(30, 784)
w1_gt = np.random.randn(784, 256)
w2_gt = np.random.randn(256, 128)
w3_gt = np.random.randn(128, 4)
y_output = np.dot(np.abs(np.dot(np.abs(np.dot(x_list, w1_gt)), w2_gt)), w3_gt)
y_list = np.argmax(y_output, axis=1) #分成4類(lèi)
lr = 1e-4 # 學(xué)習(xí)率
# 定義tensorflow的學(xué)習(xí)參數(shù)
w1 = tf.Variable(tf.random.truncated_normal([784, 256], stddev=0.1))
b1 = tf.Variable(tf.zeros([256], dtype=tf.float32))
w2 = tf.Variable(tf.random.truncated_normal([256, 128], stddev=0.1))
b2 = tf.Variable(tf.zeros([128]))
w3 = tf.Variable(tf.random.truncated_normal([128, 4], stddev=0.1))
b3 = tf.Variable(tf.zeros([4]))
# 定義pytorch的可學(xué)習(xí)參數(shù)尊浪， 為了和tensorflow一致匣屡，我們采用相同的初始化值
w1_th = th.from_numpy(w1.numpy())
w1_th.requires_grad = True
w2_th = th.from_numpy(w2.numpy())
w2_th.requires_grad=True
w3_th = th.from_numpy(w3.numpy())
w3_th.requires_grad=True
b1_th = th.zeros(256, requires_grad=True)
b2_th = th.zeros(128, requires_grad=True)
b3_th = th.zeros(4, requires_grad=True)
# tensorflow 的執(zhí)行和訓(xùn)練過(guò)程
def forward(x, y):
h1 = tf.nn.relu(tf.matmul(x, w1) + b1)
h2 = tf.nn.relu(tf.matmul(h1, w2) + b2)
h3 = tf.nn.softmax(tf.matmul(h2, w3) + b3)
loss = tf.pow(h3 - y, 2)
return tf.reduce_mean(loss)
x_tf_list = tf.constant(x_list, dtype=tf.float32)
y_tf_list = tf.constant(y_list)
for epoch in range(30):
for i, (x, y) in enumerate(zip(x_tf_list, y_tf_list)):
# 使用梯度
with tf.GradientTape() as tape:
loss = forward(tf.expand_dims(x, axis=0), tf.one_hot(y, depth=4))
grad = tape.gradient(loss, [w1, b1, w2, b2, w3, b3])
# 更新權(quán)重
r=1
w1.assign_sub(r*lr*grad[0])
b1.assign_sub(r*lr*grad[1])
w2.assign_sub(r*lr*grad[2])
b2.assign_sub(r*lr*grad[3])
w3.assign_sub(r*lr*grad[4])
b3.assign_sub(r*lr*grad[5])
print('loss in {}-th batch: {}'.format(epoch, loss.numpy()))
# pytorch的執(zhí)行和訓(xùn)練過(guò)程
def forward_th(x, y):
h1 = th.clamp(th.matmul(x, w1_th)+b1_th, 0)
h2 = th.clamp(th.matmul(h1, w2_th)+b2_th, 0)
h3 = th.nn.functional.softmax(th.matmul(h2, w3_th) + b3_th)
return th.pow(h3-y,2).mean()
x_th_list = th.from_numpy(x_list).float()
y_th_list = th.nn.functional.one_hot(th.from_numpy(y_list).long(), 4)
for epoch in range(30):
for i, (x, y) in enumerate(zip(x_th_list, y_th_list)):
loss = forward_th(x.unsqueeze(0), y)
loss.backward()
w1_th.data = w1_th - lr*w1_th.grad
w2_th.data = w2_th - lr*w2_th.grad
w3_th.data = w3_th - lr*w3_th.grad
b1_th.data = b1_th - lr*b1_th.grad
b2_th.data = b2_th - lr*b2_th.grad
b3_th.data = b3_th - lr*b3_th.grad
w1_th.grad.data.zero_()
w2_th.grad.data.zero_()
w3_th.grad.data.zero_()
b1_th.grad.data.zero_()
b2_th.grad.data.zero_()
b3_th.grad.data.zero_()
print('loss in {}-th batch: {}'.format(epoch, loss.item()))
輸出的結(jié)果幾乎是一致的，只有1e-7量級(jí)的誤差拇涤。
