4. Keras 集成或中心化

當(dāng) TensorFlow 1.x 發(fā)布時(shí)而柑，Keras 在開(kāi)發(fā)人員中很受歡迎，可以構(gòu)建任何 TF 代碼荷逞。因?yàn)?a target="_blank">Keras通過(guò)提供更簡(jiǎn)單的模型構(gòu)建 API 簡(jiǎn)化了模型構(gòu)建過(guò)程媒咳。此外，它還支持其他深度學(xué)習(xí)框架颅围，如Theano和CNTK伟葫。

這使得在 Keras 中編寫深度學(xué)習(xí)代碼成為可能，同時(shí)允許開(kāi)發(fā)人員僅用一行代碼選擇他或她想要的任何后端框架院促。

然而筏养，隨著 TF 的發(fā)布，Keras 變得更加專注于 TensorFlow常拓。更確切地說(shuō)渐溶，它已成為 TF2.0 中大多數(shù)代碼開(kāi)發(fā)的核心部分。

現(xiàn)在弄抬，keras 是一個(gè)可以從 TF2.0 中導(dǎo)入的模塊茎辐。通過(guò)這種集成，您可以使用原始 keras 方法（即順序模型和功能 API）在 TF2.0 中構(gòu)建深度學(xué)習(xí)模型掂恕。

另外拖陆，在 TF2.0 中，您還可以使用Model Subclassing懊亡，這更像是 PyTorch 進(jìn)行模型構(gòu)建的方式依啰。當(dāng)我們?cè)诮酉聛?lái)的部分討論 PyTorch 時(shí)，會(huì)詳細(xì)介紹這一點(diǎn)店枣。

有關(guān)靜態(tài)圖和計(jì)算圖之間不同之處的更概括視圖速警，請(qǐng)查看下表。

綜上所述鸯两，TF1.x和TF2.0的區(qū)別也可以總結(jié)如下闷旧。

我們已經(jīng)討論了 TF2.0 支持靜態(tài)和同步計(jì)算圖缀棍。但是它是如何實(shí)現(xiàn)的呢宅此？

TF2.0 使用一種稱為急切執(zhí)行和延遲執(zhí)行的方法。

5. 什么是 Eager 與 Lazy Execution

• Eager Execution 使用命令式編程爬范，這與動(dòng)態(tài)計(jì)算圖的概念基本相同父腕。代碼在旅途中被執(zhí)行和運(yùn)行，就像 Python 通常的工作方式一樣青瀑。
• 延遲執(zhí)行使用與靜態(tài)計(jì)算圖相同的符號(hào)編程璧亮。函數(shù)是抽象定義的，在函數(shù)被顯式編譯和運(yùn)行之前不會(huì)進(jìn)行實(shí)際計(jì)算斥难。即枝嘶，在定義函數(shù)時(shí)不創(chuàng)建值。為了實(shí)現(xiàn)變量哑诊，首先創(chuàng)建群扶、編譯和運(yùn)行靜態(tài)計(jì)算圖。

在 Tensorflow2.0 中镀裤，您可以輕松地在更適合開(kāi)發(fā)的 Eager Execution 和更適合部署的惰性模式之間切換竞阐。

為了更好地理解，讓我們看一下下面的代碼片段暑劝。

# In tf2.0, eager execution is default
import tensorflow as tf
tf.executing_eagerly()

True

默認(rèn)情況下骆莹，可以看到 Tensorflow2.0 使用了eager execution。讓我們執(zhí)行一個(gè)數(shù)學(xué)運(yùn)算來(lái)檢查在定義變量和運(yùn)算時(shí)計(jì)算圖是如何執(zhí)行的担猛。

# Define objects
a = tf.constant(5, name = "a")
b = tf.constant(7, name = "b")
c = tf.add(a, b, name = "sum")

c

<tf.Tensor: shape=(), dtype=int32, numpy=12>

在渴望執(zhí)行幕垦，變量c的值可以聲明變量之后可以看出a，b和功能傅联。tf.add

讓我們?cè)诙栊詧?zhí)行模型中看到同樣的事情先改。對(duì)于相同的操作，它需要聲明蒸走。tf.Session

為了在 Tensorflow2.0 中做到這一點(diǎn)盏道，我們通過(guò)使用庫(kù)啟用 Tensorflow1.x 的功能。與早期版本（Tensorflow 1.x）相關(guān)的所有編碼范例都捆綁在模塊中载碌。tf.v1.compat``tf.compat

# Disable eager execution
tf.compat.v1.disable_v2_behavior()

# or do: tf.compat.v1.disable_eager_execution()

tf.compat.v1.executing_eagerly()

WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/tensorflow/python/compat/v2_compat.py:96: disable_resource_variables (from tensorflow.python.ops.variable_scope) is deprecated and will be removed in a future version.
Instructions for updating:
non-resource variables are not supported in the long term

False

運(yùn)行后，disable_v2_behavior您可以看到默認(rèn)情況下不再啟用 Eager Execution衅枫。

讓我們執(zhí)行另一個(gè)數(shù)學(xué)運(yùn)算來(lái)檢查我們是否仍然可以在不初始化會(huì)話的情況下運(yùn)行計(jì)算圖嫁艇。

# Define objects again
x = tf.constant(10, name = "x")
y = tf.constant(3, name = "y")
z = tf.add(x, y, name = "sum")

z

<tf.Tensor 'sum:0' shape=() dtype=int32>

z 值為 0，因?yàn)樵诙栊詧?zhí)行或靜態(tài)圖中弦撩，如果沒(méi)有首先定義所有操作然后運(yùn)行它步咪，計(jì)算就不會(huì)發(fā)生。

讓我們使用會(huì)話來(lái)做與上面相同的事情益楼。

# Init Session and run
sess = tf.compat.v1.Session()
sess.run(z)

13

現(xiàn)在您可以看到正確的值z是可見(jiàn)的猾漫。

因此点晴，TF2.0 支持如上所示的急切執(zhí)行和延遲執(zhí)行。

很明顯悯周，TensorFlow2.0 解決了我們?cè)谑褂?TensorFlow1.x 時(shí)遇到的問(wèn)題粒督。那么 PyTorch 在哪里出現(xiàn)呢？繼續(xù)閱讀禽翼。

6. TensorFlow 與 PyTorch

PyTorch由 Facebook 開(kāi)發(fā)屠橄，并于 2016 年 10 月推出。在推出時(shí)闰挡，唯一另一個(gè)主要/流行的深度學(xué)習(xí)框架是 TensorFlow1.x锐墙，它僅支持靜態(tài)計(jì)算圖。

PyTorch 開(kāi)始被廣泛采用有兩個(gè)主要原因：

• 它使用動(dòng)態(tài)計(jì)算圖來(lái)構(gòu)建神經(jīng)網(wǎng)絡(luò)长酗。
• 它與 Python 緊密集成溪北，這使得 Python 開(kāi)發(fā)人員更容易切換到這個(gè)框架。

它與當(dāng)時(shí)可用的 TensorFlow 版本有著根本的不同夺脾。

您可以在下面看到 TensorFlow 和 PyTorch 早期版本之間差異的摘要之拨。

新版 TensorFlow 改變的主要區(qū)別是我們不再需要，而且 TF2.0 還支持動(dòng)態(tài)圖佳簸。tf.Session

7. 模型子類化

TF2.0 的另一個(gè)主要變化是它允許“模型子類化”乙墙，這是在 PyTorch 中構(gòu)建神經(jīng)網(wǎng)絡(luò)模型的常用做法。這種方法允許您構(gòu)建復(fù)雜的模型架構(gòu)生均，非常適合實(shí)驗(yàn)听想。

因此，從某種意義上說(shuō)马胧，TF2.0 采用了 PyTorch 中已經(jīng)遵循的一些關(guān)鍵開(kāi)發(fā)實(shí)踐汉买。

下面是模型子類代碼在 TF2.0 和 PyTorch 中的相似程度的示例

# Representative Code in PyTorch
import torch.nn as nn
import torch.nn.functional as F

class Model(nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.conv1 = nn.Conv2d()
        self.conv2 = nn.Conv2d()

    def forward(self, x):
        x = F.relu(self.conv1(x))
        return F.relu(self.conv2(x))

在 TF2.0 中構(gòu)建的類似模型如下所示。非常相似佩脊。

# Equivalent Representative Code in TensorFlow2.0
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers, Model

class TFModel(Model):
  def __init__(self):
    super(TFModel, self).__init__()
    self.conv1 = layers.Conv2D()
    self.conv1 = layers.Conv2D()

  def call(self, x):
    x = layers.ReLU(self.conv1(x))
    return layers.ReLU(self.conv2(x))

八蛙粘、TensorFlow1.x、TensorFlow2.0與PyTorch對(duì)比

現(xiàn)在我們知道了 TensorFlow 不同版本之間以及 TensorFlow 和 PyTorch 之間的區(qū)別威彰，讓我們看一下這三者之間的比較出牧，以便下次您決定構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)時(shí)，您確切地知道要使用什么框架歇盼！

9慨代、參考

https://www.machinelearningplus.com/deep-learning/tensorflow1-vs-tensorflow2-vs-pytorch/