前言

本文將深入介紹Tensorflow內(nèi)置的評估指標(biāo)算子塘娶。

• tf.metrics.accuracy()

• tf.metrics.precision()

• tf.metrics.recall()

• tf.metrics.mean_iou()

簡單起見葵姥，本文在示例中使用tf.metrics.accuracy()溯街，但它的模式以及它背后的原理將適用于所有評估指標(biāo)切蟋。如果您只想看到有關(guān)如何使用tf.metrics的示例代碼忱辅，請?zhí)D(zhuǎn)到5.1和5.2節(jié)焰宣，如果您想要了解為何使用這種方式霉囚，請繼續(xù)閱讀。

這篇文章將通過一個非常簡單的代碼示例來理解tf.metrics的原理匕积，這里使用Numpy創(chuàng)建自己的評估指標(biāo)盈罐。這將有助于對Tensorflow中的評估指標(biāo)如何工作有一個很好的直覺認(rèn)識。然后闪唆，我們將給出如何采用tf.metrics快速實現(xiàn)同樣的功能盅粪。但首先，我先講述一下寫下這篇博客的由來悄蕾。

背景

這篇文章的由來是來自于我嘗試使用tf.metrics.mean_iou評估指標(biāo)進行圖像分割票顾，但卻獲得完全奇怪和不正確的結(jié)果。我花了一天半的時間來弄清楚我哪里出錯了帆调。你會發(fā)現(xiàn)奠骄，自己可能會非常容易錯誤地使用tf的評估指標(biāo)。截至2017年9月11日番刊，tensorflow文檔并沒有非常清楚地介紹如何正確使用Tensorflow的評估指標(biāo)含鳞。

因此，這篇文章旨在幫助其他人避免同樣的錯誤芹务，并且深入理解其背后的原理蝉绷，以便了解如何正確地使用它們。

生成數(shù)據(jù)

在我們開始使用任何評估指標(biāo)之前枣抱，讓我們先從簡單的數(shù)據(jù)開始熔吗。我們將使用以下Numpy數(shù)組作為我們預(yù)測的標(biāo)簽和真實標(biāo)簽。數(shù)組的每一行視為一個batch佳晶，因此這個例子中共有4個batch桅狠。

import numpy as np
labels = np.array([[1,1,1,0],
                   [1,1,1,0],
                   [1,1,1,0],
                   [1,1,1,0]], dtype=np.uint8)
predictions = np.array([[1,0,0,0],
                        [1,1,0,0],
                        [1,1,1,0],
                        [0,1,1,1]], dtype=np.uint8)
n_batches = len(labels)

建立評價指標(biāo)

為了簡單起見，這里采用的評估指標(biāo)是準(zhǔn)確度（accuracy）：

如果我們想計算整個數(shù)據(jù)集上的accuracy，可以這樣計算：

n_items = labels.size
accuracy = (labels ==  predictions).sum() / n_items
print("Accuracy :", accuracy)
[OUTPUT]
Accuracy : 0.6875

這種方法的問題在于它不能擴展到大型數(shù)據(jù)集垂攘，這些數(shù)據(jù)集太大而無法一次性加載到內(nèi)存维雇。為了使其可擴展，我們希望使評估指標(biāo)能夠逐步更新晒他，每次更新一個batch中預(yù)測值和標(biāo)簽吱型。為此，我們需要跟蹤兩個值：

• 正確預(yù)測的例子總和

• 目前所有例子的總數(shù)

在Python中陨仅，我們創(chuàng)建兩個全局變量：

# Initialize running variables
N_CORRECT = 0
N_ITEMS_SEEN = 0

每次新來一個batch津滞，我們將這個batch中的預(yù)測情況更新到這兩個變量中：

# Update running variables
N_CORRECT += (batch_labels == batch_predictions).sum()
N_ITEMS_SEEN += batch_labels.size

而且，我們可以實時地計算每個點處的accuracy：

# Calculate accuracy on updated values
acc = float(N_CORRECT) / N_ITEMS_SEEN

合并前面的功能灼伤，我們創(chuàng)建如下的代碼：

# Create running variables
N_CORRECT = 0
N_ITEMS_SEEN = 0
def reset_running_variables():
    """ Resets the previous values of running variables to zero     """
    global N_CORRECT, N_ITEMS_SEEN
    N_CORRECT = 0
    N_ITEMS_SEEN = 0
def update_running_variables(labs, preds):
    global N_CORRECT, N_ITEMS_SEEN
    N_CORRECT += (labs == preds).sum()
    N_ITEMS_SEEN += labs.size
def calculate_accuracy():
    global N_CORRECT, N_ITEMS_SEEN
    return float(N_CORRECT) / N_ITEMS_SEEN

4.1 整體accuracy

使用上面的函數(shù)触徐，當(dāng)我們便利完所有的batch之后，可以計算出整體accuracy：

reset_running_variables()
for i in range(n_batches):
    update_running_variables(labs=labels[i], preds=predictions[i])
accuracy = calculate_accuracy()
print("[NP] SCORE: ", accuracy)
[OUTPUT]
[NP] SCORE:  0.6875

4.2 每個batch的accuracy

但是狐赡，如果我們想要計算每個batch的accuracy撞鹉，那就要重新組織我們的代碼了。每次更新全局變量之前颖侄，你需要先重置它們（歸為0）：

for i in range(n_batches):
    reset_running_variables()
    update_running_variables(labs=labels[i], preds=predictions[i])
    acc = calculate_accuracy()
    print("- [NP] batch {} score: {}".format(i, acc))
[OUTPUT]
- [NP] batch 0 score: 0.5
- [NP] batch 1 score: 0.75
- [NP] batch 2 score: 1.0
- [NP] batch 3 score: 0.5

Tensorflow中的metrics

在第4節(jié)中我們將計算評估指標(biāo)的操作拆分為不同函數(shù)鸟雏，這其實與Tensorflow中tf.metrics背后原理是一樣的。當(dāng)我們調(diào)用tf.metrics.accuracy函數(shù)時览祖，類似的事情會發(fā)生：

• 會同樣地創(chuàng)建兩個變量（變量會加入tf.GraphKeys.LOCAL_VARIABLES集合中）孝鹊，并將其放入幕后的計算圖中：

  total（相當(dāng)于N_CORRECT）

  count（相當(dāng)于N_ITEMS_SEEN）

• 返回兩個tensorflow操作。

  accuracy（相當(dāng)于calculate_accuracy()）

  update_op（相當(dāng)于update_running_variables()）

為了初始化和重置變量展蒂，比如第4節(jié)中的reset_running_variables函數(shù)又活，我們首先需要獲得這些變量（total和count）。你可以在第一次調(diào)用時為tf.metrics.accuracy函數(shù)顯式指定一個名稱锰悼，比如：

tf.metrics.accuracy(label, prediction, name="my_metric")

然后就可以根據(jù)作用范圍找到隱式創(chuàng)建的2個變量：

# Isolate the variables stored behind the scenes by the metric operation
running_vars = tf.get_collection(tf.GraphKeys.LOCAL_VARIABLES, scope="my_metric")
<tf.Variable 'my_metric/total:0' shape=() dtype=float32_ref>,
<tf.Variable 'my_metric/count:0' shape=() dtype=float32_ref>

接下了我們可以創(chuàng)建一個初始化操作柳骄，以可以初始化或者重置兩個變量：

running_vars_initializer = tf.variables_initializer(var_list=running_vars)

當(dāng)你需要初始化或者重置變量時，只需要在session中運行一下即可：

session.run(running_vars_initializer)

注意：除了手動分離變量松捉，然后創(chuàng)建初始化op夹界，在TF中更常用的是下面的操作：

session.run(tf.local_variables_initializer())

所以馆里，有時候你看到上面的操作不要大驚小怪隘世，其實只是初始化了在tf.GraphKeys.LOCAL_VARIABLES集合中的變量，但是這樣做把所以變量都初始化了鸠踪，使用時要特別注意丙者。

知道上面的東西，我們很容易計算整體accuracy和batch中的accuracy营密。

5.1 計算整體accuracy

在TF中要計算整體accuracy械媒，只需要如此：

import tensorflow as tf
graph = tf.Graph()
with graph.as_default():
    # Placeholders to take in batches onf data
    tf_label = tf.placeholder(dtype=tf.int32, shape=[None])
    tf_prediction = tf.placeholder(dtype=tf.int32, shape=[None])
    # Define the metric and update operations
    tf_metric, tf_metric_update = tf.metrics.accuracy(tf_label,
                                                      tf_prediction,
                                                      name="my_metric")
    # Isolate the variables stored behind the scenes by the metric operation
    running_vars = tf.get_collection(tf.GraphKeys.LOCAL_VARIABLES, scope="my_metric")
    # Define initializer to initialize/reset running variables
    running_vars_initializer = tf.variables_initializer(var_list=running_vars)
with tf.Session(graph=graph) as session:
    session.run(tf.global_variables_initializer())
    # initialize/reset the running variables
    session.run(running_vars_initializer)
    for i in range(n_batches):
        # Update the running variables on new batch of samples
        feed_dict={tf_label: labels[i], tf_prediction: predictions[i]}
        session.run(tf_metric_update, feed_dict=feed_dict)
    # Calculate the score
    score = session.run(tf_metric)
    print("[TF] SCORE: ", score)
[OUTPUT]
[TF] SCORE:  0.6875

5.2 計算每個batch的accuracy

為了分別計算各個batch的準(zhǔn)確度，在每批新數(shù)據(jù)之前將變量重置為零：

with tf.Session(graph=graph) as session:
    session.run(tf.global_variables_initializer())
    for i in range(n_batches):
        # Reset the running variables
        session.run(running_vars_initializer)
        # Update the running variables on new batch of samples
        feed_dict={tf_label: labels[i], tf_prediction: predictions[i]}
        session.run(tf_metric_update, feed_dict=feed_dict)
        # Calculate the score on this batch
        score = session.run(tf_metric)
        print("[TF] batch {} score: {}".format(i, score))
[OUTPUT]
[TF] batch 0 score: 0.5
[TF] batch 1 score: 0.75
[TF] batch 2 score: 1.0
[TF] batch 3 score: 0.5

注意：如果每個batch計算之前不重置變量的話，其實計算的累積accuracy纷捞，就是目前已經(jīng)運行數(shù)據(jù)的accuracy痢虹。

5.3 要避免的問題

不要在相同的session.run()中同時運行tf_metrics和tf_metric_update，比如這樣：

_ , score = session.run([tf_metric_update, tf_metric], feed_dict=feed_dict)
score, _ = session.run([tf_metric, tf_metric_update], feed_dict=feed_dict)

在Tensorflow 1.3 (或許其它版本)中主儡，這可能得到不一致的結(jié)果奖唯。這兩個op，update_op才是真正負(fù)責(zé)更新變量糜值，而第一個op只是簡單根據(jù)當(dāng)前變量計算評價指標(biāo)丰捷，所以你應(yīng)該先執(zhí)行update_op，然后再用第一個op計算指標(biāo)寂汇。需要注意的病往，update_op執(zhí)行后一個作用是更新變量，另外會同時返回一個結(jié)果骄瓣，對于tf.metric.accuracy停巷，就是更新變量后實時計算的accuracy。

其它metrics

tf.metrics中的其他評估指標(biāo)將以相同的方式工作榕栏。它們之間的唯一區(qū)別可能是調(diào)用tf.metrics函數(shù)時需要額外參數(shù)叠穆。例如，tf.metrics.mean_iou需要額外的參數(shù)num_classes來表示預(yù)測的類別數(shù)臼膏。另一個區(qū)別是背后所創(chuàng)建的變量硼被，如tf.metrics.mean_iou創(chuàng)建的是一個混淆矩陣，但仍然可以按照我在本文第5部分中描述的方式收集和初始化它們渗磅。

結(jié)語

對于TF中所有metric嚷硫，其都是返回兩個op，一個是計算評價指標(biāo)的op始鱼，另外一個是更新op仔掸，這個op才是真正其更新作用的。我想之所以TF會采用這種方式医清，是因為metric所服務(wù)的其實是評估模型的時候起暮，此時你需要收集整個數(shù)據(jù)集上的預(yù)測結(jié)果，然后計算整體指標(biāo)会烙，而TF的metric這種設(shè)計恰好滿足這種需求负懦。但是在訓(xùn)練模型時使用它們，就是理解它的原理柏腻，才可以得到正確的結(jié)果纸厉。