姓名：白國樂
學號：17021210898
專業(yè)：信號與信息處理
轉載自：http://blog.csdn.net/qq_40027052/article/details/78528898寿弱，有刪節(jié)
【嵌牛導讀】本文主要介紹了Dataset API的基本架構：Dataset類和Iterator類症革，以及它們的基礎使用方法噪矛。
【嵌牛鼻子】Dataset API
【嵌牛提問】什么是Dataset API艇挨？
【嵌牛正文】此前缩滨，在TensorFlow中讀取數(shù)據(jù)一般有兩種方法：
使用placeholder讀內存中的數(shù)據(jù)
使用queue讀硬盤中的數(shù)據(jù)（關于這種方式辞居，可以參考我之前的一篇文章：十圖詳解TensorFlow數(shù)據(jù)讀取機制）
相Dataset API同時支持從內存和硬盤的讀取瓦灶，相比之前的兩種方法在語法上更加簡潔易懂。此外刃泡，如果想要用到TensorFlow新出的Eager模式碉怔，就必須要使用Dataset API來讀取數(shù)據(jù)。
本文就來為大家詳細地介紹一下Dataset API的使用方法（包括在非Eager模式和Eager模式下兩種情況）撮胧。
在TensorFlow 1.3中芹啥，Dataset API是放在contrib包中的：
tf.contrib.data.Dataset
而在TensorFlow 1.4中墓怀，Dataset API已經(jīng)從contrib包中移除，變成了核心API的一員：
tf.data.Dataset
下面的示例代碼將以TensorFlow 1.4版本為例虱朵，如果使用TensorFlow 1.3的話，需要進行簡單的修改（即加上contrib）絮宁。
讓我們從基礎的類來了解Dataset API翅敌。參考Google官方給出的Dataset API中的類圖：
在初學時治专，我們只需要關注兩個最重要的基礎類：Dataset和Iterator遭顶。
Dataset可以看作是相同類型“元素”的有序列表。在實際使用時喘批，單個“元素”可以是向量饶深，也可以是字符串逛拱、圖片，甚至是tuple或者dict俱两。
先以最簡單的宪彩，Dataset的每一個元素是一個數(shù)字為例：
importtensorflowastfimportnumpyasnpdataset= tf.data.Dataset.from_tensor_slices(np.array([1.0, 2.0, 3.0, 4.0, 5.0]))
這樣，我們就創(chuàng)建了一個dataset，這個dataset中含有5個元素，分別是1.0, 2.0, 3.0, 4.0, 5.0。
如何將這個dataset中的元素取出呢块差？方法是從Dataset中示例化一個Iterator，然后對Iterator進行迭代状蜗。
在非Eager模式下鹉动，讀取上述dataset中元素的方法為：
iterator= dataset.make_one_shot_iterator()one_element =iterator.get_next()withtf.Session()assess:foriinrange(5):? ? ? ? print(sess.run(one_element))
對應的輸出結果應該就是從1.0到5.0泽示。語句iterator =
dataset.make_one_shot_iterator()從dataset中實例化了一個Iterator，這個Iterator是一個“one
shot iterator”捎泻，即只能從頭到尾讀取一次埋哟。one_element =
iterator.get_next()表示從iterator里取出一個元素赤赊。由于這是非Eager模式，所以one_element只是一個Tensor哄孤，并不是一個實際的值录豺。調用sess.run(one_element)后饭弓，才能真正地取出一個值。
如果一個dataset中元素被讀取完了咏花，再嘗試sess.run(one_element)的話昏翰，就會拋出tf.errors.OutOfRangeError異常刘急，這個行為與使用隊列方式讀取數(shù)據(jù)的行為是一致的叔汁。在實際程序中检碗，可以在外界捕捉這個異常以判斷數(shù)據(jù)是否讀取完折剃，請參考下面的代碼：
dataset = tf.data.Dataset.from_tensor_slices(np.array([1.0,2.0,3.0,4.0,5.0]))iterator = dataset.make_one_shot_iterator()one_element = iterator.get_next()with tf.Session() as sess:? ? try:? ? ? ? while True:? ? ? ? ? ? print(sess.run(one_element))? ? except tf.errors.OutOfRangeError:? ? ? ? print("end!")
在Eager模式中像屋，創(chuàng)建Iterator的方式有所不同。是通過tfe.Iterator(dataset)的形式直接創(chuàng)建Iterator并迭代奏甫。迭代時可以直接取出值扶檐，不需要使用sess.run()：
import tensorflow.contrib.eageras tfetfe.enable_eager_execution()dataset = tf.data.Dataset.from_tensor_slices(np.array([1.0,2.0,3.0,4.0,5.0]))for one_elementintfe.Iterator(dataset):? ? print(one_element)
之前我們用tf.data.Dataset.from_tensor_slices創(chuàng)建了一個最簡單的Dataset：
dataset = tf.data.Dataset.from_tensor_slices(np.array([1.0,2.0,3.0,4.0,5.0]))
其實款筑，tf.data.Dataset.from_tensor_slices的功能不止如此奈梳，它的真正作用是切分傳入Tensor的第一個維度攘须，生成相應的dataset殴泰。
例如：
dataset = tf.data.Dataset.from_tensor_slices(np.random.uniform(size=(5,2)))
傳入的數(shù)值是一個矩陣悍汛，它的形狀為(5, 2)，tf.data.Dataset.from_tensor_slices就會切分它形狀上的第一個維度谱俭，最后生成的dataset中一個含有5個元素昆著，每個元素的形狀是(2, )凑懂，即每個元素是矩陣的一行接谨。
在實際使用中，我們可能還希望Dataset中的每個元素具有更復雜的形式疤坝，如每個元素是一個Python中的元組跑揉，或是Python中的詞典历谍。例如望侈，在圖像識別問題中勋桶，一個元素可以是{“image”:
image_tensor, “l(fā)abel”: label_tensor}的形式，這樣處理起來更方便捐韩。
tf.data.Dataset.from_tensor_slices同樣支持創(chuàng)建這種dataset荤胁，例如我們可以讓每一個元素是一個詞典：
dataset = tf.data.Dataset.from_tensor_slices(? ? {"a": np.array([1.0,2.0,3.0,4.0,5.0]),"b": np.random.uniform(size=(5,2))? ? })
這時函數(shù)會分別切分”a”中的數(shù)值以及”b”中的數(shù)值仅政，最終dataset中的一個元素就是類似于{“a”: 1.0, “b”: [0.9, 0.1]}的形式圆丹。
利用tf.data.Dataset.from_tensor_slices創(chuàng)建每個元素是一個tuple的dataset也是可以的：
dataset = tf.data.Dataset.from_tensor_slices(? (np.array([1.0,2.0,3.0,4.0,5.0]), np.random.uniform(size=(5,2))))
Dataset支持一類特殊的操作：Transformation运褪。一個Dataset通過Transformation變成一個新的Dataset秸讹。通常我們可以通過Transformation完成數(shù)據(jù)變換雅倒，打亂劣欢，組成batch，生成epoch等一系列操作校套。
常用的Transformation有：
map
batch
shuffle
repeat
下面就分別進行介紹笛匙。
（1）map
map接收一個函數(shù)妹孙，Dataset中的每個元素都會被當作這個函數(shù)的輸入蠢正，并將函數(shù)返回值作為新的Dataset嚣崭，如我們可以對dataset中每個元素的值加1：
dataset = tf.data.Dataset.from_tensor_slices(np.array([1.0,2.0,3.0,4.0,5.0]))dataset = dataset.map(lambdax:x+1)# 2.0, 3.0, 4.0, 5.0, 6.0
（2）batch
batch就是將多個元素組合成batch萨西，如下面的程序將dataset中的每個元素組成了大小為32的batch：
dataset=dataset.batch(32)
（3）shuffle
shuffle的功能為打亂dataset中的元素谎脯，它有一個參數(shù)buffersize葱跋，表示打亂時使用的buffer的大小：
dataset=dataset.shuffle(buffer_size=10000)
（4）repeat
repeat的功能就是將整個序列重復多次源梭，主要用來處理機器學習中的epoch娱俺，假設原先的數(shù)據(jù)是一個epoch，使用repeat(5)就可以將之變成5個epoch：
dataset=dataset.repeat(5)
如果直接調用repeat()的話废麻，生成的序列就會無限重復下去荠卷，沒有結束，因此也不會拋出tf.errors.OutOfRangeError異常：
dataset=dataset.repeat()
講到這里烛愧，我們可以來考慮一個簡單油宜，但同時也非常常用的例子：讀入磁盤中的圖片和圖片相應的label，并將其打亂怜姿，組成batch_size=32的訓練樣本慎冤。在訓練時重復10個epoch蚁堤。
對應的程序為（從官方示例程序修改而來）：
# 函數(shù)的功能時將filename對應的圖片文件讀進來撬即，并縮放到統(tǒng)一的大小def _parse_function(filename, label):? image_string = tf.read_file(filename)? image_decoded = tf.image.decode_image(image_string)? image_resized = tf.image.resize_images(image_decoded, [28,28])returnimage_resized, label# 圖片文件的列表filenames = tf.constant(["/var/data/image1.jpg","/var/data/image2.jpg",...])# label[i]就是圖片filenames[i]的labellabels = tf.constant([0,37,...])# 此時dataset中的一個元素是(filename, label)dataset = tf.data.Dataset.from_tensor_slices((filenames, labels))# 此時dataset中的一個元素是(image_resized, label)dataset = dataset.map(_parse_function)# 此時dataset中的一個元素是(image_resized_batch, label_batch)dataset = dataset.shuffle(buffersize=1000).batch(32).repeat(10)
在這個過程中才沧，dataset經(jīng)歷三次轉變：
運行dataset = tf.data.Dataset.from_tensor_slices((filenames,
labels))后孩革，dataset的一個元素是(filename, label)。filename是圖片的文件名，label是圖片對應的標簽推沸。
之后通過map恨锚，將filename對應的圖片讀入课舍，并縮放為28x28的大小雇盖。此時dataset中的一個元素是(image_resized, label)
最后庵寞，dataset.shuffle(buffersize=1000).batch(32).repeat(10)的功能是：在每個epoch內將圖片打亂組成大小為32的batch，并重復10次。最終岩齿，dataset中的一個元素是(image_resized_batch,
label_batch)吃谣，image_resized_batch的形狀為(32, 28, 28,
3)肃晚，而label_batch的形狀為(32, )，接下來我們就可以用這兩個Tensor來建立模型了。
除了tf.data.Dataset.from_tensor_slices外飞蚓，目前Dataset API還提供了另外三種創(chuàng)建Dataset的方式：
tf.data.TextLineDataset()：這個函數(shù)的輸入是一個文件的列表著榴，輸出是一個dataset。dataset中的每一個元素就對應了文件中的一行∠幔可以使用這個函數(shù)來讀入CSV文件福铅。
tf.data.FixedLengthRecordDataset()：這個函數(shù)的輸入是一個文件的列表和一個record_bytes，之后dataset的每一個元素就是文件中固定字節(jié)數(shù)record_bytes的內容薯演。通常用來讀取以二進制形式保存的文件验毡，如CIFAR10數(shù)據(jù)集就是這種形式。
tf.data.TFRecordDataset()：顧名思義一也，這個函數(shù)是用來讀TFRecord文件的，dataset中的每一個元素就是一個TFExample层皱。
它們的詳細使用方法可以參閱文檔：Module: tf.data
在非Eager模式下祭椰，最簡單的創(chuàng)建Iterator的方法就是通過dataset.make_one_shot_iterator()來創(chuàng)建一個one
shot iterator。除了這種one shot iterator外，還有三個更復雜的Iterator，即：
initializable iterator
reinitializable iterator
feedable iterator
initializable iterator必須要在使用前通過sess.run()來初始化。使用initializable
iterator，可以將placeholder代入Iterator中，這可以方便我們通過參數(shù)快速定義新的Iterator豁延。一個簡單的initializable
iterator使用示例：
limit = tf.placeholder(dtype=tf.int32, shape=[])dataset = tf.data.Dataset.from_tensor_slices(tf.range(start=0, limit=limit))iterator = dataset.make_initializable_iterator()next_element = iterator.get_next()with tf.Session() as sess:? ? sess.run(iterator.initializer, feed_dict={limit:10})? ? for iinrange(10):? ? ? value = sess.run(next_element)? ? ? assert i == value
此時的limit相當于一個“參數(shù)”，它規(guī)定了Dataset中數(shù)的“上限”。
initializable iterator還有一個功能：讀入較大的數(shù)組。
在使用tf.data.Dataset.from_tensor_slices(array)時傻丝，實際上發(fā)生的事情是將array作為一個tf.constants保存到了計算圖中滤愕。當array很大時韭畸，會導致計算圖變得很大蒲祈，給傳輸怪得、保存帶來不便。這時，我們可以用一個placeholder取代這里的array夷恍，并使用initializable
iterator指黎，只在需要時將array傳進去，這樣就可以避免把大數(shù)組保存在圖里叭首，示例代碼為（來自官方例程）：
# 從硬盤中讀入兩個Numpy數(shù)組with np.load("/var/data/training_data.npy") as data:? features = data["features"]? labels = data["labels"]features_placeholder = tf.placeholder(features.dtype, features.shape)labels_placeholder = tf.placeholder(labels.dtype, labels.shape)dataset = tf.data.Dataset.from_tensor_slices((features_placeholder, labels_placeholder))iterator = dataset.make_initializable_iterator()sess.run(iterator.initializer, feed_dict={features_placeholder: features,? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? labels_placeholder: labels})
reinitializable iterator和feedable iterator相比initializable iterator更復雜荣瑟，也更加少用嚷掠，如果想要了解它們的功能贯城，可以參閱官方介紹，這里就不再贅述了渡蜻。
本文主要介紹了Dataset API的基本架構：Dataset類和Iterator類，以及它們的基礎使用方法沦寂。
在非Eager模式下，Dataset中讀出的一個元素一般對應一個batch的Tensor霍狰，我們可以使用這個Tensor在計算圖中構建模型。
在Eager模式下钝诚，Dataset建立Iterator的方式有所不同尚辑，此時通過讀出的數(shù)據(jù)就是含有值的Tensor辑鲤，方便調試。
