PyTorch之數(shù)據(jù)加載和處理

PyTorch提供了許多工具來簡化和希望數(shù)據(jù)加載，使代碼更具可讀性州藕。

1.下載安裝包

• scikit-image：用于圖像的IO和變換
• pandas：用于更容易地進行csv解析

from __future__ import print_function, division
import os
import torch
import pandas as pd              #用于更容易地進行csv解析
from skimage import io, transform    #用于圖像的IO和變換
import numpy as np
import matplotlib.pyplot as plt
from torch.utils.data import Dataset, DataLoader
from torchvision import transforms, utils

# 忽略警告
import warnings
warnings.filterwarnings("ignore")

plt.ion()   # interactive mode

2.下載數(shù)據(jù)集

從此處下載數(shù)據(jù)集哼鬓， 數(shù)據(jù)存于“data / faces /”的目錄中儒洛。這個數(shù)據(jù)集實際上是imagenet數(shù)據(jù)集標注為face的圖片當中在 dlib 面部檢測 (dlib’s pose estimation) 表現(xiàn)良好的圖片。我們要處理的是一個面部姿態(tài)的數(shù)據(jù)集。也就是按如下方式標注的人臉:

每張臉標注了68個不同的特征點

2.1 數(shù)據(jù)集注釋

數(shù)據(jù)集是按如下規(guī)則打包成的csv文件:

image_name,part_0_x,part_0_y,part_1_x,part_1_y,part_2_x, ... ,part_67_x,part_67_y
0805personali01.jpg,27,83,27,98, ... 84,134
1084239450_e76e00b7e7.jpg,70,236,71,257, ... ,128,312

3.讀取數(shù)據(jù)集

將csv中的標注點數(shù)據(jù)讀入（N谢翎，2）數(shù)組中盾舌，其中N是特征點的數(shù)量。讀取數(shù)據(jù)代碼如下：

landmarks_frame = pd.read_csv('data/faces/face_landmarks.csv')

n = 65
img_name = landmarks_frame.iloc[n, 0]
landmarks = landmarks_frame.iloc[n, 1:].as_matrix()
landmarks = landmarks.astype('float').reshape(-1, 2)

print('Image name: {}'.format(img_name))
print('Landmarks shape: {}'.format(landmarks.shape))
print('First 4 Landmarks: {}'.format(landmarks[:4]))

3.1 數(shù)據(jù)結果

輸出：

Image name: person-7.jpg
Landmarks shape: (68, 2)
First 4 Landmarks: [[32\. 65.]
 [33\. 76.]
 [34\. 86.]
 [34\. 97.]]

4 編寫函數(shù)

寫一個簡單的函數(shù)來展示一張圖片和它對應的標注點作為例子稽煤。

def show_landmarks(image, landmarks):
    """顯示帶有地標的圖片"""
    plt.imshow(image)
    plt.scatter(landmarks[:, 0], landmarks[:, 1], s=10, marker='.', c='r')
    plt.pause(0.001)  # pause a bit so that plots are updated

plt.figure()
show_landmarks(io.imread(os.path.join('data/faces/', img_name)),
               landmarks)
plt.show()

image

5.數(shù)據(jù)集類

torch.utils.data.Dataset是表示數(shù)據(jù)集的抽象類核芽，因此自定義數(shù)據(jù)集應繼承Dataset并覆蓋以下方法 * __len__ 實現(xiàn) len(dataset) 返還數(shù)據(jù)集的尺寸。 * __getitem__用來獲取一些索引數(shù)據(jù)酵熙，例如 dataset[i] 中的(i)轧简。

5.1 建立數(shù)據(jù)集類

為面部數(shù)據(jù)集創(chuàng)建一個數(shù)據(jù)集類。我們將在 __init__中讀取csv的文件內(nèi)容匾二，在 __getitem__中讀取圖片哮独。這么做是為了節(jié)省內(nèi)存 空間。只有在需要用到圖片的時候才讀取它而不是一開始就把圖片全部存進內(nèi)存里假勿。

我們的數(shù)據(jù)樣本將按這樣一個字典{'image': image, 'landmarks': landmarks}組織借嗽。 我們的數(shù)據(jù)集類將添加一個可選參數(shù)transform 以方便對樣本進行預處理。下一節(jié)我們會看到什么時候需要用到transform參數(shù)转培。 __init__方法如下圖所示：

class FaceLandmarksDataset(Dataset):
    """面部標記數(shù)據(jù)集."""

    def __init__(self, csv_file, root_dir, transform=None):
        """
        csv_file（string）：帶注釋的csv文件的路徑恶导。
        root_dir（string）：包含所有圖像的目錄。
        transform（callable浸须， optional）：一個樣本上的可用的可選變換
        """
        self.landmarks_frame = pd.read_csv(csv_file)
        self.root_dir = root_dir
        self.transform = transform

    def __len__(self):
        return len(self.landmarks_frame)

    def __getitem__(self, idx):
        img_name = os.path.join(self.root_dir,
                                self.landmarks_frame.iloc[idx, 0])
        image = io.imread(img_name)
        landmarks = self.landmarks_frame.iloc[idx, 1:]
        landmarks = np.array([landmarks])
        landmarks = landmarks.astype('float').reshape(-1, 2)
        sample = {'image': image, 'landmarks': landmarks}

        if self.transform:
            sample = self.transform(sample)

        return sample

6.數(shù)據(jù)可視化

實例化這個類并遍歷數(shù)據(jù)樣本惨寿。我們將會打印出前四個例子的尺寸并展示標注的特征點。 代碼如下圖所示：

face_dataset = FaceLandmarksDataset(csv_file='data/faces/face_landmarks.csv',
                                    root_dir='data/faces/')

fig = plt.figure()

for i in range(len(face_dataset)):
    sample = face_dataset[i]

    print(i, sample['image'].shape, sample['landmarks'].shape)

    ax = plt.subplot(1, 4, i + 1)
    plt.tight_layout()
    ax.set_title('Sample #{}'.format(i))
    ax.axis('off')
    show_landmarks(**sample)

    if i == 3:
        plt.show()
        break

數(shù)據(jù)結果：

6.1 圖形展示結果

image

6.2 控制臺輸出結果:

0 (324, 215, 3) (68, 2)
1 (500, 333, 3) (68, 2)
2 (250, 258, 3) (68, 2)
3 (434, 290, 3) (68, 2)

7.數(shù)據(jù)變換

通過上面的例子我們會發(fā)現(xiàn)圖片并不是同樣的尺寸删窒。絕大多數(shù)神經(jīng)網(wǎng)絡都假定圖片的尺寸相同裂垦。因此我們需要做一些預處理。讓我們創(chuàng)建三個轉換: * Rescale：縮放圖片 * RandomCrop：對圖片進行隨機裁剪肌索。這是一種數(shù)據(jù)增強操作 * ToTensor：把numpy格式圖片轉為torch格式圖片 (我們需要交換坐標軸).

我們會把它們寫成可調(diào)用的類的形式而不是簡單的函數(shù)蕉拢，這樣就不需要每次調(diào)用時傳遞一遍參數(shù)。我們只需要實現(xiàn)__call__方法诚亚，必 要的時候實現(xiàn) __init__方法晕换。我們可以這樣調(diào)用這些轉換:

tsfm = Transform(params)
transformed_sample = tsfm(sample)

觀察下面這些轉換是如何應用在圖像和標簽上的。

class Rescale(object):
    """將樣本中的圖像重新縮放到給定大小站宗。.

    Args:
        output_size（tuple或int）：所需的輸出大小闸准。 如果是元組，則輸出為
         與output_size匹配梢灭。 如果是int夷家，則匹配較小的圖像邊緣到output_size保持縱橫比相同蒸其。
    """

    def __init__(self, output_size):
        assert isinstance(output_size, (int, tuple))
        self.output_size = output_size

    def __call__(self, sample):
        image, landmarks = sample['image'], sample['landmarks']

        h, w = image.shape[:2]
        if isinstance(self.output_size, int):
            if h > w:
                new_h, new_w = self.output_size * h / w, self.output_size
            else:
                new_h, new_w = self.output_size, self.output_size * w / h
        else:
            new_h, new_w = self.output_size

        new_h, new_w = int(new_h), int(new_w)

        img = transform.resize(image, (new_h, new_w))

        # h and w are swapped for landmarks because for images,
        # x and y axes are axis 1 and 0 respectively
        landmarks = landmarks * [new_w / w, new_h / h]

        return {'image': img, 'landmarks': landmarks}

class RandomCrop(object):
    """隨機裁剪樣本中的圖像.

    Args:
       output_size（tuple或int）：所需的輸出大小。 如果是int库快，方形裁剪是摸袁。         
    """

    def __init__(self, output_size):
        assert isinstance(output_size, (int, tuple))
        if isinstance(output_size, int):
            self.output_size = (output_size, output_size)
        else:
            assert len(output_size) == 2
            self.output_size = output_size

    def __call__(self, sample):
        image, landmarks = sample['image'], sample['landmarks']

        h, w = image.shape[:2]
        new_h, new_w = self.output_size

        top = np.random.randint(0, h - new_h)
        left = np.random.randint(0, w - new_w)

        image = image[top: top + new_h,
                      left: left + new_w]

        landmarks = landmarks - [left, top]

        return {'image': image, 'landmarks': landmarks}

class ToTensor(object):
    """將樣本中的ndarrays轉換為Tensors."""

    def __call__(self, sample):
        image, landmarks = sample['image'], sample['landmarks']

        # 交換顏色軸因為
        # numpy包的圖片是: H * W * C
        # torch包的圖片是: C * H * W
        image = image.transpose((2, 0, 1))
        return {'image': torch.from_numpy(image),
                'landmarks': torch.from_numpy(landmarks)}

8.組合轉換

接下來我們把這些轉換應用到一個例子上。

我們想要把圖像的短邊調(diào)整為256缺谴，然后隨機裁剪(randomcrop)為224大小的正方形但惶。也就是說，我們打算組合一個Rescale和 RandomCrop的變換湿蛔。 我們可以調(diào)用一個簡單的類 torchvision.transforms.Compose來實現(xiàn)這一操作膀曾。具體實現(xiàn)如下圖：

scale = Rescale(256)
crop = RandomCrop(128)
composed = transforms.Compose([Rescale(256),
                               RandomCrop(224)])

# 在樣本上應用上述的每個變換。
fig = plt.figure()
sample = face_dataset[65]
for i, tsfrm in enumerate([scale, crop, composed]):
    transformed_sample = tsfrm(sample)

    ax = plt.subplot(1, 3, i + 1)
    plt.tight_layout()
    ax.set_title(type(tsfrm).__name__)
    show_landmarks(**transformed_sample)

plt.show()

• 輸出效果：

image

9.迭代數(shù)據(jù)集

讓我們把這些整合起來以創(chuàng)建一個帶組合轉換的數(shù)據(jù)集阳啥√硪辏總結一下，每次這個數(shù)據(jù)集被采樣時: * 及時地從文件中讀取圖片 * 對讀取的圖片應用轉換 * 由于其中一步操作是隨機的 (randomcrop) , 數(shù)據(jù)被增強了

我們可以像之前那樣使用for i in range循環(huán)來對所有創(chuàng)建的數(shù)據(jù)集執(zhí)行同樣的操作察迟。

transformed_dataset = FaceLandmarksDataset(csv_file='data/faces/face_landmarks.csv',
                                           root_dir='data/faces/',
                                           transform=transforms.Compose([
                                               Rescale(256),
                                               RandomCrop(224),
                                               ToTensor()
                                           ]))

for i in range(len(transformed_dataset)):
    sample = transformed_dataset[i]

    print(i, sample['image'].size(), sample['landmarks'].size())

    if i == 3:
        break

• 輸出結果：

0 torch.Size([3, 224, 224]) torch.Size([68, 2])
1 torch.Size([3, 224, 224]) torch.Size([68, 2])
2 torch.Size([3, 224, 224]) torch.Size([68, 2])
3 torch.Size([3, 224, 224]) torch.Size([68, 2])

但是斩狱，對所有數(shù)據(jù)集簡單的使用for循環(huán)犧牲了許多功能，尤其是: * 批量處理數(shù)據(jù) * 打亂數(shù)據(jù) * 使用多線程multiprocessingworker 并行加載數(shù)據(jù)扎瓶。

torch.utils.data.DataLoader是一個提供上述所有這些功能的迭代器所踊。下面使用的參數(shù)必須是清楚的。一個值得關注的參數(shù)是collate_fn, 可以通過它來決定如何對數(shù)據(jù)進行批處理概荷。但是絕大多數(shù)情況下默認值就能運行良好秕岛。

dataloader = DataLoader(transformed_dataset, batch_size=4,
                        shuffle=True, num_workers=4)

# 輔助功能：顯示批次
def show_landmarks_batch(sample_batched):
    """Show image with landmarks for a batch of samples."""
    images_batch, landmarks_batch = \
            sample_batched['image'], sample_batched['landmarks']
    batch_size = len(images_batch)
    im_size = images_batch.size(2)
    grid_border_size = 2

    grid = utils.make_grid(images_batch)
    plt.imshow(grid.numpy().transpose((1, 2, 0)))

    for i in range(batch_size):
        plt.scatter(landmarks_batch[i, :, 0].numpy() + i * im_size + (i + 1) * grid_border_size,
                    landmarks_batch[i, :, 1].numpy() + grid_border_size,
                    s=10, marker='.', c='r')

        plt.title('Batch from dataloader')

for i_batch, sample_batched in enumerate(dataloader):
    print(i_batch, sample_batched['image'].size(),
          sample_batched['landmarks'].size())

    # 觀察第4批次并停止。
    if i_batch == 3:
        plt.figure()
        show_landmarks_batch(sample_batched)
        plt.axis('off')
        plt.ioff()
        plt.show()
        break

image

• 輸出

0 torch.Size([4, 3, 224, 224]) torch.Size([4, 68, 2])
1 torch.Size([4, 3, 224, 224]) torch.Size([4, 68, 2])
2 torch.Size([4, 3, 224, 224]) torch.Size([4, 68, 2])
3 torch.Size([4, 3, 224, 224]) torch.Size([4, 68, 2])

10.后記：torchvision

在這篇教程中我們學習了如何構造和使用數(shù)據(jù)集類(datasets),轉換(transforms)和數(shù)據(jù)加載器(dataloader)误证。torchvision包提供了 常用的數(shù)據(jù)集類(datasets)和轉換(transforms)继薛。你可能不需要自己構造這些類。torchvision中還有一個更常用的數(shù)據(jù)集類ImageFolder愈捅。 它假定了數(shù)據(jù)集是以如下方式構造的:

root/ants/xxx.png
root/ants/xxy.jpeg
root/ants/xxz.png
.
.
.
root/bees/123.jpg
root/bees/nsdf3.png
root/bees/asd932_.png

其中'ants’,bees’等是分類標簽遏考。在PIL.Image中你也可以使用類似的轉換(transforms)例如RandomHorizontalFlip,Scale。利 用這些你可以按如下的方式創(chuàng)建一個數(shù)據(jù)加載器(dataloader) :

import torch
from torchvision import transforms, datasets

data_transform = transforms.Compose([
        transforms.RandomSizedCrop(224),
        transforms.RandomHorizontalFlip(),
        transforms.ToTensor(),
        transforms.Normalize(mean=[0.485, 0.456, 0.406],
                             std=[0.229, 0.224, 0.225])
    ])
hymenoptera_dataset = datasets.ImageFolder(root='hymenoptera_data/train',
                                           transform=data_transform)
dataset_loader = torch.utils.data.DataLoader(hymenoptera_dataset,
                                             batch_size=4, shuffle=True,
                                             num_workers=4)