PIL.Image和np.ndarray图片与Tensor之间的转换

2019-04-15 14:10发布生成海报

站内文章 / PIC单片机

13954 0

为了方便进行数据的操作，pytorch团队提供了一个torchvision.transforms包，我们可以用transforms进行以下操作：

PIL.Image/numpy.ndarray与Tensor的相互转化； transforms.ToTensor()

把像素值范围为[0, 255]的PIL.Image或者numpy.ndarray型数据，shape=(H x W x C)转换成的像素值范围为[0.0, 1.0]的torch.FloatTensor，shape为(N x C x H x W) 待确认。
2. 归一化；

transforms.Normalize(mean, std)

此转换类作用于torch.*Tensor。给定均值(R, G, B)和标准差(R, G, B)，用公式channel = (channel - mean) / std进行规范化。(是对tensor进行归一化，所以需要放在transforms.ToTensor()之后)
3. 对PIL.Image进行裁剪、缩放等操作。

transforms.Scale(256),
transforms.RandomSizedCrop(224),
transforms.RandomHorizontalFlip()

可以查看pytorch文档查看有哪些操作：http://pytorch-cn.readthedocs.io/zh/latest/torchvision/torchvision-transform/ [pytorch torchvision transform中文文档介绍] 此外，可以对图片进行多种操作。这个时候，需要用transforms.Compose(transforms)将多个transform组合起来使用。其中，transforms：由transform构成的列表. 例子：

normalize = transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
all_transforms = transforms.Compose([
                    transforms.Scale(256),
                    transforms.RandomSizedCrop(224),
                    transforms.RandomHorizontalFlip(), # 对PIL.Image图片进行操作
                    transforms.ToTensor(),
                    normalize])

其中，transforms.Compose中的操作是按照顺序执行的。

PIL.Image/numpy.ndarray与Tensor的相互转换

PIL.Image/numpy.ndarray转化为Tensor，常常用在训练模型阶段的数据读取，而Tensor转化为PIL.Image/numpy.ndarray则用在验证模型阶段的数据输出。

取值范围为[0, 255]的PIL.Image，转换成形状为[C, H, W]，取值范围是[0, 1.0]的torch.FloadTensor；
形状为[H, W, C]的numpy.ndarray，转换成形状为[C, H, W]，取值范围是[0, 1.0]的torch.FloadTensor。
而transforms.ToPILImage则是将Tensor或numpy.ndarray转化为PIL.Image。如果，我们要将Tensor转化为numpy，只需要使用 .numpy() 即可。

代码如下：

#-*-coding:utf-8-*-
import torch
from torchvision import transforms
from PIL import Image
import cv2

img_path = "./cat.59.jpg"  

transform1 = transforms.Compose([
	transforms.CenterCrop((224,224)), # 只能对PIL图片进行裁剪
	transforms.ToTensor(), 
	]
)

## PIL图片与Tensor互转
img_PIL = Image.open(img_path).convert('RGB')
img_PIL.show() # 原始图片
img_PIL_Tensor = transform1(img_PIL)
print(type(img_PIL))
print(type(img_PIL_Tensor))

#Tensor转成PIL.Image重新显示
new_img_PIL = transforms.ToPILImage()(img_PIL_Tensor).convert('RGB')
new_img_PIL.show() # 处理后的PIL图片

## opencv读取的图片与Tensor互转
# transforms中，没有对np.ndarray格式图像的操作
img_cv = cv2.imread(img_path)
transform2 = transforms.Compose([
	transforms.ToTensor(), 
	]
)

img_cv_Tensor = transform2(img_cv)
print(type(img_cv))
print(type(img_cv_Tensor))