《TensorFlow中读数据三种方法.doc》由会员分享,可在线阅读,更多相关《TensorFlow中读数据三种方法.doc(3页珍藏版)》请在三一文库上搜索。
1、TensorFlow中读数据三种方法在TensorFlow中读数据一般有三种方法:使用placeholder读内存中的数据使用queue读硬盘中的数据使用Dataset读内存个硬盘中的数据基本概率由于第三种方法在语法上更简洁,因此本文主要介绍第三种方法。官方给出的Dataset API类图:image.png其中终于重要的两个基础类:Dateset和Iterator。Dateset是具有相同类型的“元素”的有序表,元素可以是向量、字符串、图片等。从内存中创建Dataset以数字元素为例:例1从Dataset中实例化一个Iterator,然后对Iterator进行迭代。iterator = da
2、taset.make_one_shot_iterator()从dataset中实例化一个iterator,是“one shot iterator”,即只能从头到尾读取一次。one_element = iterator.get_next()从iterator中取出一个元素, one_element是一个tensor,因此需要调用sess.run(one_element)取出值。如果元素被读取完了,再sess.run(one_element)会抛出tf.errors.OutOfRangeError异常。解决方法:使用 dataset.repeat()更复杂的输入形式,例如,在图像识别的应用中,一个
3、元素可以使“image”:image_tensor, “label”:lable_tensordataset = tf.data.Dataset.from_tensor_slices( a: np.array(1.0, 2.0, 3.0, 4.0, 5.0), b: np.random.uniform(size=(5, 2) )最终dataset中的一个元素为a: 1.0, b: 0.9, 0.1的形式。或者dataset = tf.data.Dataset.from_tensor_slices( (np.array(1.0, 2.0, 3.0, 4.0, 5.0), np.random.un
4、iform(size=(5, 2) )对Dataset中的元素做变换:Transformation一个Dataset通过Transformation变成一个新的Dataset。常用的操作有:mapbatchshufflerepeat下面分别来介绍以上几个操作。(1)mapmap接收一个函数,dataset中的每个元素都可以作为这个函数的输入,并将函数的返回值作为新的dataset,例如:dataset = tf.data.Dataset.from_tensor_slices(np.array(1.0, 2.0, 3.0, 4.0, 5.0) dataset = dataset.map(lamb
5、da x: x + 1) # 2.0, 3.0, 4.0, 5.0, 6.0(2)batch将多个元素组合成batch,例如:dataset = dataset.batch(32)(3)shuffle打乱dataset中的元素,参数buffersize表示打乱时buffer的大小。dataset = dataset.shuffle(buffer_size=10000)(4)repeat将整个序列重复多次,只用用来处理epoch。如果直接调用repeat()的话,生成的序列就会无限重复下去,没有结束,因此也不会抛出。tf.errors.OutOfRangeError异常:dataset = da
6、taset.repeat(5)例子:读磁盘图片与对应的label读入磁盘中的图片和图片相应的label,并将其打乱,组成batch_size=32的训练样本。在训练时重复10个epoch。# 函数的功能时将filename对应的图片文件读进来,并缩放到统一的大小def _parse_function(filename, label): image_string = tf.read_file(filename) image_decoded = tf.image.decode_image(image_string) image_resized = tf.image.resize_images(im
7、age_decoded, 28, 28) return image_resized, label# 图片文件的列表filenames = tf.constant(/var/data/image1.jpg, /var/data/image2.jpg, .)# labeli就是图片filenamesi的labellabels = tf.constant(0, 37, .)# 此时dataset中的一个元素是(filename, label)dataset = tf.data.Dataset.from_tensor_slices(filenames, labels)# 此时dataset中的一个元素是(image_resized, label)dataset = dataset.map(_parse_function)# 此时dataset中的一个元素是(image_resized_batch, label_batch)dataset = dataset.shuffle(buffersize=1000).batch(32).repeat(10)# 此时dataset中的一个元素是(image_resized_batch, label_batch)# image_resized_batch的形状为(32, 28, 28, 3), label_batch的形状为(32, )
链接地址:https://www.31doc.com/p-3274076.html