首页 > 编程知识 正文

tensorflow数据集下载,TensorFlow2超大数据集

时间:2023-05-05 13:43:14 阅读:126698 作者:4050

Tensorflow教程注释基础

TensorFlow的基础

TensorFlow模型的建立与培训

基础示例:多层探测器(MLP ) )。

卷积神经网络(CNN ) )。

循环神经网络(RNN ) )。

深度学习(DRL )。

Keras Pipeline

自定义层、损失函数、评价指标

常用模块tf.train.Checkpoint :保存和恢复变量

常用模块TensorBoard :培训流程可视化

常用模块tf.data :数据集的构建和预处理

常规模块TF record:tensor流数据集的存储格式

常用模块tf.function :图执行模式

常用模块tf.TensorArray :TensorFlow动态数组

常用模块tf.config:GPU的使用和分配

配置

导出TensorFlow模型

tensor流服务

TensorFlow Lite

大规模的训练和加速

TensorFlow分布式培训

使用TPU培训TensorFlow模型

扩展

TensorFlow Hub模型的复用

加载tensor流数据集

附录

强化学习基础介绍

目录Tensorflow教程注释加载TensorFlow Datasets数据集的提示

加载tensor流数据集

TensorFlow Datasets是开箱后数据集的集合,其中包含几十种常见的机器学习数据集。 可以用简单的几行代码以tf.data.Dataset格式加载数据。 有关使用tf.data.Dataset的信息,请访问tf.data。

该工具是独立的Python软件包,可以通过:

pip安装传感器流数据的安装。

使用时,首先使用import导入软件包

importtensorflowastfimporttensorflow _ datasetsastfds之后,最基本的用法是使用tfds.load方法加载所需的数据集。 例如,以下三行代码分别加载三个图像分类数据集: MNIST、猫狗分类和tf_flowers。

dataset=tfds.load(Mnist ),split=tfds.Split.TRAIN,as_supervised=True ) dataset=tfds.load ) (cats_ ) as _ supervised=true (dataset=tfds.load (TF _ flowers ),split=tfds.Split.TRAIN,as_supervised=true )

downloadingandpreparingdatasetmnist (11.06 MIB ) TOC : (用户(snowkylin (tensor flow _ datasets ) mnist )。 3.0.0 . warning : absl : datasetmnistishostedongcs.itwillautomaticallybedownloadedtoyourlocaldatadirectory.if you 推荐的If you ' rerunningongcp (t ), youcaninsteadsetdata _ dir=GS ://tfds-data/datasets.dl completed .100 %|(((((() file(dlcompleted.100%|((((((((((() ) () ) () ) ) ) ) 2.73 s/file ] datasetmnistdownloadedandpreparedtoc : _ userssnowkylin _ tensor flow _ datasasasant3.0.0. subseqasase 更简单的方法是设置HTTPS_PROXY环境变量

export HTTPS_PROXY=http://代理服务器IP:端口tfds.load方法返回tf.data.Dataset对象。 部分重要参数如下:

as _ supervised :如果为true,则根据数据集的特性,将数据集中每行的元素组织为要监视的二项式“输入,标签”或“数据标签”格式。 否则,数据集中每行的元素将成为包含所有特征的词典。 split :指定返回的数据集的特定部分。 如果未指定,则返回整个数据集。 通常有tfds.Split.TRAIN (训练集)和tfds.Split.TEST )选项。 TensorFlow Datasets当前支持的数据集可以在官方文档中查看,也可以使用tfds.list_builders (查看)。

获得tf.data.Dataset类型的数据集后,可以使用tf.data对数据集进行各种预处理并读取数据。 例如:

使用TessorFlow Datasets创建tf_flowers数据集dataset=TFDS.load(TF_flowers ), 加载split=tfds.Split.TRAIN,将as_supervised=true(#dataset调整大小、分解、批处理操作dataset=dataset.map(lambdaimg,lataset ) label: ) ) TF.image.resize.shuffle (1024 (.batch ) 32 ) #迭代数据for images,labels in dataset: # ) images和labels 我们还在分布式培训一章中使用TensorFlow Datasets加载了数据集。 通过这些章节中的示例代码,您可以了解如何使用TensorFlow Datasets。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。