首页 > 编程知识 正文

机器学习训练集、测试集和预测集数据扁平化(包括相对和绝对目录;使用了os、pandas、opencv库的部分功能)

时间:2023-05-04 13:36:10 阅读:255986 作者:838

0 引言

机器学习涵盖了很多库与函数,博主也刚刚开始学习,本文主要讲一讲如何将图像数据扁平化,使其变为一维数组,便于后续机器学习的处理。(完整函数附于文末哦~)

1 确定我们读取图像文件的目录

1.1 绝对目录与相对目录
绝对目录是指从根目录(C、D、E盘等等)开始一直写到需读取文件的目录,如:

path_train = 'D:/python learning&training/pythonProject/Project/Project/DataCSV1'

不过需注意直接从电脑中复制过来的目录是使用‘ ’分隔,但在Python中‘ ’为转义字符,有其他功能,可能出现占用而报错的情况。所以我们在电脑中将目录复制过来后,手动将‘ ’改为’ / ‘、’ // ‘或’ ‘,即可解决上述问题。
相对目录主要使用两个符号:’ ./ ‘、’ …/ ',分别表示当前目录与父目录(即上一级目录),所以对于同样的文件DataCSV1而言,我们可以从当前代码的目录出发,打开DataCSV1的相对目录:

path_train = '../DataCSV1'

(注:博主的电脑中运行的代码是处于D:python learning&trainingpythonProjectProjectProject中,所以相对目录如图,如果大家的文件位置不一样,可以多次使用’ …/ '来找到文件)

2 定义图像预处理函数

在进行数据扁平化之前,我们要先将各类图像转化为统一的尺寸并进行滤波处理,因此定义以下函数:

def ImgPrcessing(path):

该函数需完成图像读取、尺寸统一化、滤波等操作,我们通过调用opencv库来实现:

img = cv2.imread(path) # 图片读取 img = cv2.resize(img,(64,64)) #改变大小尺寸 img = cv2.medianBlur(img, 3) # 滤波

返回值则为img:

return img 3 定义训练集、测试集处理函数

为了使尽量少写重复的代码,因此我们再定义一个处理训练集和测试集的函数def train_val_process(path),只给其一个参数path(需处理图像的路径地址)、返回值为处理后的图像:

def train_val_process(path):

首先,我们先定义两个列表用于存放数据集的数据及标号:

datas = []labels = []

其次,我们逐一读取目标文件夹中的图像,并将他们的目录地址与图像名连接起来,得到一个指向单张图片的地址。此处我们使用了一组for循环嵌套语句:

for dir in os.listdir(path): # 读取路径处理 (文件夹的名称) dir_ = os.path.join(path, dir) #将文件夹与对应前缀路径逐一连接 for file in os.listdir(dir_): # 读取路径处理 (图片的名称) imgpath = os.path.join(dir_, file) #将图片与对应前缀路径逐一连接

然后,我们将得到的图像文件进行一维提取,用到a.flatten()函数:

imgflatten = ImgPrcessing(imgpath).flatten() #提取一维数组

a.flatten()函数,其中对象必须为array(数组)或mat(矩阵)。a.flatten() ——默认按行的方向降维、 a.flatten(‘F’) ——按列降维、a.flatten(‘A’) ——按行降维。

最后,再将数据写入datas与labels中:

datas.append(imgflatten) # 数据集 在列表detas的末尾添加新对象,imgflatten为新对象 labels.append(dir) # 标签集 同上

返回值则为datas与labels:

return datas, labels 4 定义数据处理函数

我们的数据主要分为三种:训练集、测试集、预测集,因为我们想要用一个函数将三个数据集的图像一起输入,因此我们为函数定义三个输入参数:train, test, pre。

def DataProcessing(train,test,pre)

函数内我们首先使用if条件语句将三种不同的输入集图像分开处理:

if train:...if test:...if pre:...

train、test、pre中为0的即运行该数据集(在程序开始自己定义)。
下面开始数据集训练,程序如下:

train_data,train_label = train_val_process(path_train) train_data_ = pd.DataFrame(train_data).to_csv(train_data_save, index=0, header=0) # 训练集保存 train_label_ = pd.DataFrame(train_label).to_csv(train_label_save, index=0, header=0)

其中的train_val_process()为前面定义的训练集、测试集处理函数,在输入对应图片的路径后,会返回两个值,分别是train_data,train_label。
得到处理后的数据集后,使用pd.DataFrame()函数创建一个二维表,再使用函数pd.to_csv将这两个数据写入二维表。

至此,数据扁平化已完成。

5 完整代码 import osimport cv2import pandas as pd#本程序旨在让图片生成的数组扁平,生成一维数组########################################path_train = '../../../../sklearn math/PCB/sample/' # 训练集路径 7:3 6:2:2path_test = '../../../../sklearn math/PCB/test/' # 验证集路径path_pre = '../../../../sklearn math/PCB/test/' # 测试集路径#----------------------------------------#train = 0test = 1pre = 0#----------------------------------------#train_data_save = '../DataCSV2/train_data.csv' # 存储路径train_label_save = '../DataCSV2/train_label.csv'test_data_save = '../DataCSV2/test_data.csv'test_label_save = '../DataCSV2/test_label.csv'pre_data_save = '../DataCSV2/pre_data.csv'pre_sign_save = '../DataCSV2/pre_sign.csv'######################################### *图片预处理函数def ImgPrcessing(path): img = cv2.imread(path) # 图片读取 img = cv2.resize(img,(64,64)) #改变大小尺寸 img = cv2.medianBlur(img, 3) # 滤波 return img# *训练集、测试集---处理函数def train_val_process(path): datas = [] labels = [] for dir in os.listdir(path): # 读取路径处理 (文件夹的名称) dir_ = os.path.join(path, dir) #将文件夹与对应前缀路径逐一连接 for file in os.listdir(dir_): # 读取路径处理 (图片的名称) imgpath = os.path.join(dir_, file) #将图片与对应前缀路径逐一连接 imgflatten = ImgPrcessing(imgpath).flatten() #提取一维数组,其中对象必须为array(数组)或mat(矩阵)。a.flatten() #默认按行的方向降维、 a.flatten('F') #按列降维、a.flatten('A') #按行降维 datas.append(imgflatten) # 数据集 在列表detas的末尾添加新对象,imgflatten为新对象 labels.append(dir) # 标签集 同上 return datas, labels# 1-数据集处理def DataProcessing(train,test,pre): if train: # 1.1 训练集处理 train_data,train_label = train_val_process(path_train) train_data_ = pd.DataFrame(train_data).to_csv(train_data_save, index=0, header=0) # 训练集保存 train_label_ = pd.DataFrame(train_label).to_csv(train_label_save, index=0, header=0) if test: # 1.2 测试集处理 test_data, test_label = train_val_process(path_test) val_data_ = pd.DataFrame(test_data) .to_csv(test_data_save, index=0, header=0) # 测试集保存 val_label_ = pd.DataFrame(test_label) .to_csv(test_label_save, index=0, header=0) #pd.DataFrame 创建一个二维表、to_csv保存指定格式数据到二维表中 if pre: # 1.3 预测集处理 pre_datas = [] # 预测集数据存储列表 pre_labels = [] # 预测集标签存储列表 imglabels = [] count = 0 for file in os.listdir(path_pre): # 预测集路径 imglabels.append(path_pre + str(count) + '.png') count += 1 for path in imglabels: imgflatten = ImgPrcessing(path).flatten() pre_datas.append(imgflatten) # 预测集数据 pre_labels.append(os.path.basename(path)) # 预测集标签 os.path.basename=>返回path最后的文件名 pre_data_ = pd.DataFrame(pre_datas) .to_csv(pre_data_save, index=0,header=0) # 预测集保存 pre_label_ = pd.DataFrame(pre_labels) .to_csv(pre_sign_save, index=0,header=0)# 2-保存CSV文件DataProcessing(train = train,test = test,pre = pre)

博主也在学习中,可能有很多地方不懂,期待各位对本文内容的批评指正。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。