PM2.5数据集LSTM实现预测 数据集说明主要步骤环境全部代码转化为监督数据导入数据集归一化转化为监督数据删除不需要预测的列分割为训练集和数据集 LSTM反归一化真实值与预测值的对比
数据集说明
本实验采用的PM2.5空气质量数据集来自UCI公共数据集网站，包含了一系列与空气质量有关的天气数据，此数据集为多变量时间序列，每个记录的间隔为一小时，实例数量为43824条，其中前24条未在数据集中使用。该数据集是从2010年初到2014年底收集的美国驻华使馆的空气质量数据，在此实验中选择了具有实值的43800条作为实验数据，预测的因变量值为PM2.5这个属性。
主要步骤实验过程主要分为以下几步：
读取数据文件。时间序列数据转化为监督学习问题，并进行数据归一化。去除在本实验中无用的列。数据集分为测试集和训练集，以及验证集。Keras与tensorflow训练单层LSTM网络。用测试集进行预测。数据反归一化。MAE (Mean Absolute Error，平均绝对误差)与RMSE(Root Mean Squared Error, 均方根误差)对训练集的预测结果进行评估。通过图像与真实值的曲线作对比。 环境Keras:2.3.1, Tensorflow:2.1.0,python3.7
全部代码 //都是机器学习常用最新的工具包 from math import sqrtfrom numpy import concatenatefrom matplotlib import pyplotfrom pandas import read_csvfrom pandas import DataFramefrom pandas import concatfrom sklearn.preprocessing import MinMaxScalerfrom sklearn.preprocessing import LabelEncoderfrom sklearn.metrics import mean_squared_errorfrom sklearn.metrics import mean_absolute_errorfrom keras.models import Sequentialfrom keras.layers import Densefrom keras.layers import LSTM 转化为监督数据 def series_to_supervised(data, n_in=1, n_out=1, dropnan=True):n_vars = 1 if type(data) is list else data.shape[1]df = DataFrame(data)cols, names = list(), list()for i in range(n_in, 0, -1):cols.append(df.shift(i))names += [('var%d(t-%d)' % (j+1, i)) for j in range(n_vars)]for i in range(0, n_out):cols.append(df.shift(-i))if i == 0:names += [('var%d(t)' % (j+1)) for j in range(n_vars)]else:names += [('var%d(t+%d)' % (j+1, i)) for j in range(n_vars)]agg = concat(cols, axis=1)agg.columns = namesif dropnan:agg.dropna(inplace=True)return agg 导入数据集 dataset = read_csv('PM2.5.csv', header=0, index_col=0)values = dataset.valuesencoder = LabelEncoder()values[:,4] = encoder.fit_transform(values[:,4])values = values.astype('float32') 归一化 scaler = MinMaxScaler(feature_range=(0, 1))scaled = scaler.fit_transform(values) 转化为监督数据 reframed = series_to_supervised(scaled, 1, 1) 删除不需要预测的列 reframed.drop(reframed.columns[[9,10,11,12,13,14,15]], axis=1, inplace=True)print(reframed.head()) 分割为训练集和数据集 values = reframed.valuesn_train_hours = 10000train = values[:n_train_hours, :]test = values[n_train_hours:, :]#划分自变量和因变量train_X, train_y = train[:, :-1], train[:, -1]test_X, test_y = test[:, :-1], test[:, -1]train_X = train_X.reshape((train_X.shape[0], 1, train_X.shape[1]))test_X = test_X.reshape((test_X.shape[0], 1, test_X.shape[1]))print(train_X.shape, train_y.shape, test_X.shape, test_y.shape) LSTM print('LSTM')model = Sequential()model.add(LSTM(128, input_shape=(train_X.shape[1], train_X.shape[2])))model.add(Dense(1, activation='sigmoid'))model.compile(loss='mae', optimizer='adam',metrics=['mae'])history = model.fit(train_X, train_y, epochs=20, batch_size=130, validation_data=(test_X, test_y), verbose=2, shuffle=False)yhat = model.predict(test_X)test_X = test_X.reshape((test_X.shape[0], test_X.shape[2])) 反归一化 inv_yhat = concatenate((yhat, test_X[:, 1:]), axis=1)inv_yhat = scaler.inverse_transform(inv_yhat)inv_yhat = inv_yhat[:,0]inv_y = scaler.inverse_transform(test_X)inv_y = inv_y[:,0] 真实值与预测值的对比 pyplot.figure(figsize=(10,5))pyplot.title('100 hours')pyplot.plot(inv_y[:100],label='Real')pyplot.plot(inv_yhat[:100],label='LSTM')pyplot.legend()pyplot.show()