线性模型的预测公式一般为：
y = w[0]*x[0]+w[1]*x[1]+ ··· +w[p]*x[p]+b
上面的公式中，x[0]到x[p]标识的是单个数据的特征，w[0]到w[p]是对应特征的权重，y是预测结果，b是偏移量。
如果是单一变量，公式就变为：
y = w*x + b
就变成一条直线方程，这时候w就是斜率，b是截距。
单一特征的预测结果是一条直线，两个特征的预测结果是一个平面，更多特征就是超平面。下面介绍最常见的线性回归模型。
2、线性回归（普通最小二乘法）线性回归，或者普通最小二乘法(OLS)，是回归问题最简单的线性方法。线性回归寻找参数w和b，使得对训练集的预测值与真实的回归目标值y之间的均方误差最小。均方误差是预测值与真实值之差的平方和除以样本数。
''' 2、线性回归，普通最小二乘法'''def LinearRegression_method(): # ***** 欠拟合 # X, y = mglearn.datasets.make_wave(n_samples=60) # X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42) # lr = LinearRegression().fit(X_train, y_train) # # print("斜率(特征权重) lr.coef_: {}".format(lr.coef_)) # print("偏移(截距) lr.intercept_: {}".format(lr.intercept_)) # # lr.coef_是一个数组，原因是因为当多个特征时，返回的就是多个特征对应的权重 # # print("Training set score: {:.2f}".format(lr.score(X_train, y_train))) # print("Test set score: {:.2f}".format(lr.score(X_test, y_test))) # 根据训练结果和测试结果，认为是欠拟合 # ***** 过拟合 X, y = mglearn.datasets.load_extended_boston() X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0) lr = LinearRegression().fit(X_train, y_train) print("Training set score: {:.2f}".format(lr.score(X_train, y_train))) print("Test set score: {:.2f}".format(lr.score(X_test, y_test))) # 根据训练结果和测试结果，认为是过拟合这里有两组输出：
上面4个：斜率(特征权重) lr.coef_: [0.39390555]偏移(截距) lr.intercept_: -0.031804343026759746Training set score: 0.67Test set score: 0.66下面2个：Training set score: 0.95Test set score: 0.61这里用了两种不同的数据。先说上面的一组数据；
这组数据最后训练分数和测试分数很相近，这说明欠拟合，而不是过拟合。这是因为一维数据，训练模型很简单，很难出现过拟合。
而下面一组数据，其特征值很多，也就是高维度的数据。最后的得分，训练集和测试集的性能差异是过拟合的明显标志。
通过这两组数据，我们发现在训练过程中，我们无法控制训练模型的复杂度。那么我们需要可以控制复杂度的训练模型。