文章目录 数据无量纲化概述数据归一化（Normalization，又称Min-Max Scaling）数据标准化（StandardScaler）怎样选择 数据预处理中的其他流程
数据无量纲化 概述
数据无量纲化是机器学习中数据预处理的一个流程。
在机器学习算法实践中，我们往往有着将不同规格的数据转换到同一规格，或不同分布的数据转换到某个特定分布的需求，这种需求统称为将数据“无量纲化”。
数据的无量纲化可以是线性的，也可以是非线性的。线性的无量纲化包括中心化（Zero-centered或者Mean-subtraction）处理和缩放处理（Scale）。中心化的本质是让所有记录减去一个固定值，即让数据样本数据平移到某个位置（数据归一化）。缩放的本质是通过除以一个固定值，将数据固定在某个范围内之中，取对数也算是一种缩放处理（数据标准化）。
数据归一化（Normalization，又称Min-Max Scaling）数据归一化后的数据服从正态分布，数据归一化的公式如下
在sklearn当中，我们使用preprocessing.MinMaxScaler来实现这个功能。MinMaxScaler有一个重要参数，feature_range，控制我们希望把数据压缩到的范围，默认是[0,1]。
代码示例（使用sklearn.preprocessing来实现归一化）
from sklearn.preprocessing import MinMaxScalerimport pandas as pddata = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]]pd.DataFrame(data)scaler = MinMaxScaler() #实例化 scaler = scaler.fit(data) result = scaler.transform(data) result_ = scaler.fit_transform(data) #一步到位输出结果，与上面两行代码是一样的scaler.inverse_transform(result)#将归一化的结果逆转回来scaler = MinMaxScaler(feature_range=[5,10]) #也可以把数据归一化到[5,10]之间result = scaler.fit_transform(data) #当X中的特征数量非常多的时候，fit会报错并表示，数据量太大计算不了#此时使用partial_fit作为训练接口#scaler = scaler.partial_fit(data)也可以使用numpy来实现归一化
import numpy as npX = np.array([[-1, 2], [-0.5, 6], [0, 10], [1, 18]])#归一化X_nor = (X - X.min(axis=0)) / (X.max(axis=0) - X.min(axis=0))X_norX_returned = X_nor * (X.max(axis=0) - X.min(axis=0)) + X.min(axis=0)X_returned 数据标准化（StandardScaler）当数据(x)按均值(μ)中心化后，再按标准差(σ)缩放，数据就会服从为均值为0，方差为1的正态分布（即标准正态分布），而这个过程叫做数据标准化（Standardization，又称Z-score normalization），公式如下
代码实现（使用sklearn.preprocessing来实现标准化）
from sklearn.preprocessing import StandardScalerdata = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]]scaler = StandardScaler() scaler.fit(data) #fit，本质是生成均值和方差scaler.mean_#查看均值scaler.var_ #查看方差var_x_std = scaler.transform(data)#通过接口导出结果x_std.mean() x_std.std() #使用fit_transform(data)一步达成结果scaler.fit_transform(data)#使用inverse_transform逆转标准化，返回原来的数据scaler.inverse_transform(x_std) 怎样选择我们怎么选择数据归一化和数据标准化来进行我们的数据无量纲化处理？答案是看情况。
大多数机器学习算法中，会选择StandardScaler来进行特征缩放，因为MinMaxScaler对异常值非常敏感。在PCA，聚类，逻辑回归，支持向量机，神经网络这些算法中，StandardScaler往往是最好的选择。MinMaxScaler在不涉及距离度量、梯度、协方差计算以及数据需要被压缩到特定区间时使用广泛，比如数字图像处理中量化像素强度时，都会使用MinMaxScaler将数据压缩于[0,1]区间之中。
建议先试试看StandardScaler，效果不好换MinMaxScaler。
数据预处理中的其他流程机器学习中的数据预处理流程除了数据无量纲化外，还有
对缺失值的处理
当缺失值少的时候，把带缺失值的样本数据删除掉；当缺失值多的时候，用相关特征的均值、中数、众数或0填充缺失值
处理分类型特征
哑变量和独热编码（把分类特征用数字表达）
处理连续型特征
二值化和分箱（设定阈值，把连续型数据分段分类别）