归一化与标准化

归一化

sklearn归一化API: sklearn.preprocessing.MinMaxScaler

步骤

1. 实例化MinMaxScalar
2. 通过fit_transform转换

缺点：

• 在特定场景下最大值最小值是变化的，另外，最大值与最小值非常容易受异常点影响
• 所以这种方法鲁棒性较差，只适合传统精确小数据场景。

特点：

• 对不同特征维度进行伸缩变换
• 改变原始数据的分布。使各个特征维度对目标函数的影响权重是一致的（即使得那些扁平分布的数据伸缩变换成类圆形）
• 对目标函数的影响体现在数值上
• 把有量纲表达式变为无量纲表达式 。

优点：

• 提高迭代求解的收敛速度
• 提高迭代求解的精度

标准化

特点

• 通过对原始数据进行变换把数据变换到均值为0,标准差为1范围内

优点

• 不改变原始数据的分布。保持各个特征维度对目标函数的影响权重
• 对目标函数的影响体现在几何分布上
• 在已有样本足够多的情况下比较稳定，适合现代嘈杂大数据场景。

对比

对于归一化来说：如果出现异常点，影响了最大值和最小值，那么结果显然会发生改变

对于标准化来说：如果出现异常点，由于具有一定数据量，少量的异常点对于平均值的影响并不大，从而方差改变较小。