特征选择

原因

• 冗余：部分特征的相关度高，容易消耗计算性能
• 噪声：部分特征对预测结果有负影响

特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征，特征在选择前和选择后可以改变值、也不改变值，但是选择后的特征维数肯定比选择前小，毕竟我们只选择了其中的一部分特征。

方法

• Filter(过滤式):VarianceThreshold
• Embedded(嵌入式)：正则化、决策树
• Wrapper(包裹式)

API

sklearn.feature_selection.VarianceThreshold

• 初始化VarianceThreshold,指定阀值方差
• 调用fit_transform

语法

VarianceThreshold(threshold = 0.0)

• 删除所有低方差特征

Variance.fit_transform(X,y)

X:numpy array格式的数据[n_samples,n_features]

• 返回值：训练集差异低于threshold的特征将被删除。默认值是保留所有非零方差特征，即删除所有样本中具有相同值的特征。