Skip to main content

初识特征工程

说明:本篇博客主要摘自博客园使用sklearn做单机特征工程,进行了一定的删减和修改,主要侧重介绍了一些概念性的东西。

什么是特征工程

数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。特征工程的本质是一项工程活动,目的是最大限度从原始数据总提取特征供算法和模型使用。总的说来,主要包含以下几个方面:

  • 特征使用方案
    • 要实现我们的目标需要哪些数据——基于业务理解,尽可能找出对最终结果有影响的所有因素
    • 可用性评估
      • 获取难度
      • 覆盖率
      • 准确率
  • 特征获取方案
    • 如何获取这些特征
    • 如何存储
  • 特征处理
    • 特征清洗
      • 清洗异常样本
      • 采样
        • 数据不均衡
        • 样本权重
    • 预处理
      • 单个特征
        • 归一化
        • 离散化
        • 哑编码
        • 缺失值
        • 数值变换
          • log
          • 指数
          • box-cox
      • 多个特征
        • 降维
          • PCA
          • LDA
        • 特征选择
          • Filter
            • 思路:自变量和目标变量之间的关联
            • 相关系数
            • 卡方检验
            • 信息增益、互信息
          • Wrapper
            • 思路:通过目标函数(AUCMBE)来决定是否加入一个变量
            • 迭代:产生特征子集,评价(完全搜索、启发式搜索、随机搜索——GA、SA)
          • Embedding
            • 思路:学习期自身自动选择特征
            • 正则化(L1——LassoL2——Ridge
            • 决策树:熵、信息增益
            • 深度学习
  • 特征监控
    • 特征有效性分析——特征重要性、权重
    • 特征监控——监控重要特征——防止特征质量下降,影响模型效果

    数据预处理

未处理的特征可能有以下几个问题:
– 不属于同一量纲:即特征的规格不一样,不能够放在一起比较。无量纲化可以解决这一问题。
– 信息冗余:对于某些定量特征,其包含的有效信息为区间划分。二值化可以解决这一问题。
– 定性特征不能直接使用:某些机器学习算法和模型只能接受定量特征的输入,那么需要将定性特征转换为定量特征。最简单的方式是为每一种定性值指定一个定量值,但是这种方式过于灵活,增加了调参的工作。 通常使用哑编码的方式将定性特征转换为定量特征。

  • 存在缺失值:缺失值需要补充。
  • 信息利用率低:不同的机器学习算法和模型对数据中信息的利用是不同的,之前提到在线性模型中,使用对定性特征哑编码可以达到非线性的效果。类似地,对定量变量多项式化,或者进行其他的转换,都能达到非线性的效果。

无量纲化

无量纲化使不同规格的数据转换到同一规格。常见的无量纲化方法有标准化区间缩放法标准化的前提是特征值服从正态分布,标准化后,其转换成标准正态分布。区间缩放法利用了边界值信息,将特征的取值区间缩放到某个特点的范围,例如[0, 1]等。

标准化

标准化需要计算特征的均值和标准差,公式表达为:
x’ = \frac{x-\bar{X}}{S}

其中,\bar{X} 为数据的均值,而S表示标准差。

区间缩放法

区间缩放法的思路有多种,常见的一种为利用两个最值进行缩放,公式表达为:
x’ = \frac{x-Min}{Max-Min}

MinMax分别表示样本中的最大值和最小值、

标准化与归一化的区别

简单来说,标准化是依照特征矩阵的列处理数据,其通过求z-score的方法,将样本的特征值转换到同一量纲下。归一化是依照特征矩阵的行处理数据,其目的在于样本向量在点乘运算或其他核函数计算相似性时,拥有统一的标准,也就是说都转化为“单位向量”。规则为L2的归一化公式如下:

x’=\frac{x}{\sqrt{\sum_{j}^{m}{x[j]}^2}}

对定量特征二值化

定量特征二值化的核心在于设定一个阈值,大于阈值的赋值为1,小于等于阈值的赋值为0,公式表达如下:

x’ = 1, x> threshold; x’=0, otherwise

对定性特征哑编码

假设有N种定性值,则将这一个特征扩展为N种特征,当原始特征值为第i种定性值时,第i个扩展特征赋值为1,其他扩展特征赋值为0。哑编码的方式相比直接指定的方式,不用增加调参的工作,对于线性模型来说,使用哑编码后的特征可达到非线性的效果。

缺失值计算

可以使用均值进行填充或者默认值进行填充。

数据变换

常见的数据变换有基于多项式的、基于指数函数的、基于对数函数的。4个特征,度为2的多项式转换公式如下:

(x_1′,x_2′,x_3′,x_4′,x_5′,x_6′,x_7′,x_8′,x_9′,x_{10}’,x_{11}’,x_{12}’,x_{13}’,x_{14}’,x_{15}’)
=(1,x_1,x_2,x_3,x_4,{x_1}^2,x_1*x_2,x_1*x_3,x_1*x_4,{x_2}^2,x_2*x_3,x_2*x_4,{x_3}^2,x_3*x_4,{x_4}^2)

特征选择

当数据预处理完成后,我们需要选择有意义的特征输入机器学习的算法和模型进行训练。通常来说,从两个方面考虑来选择特征:

  • 特征是否发散:如果一个特征不发散,例如方差接近于0,也就是说样本在这个特征上基本上没有差异,这个特征对于样本的区分并没有什么用。
  • 特征与目标的相关性:这点比较显见,与目标相关性高的特征,应当优选选择。除方差法外,本文介绍的其他方法均从相关性考虑。

根据特征选择的形式又可以将特征选择方法分为3种:

  • Filter:过滤法,按照发散性或者相关性对各个特征进行评分,设定阈值或者待选择阈值的个数,选择特征。
  • Wrapper:包装法,根据目标函数(通常是预测效果评分),每次选择若干特征,或者排除若干特征。
  • Embedded:嵌入法,先使用某些机器学习的算法和模型进行训练,得到各个特征的权值系数,根据系数从大到小选择特征。类似于Filter方法,但是是通过训练来确定特征的优劣。

Filter

方差选择法

使用方差选择法,先要计算各个特征的方差,然后根据阈值,选择方差大于阈值的特征。

相关系数法

使用相关系数法,先要计算各个特征对目标值的相关系数以及相关系数的P值。

  • 选择K个最好的特征,返回选择特征后的数据
  • 第一个参数为计算评估特征是否好的函数,该函数输入特征矩阵和目标向量,输出二元组(评分,P值)的数组,数组第i项为第i个特征的评分和P值。在此定义为计算相关系数
  • 参数k为选择的特征个数

卡方检验

  经典的卡方检验是检验定性自变量对定性因变量的相关性。假设自变量有N种取值,因变量有M种取值,考虑自变量等于i且因变量等于j的样本频数的观察值与期望的差距,构建统计量:

\chi ^2=\sum{\frac{{(A-E)}^2}{E}}

这个统计量的含义简而言之就是自变量对因变量的相关性。

互信息法

经典的互信息也是评价定性自变量对定性因变量的相关性的,互信息计算公式如下:

I(X;Y)=\sum_{x\in X}\sum_{y\in Y}{p(x,y)log\frac{p(x,y)}{p(x)p(y)}}

为了处理定量数据,提出了最大信息系数法。

Wrapper

递归特征消除法

递归消除特征法使用一个基模型来进行多轮训练,每轮训练后,消除若干权值系数的特征,再基于新的特征集进行下一轮训练。

Embedded

基于惩罚项的特征选择法

使用带惩罚项的基模型,除了筛选出特征外,同时也进行了降维。可以使用如下惩罚项:

L1惩罚项降维的原理在于保留多个对目标值具有同等相关性的特征中的一个,所以没选到的特征不代表不重要。故,可结合L2惩罚项来优化。具体操作为:若一个特征在L1中的权值为1,选择在L2中权值差别不大且在L1中权值为0的特征构成同类集合,将这一集合中的特征平分L1中的权值,故需要构建一个新的逻辑回归模型。

基于树模型的特征选择法

树模型中GBDT也可用来作为基模型进行特征选择。

降维

当特征选择完成后,可以直接训练模型了,但是可能由于特征矩阵过大,导致计算量大,训练时间长的问题,因此降低特征矩阵维度也是必不可少的。

常见的降维方法除了以上提到的基于L1惩罚项的模型以外,另外还有主成分分析法(PCA)和线性判别分析(LDA),线性判别分析本身也是一个分类模型。PCALDA有很多的相似点,其本质是要将原始的样本映射到维度更低的样本空间中,但是PCALDA的映射目标不一样:PCA是为了让映射后的样本具有最大的发散性;而LDA是为了让映射后的样本有最好的分类性能。所以说PCA是一种无监督的降维方法,而LDA是一种有监督的降维方法。

总结

本篇博客主要简要介绍了什么是特征工程、数据预处理方法、特征选择、降维方法等四大部分,主要对其中的一些概念和一些方法有一个简单的列举,下周会对其中的一些方法进行详细的介绍及实现。

参考资料

打赏
微信扫一扫支付
微信logo微信扫一扫, 打赏作者吧~

mickey

记录生活,写给几十年后的自己。