数据清洗和特征工程的关系是什么?有什么区别?
数据清洗是独立于特征工程的:一方面,数据清洗不仅适用于机器学习项目,也适用于一般的数据统计分析过程,而特征工程仅适用于机器学习项目;另一方面,针对机器学习项目,数据清洗不仅适用于特征变量,也适用于响应变量,而特征工程仅适用于特征变量。
一般的数据统计分析过程不会涉及机器学习,因此就不会涉及特征工程,但是会涉及数据清洗。比如某银行分析其个人客户持有的产品数量分布情况,某公司分析其电商平台客户的年度交易次数等,其中很可能涉及处理数据缺失值、重复值和异常值等数据清洗过程。
机器学习项目既涉及数据清洗,也涉及特征工程。比如上述某银行分析其个人客户持有的产品数量分布情况对客户黏性(流失率)的影响,某公司分析其电商平台客户的年度交易次数对客户是否愿意转推介(推荐他人购买)的影响等,同样涉及处理数据缺失值、重复值和异常值等数据清洗过程,但除此之外,可能还涉及特征选择、特征处理、特征提取等特征工程内容。
有一种观点认为:数据清洗是特征工程的一个组成部分,特征工程涵盖数据清洗在内的特征预处理环节。该观点其实是从机器学习操作层面进行的概念界定,该观点所指的数据清洗实质上是狭义的“对机器学习特征变量的数据清洗”,而非通用意义上的数据清洗。