原文参考stackoverflow的回答,原文解释很清楚,英文好的同学可以前往自行阅读:
在机器学习建模前,一般要对数据进行归一化、独热编码、填充缺失值(sklearn.impute.SimpleImputer)等操作。设置预处理操作后,一般要使用fit_transform()方法对数据进行处理,在查看官方文档时,发现有fit、fit_transform和transform,下面介绍一下三者的区别:
再开始之前,先陈述一个机器学习预处理的流程:如果想要对某一列数据做一些归一化处理,需要先计算出这列数据的均值、最大值、最小值等统计数据。然后对每个数据分别进行归一化处理。所以归一化处理分为两步:获取归一化参数、归一化处理。
- fit(): 从原数据获取归一化、缺失值填充等功能所需的必要参数。换句话说:我想使用某一列的均值填充该列的缺失值,那么缺失值是多少呢?就要通过fit方法计算出来。
- transform():根据fit方法获得的预处理必要参数,对数据进行处理。所以transform经常和fit一起使用。
- fit_transform():理解了上面两个方法,fit_transform的功能就很清楚了。就是先获取预处理数据需要的必要参数,再对数据进行预处理。
需要注意的是:一般对训练集做fit+transform处理,对测试集仅作transform处理。
有人会问:为什么不同样对测试集做fit+transform处理?因为测试集的特征分布是未知的,为了保证模型的良好性能,应当使用训练集的预处理参数对测试集做预处理。