在机器学习项目中，特征工程是提升模型性能的关键，而sklearn库提供了完整的预处理工具。1. 首先使用pandas加载数据并检查缺失值与数据类型，缺失严重则删除列，少量缺失则填充均值、中位数或标记为“missing”。2. 使用labelencoder或onehotencoder对类别变量进行编码，前者适用于有序类别，后者适用于无序类别，避免手动替换导致错误。3. 对数值特征应用standardscaler或minmaxscaler进行标准化或归一化，注意训练集用fit_transform，测试集仅transform。4. 利用columntransformer结合pipeline构建预处理流程，统一处理不同类型的特征，提高代码可复用性与效率。
在做机器学习项目时，特征工程往往是决定模型性能的关键一环。而用python做特征预处理，最常用的就是sklearn这个库了。它提供了很多实用的工具，能帮你把原始数据变得更适合模型训练。
下面我来一步步讲讲怎么用sklearn完成一个完整的特征预处理流程，包括缺失值处理、标准化、编码类别变量等常见步骤。
1. 数据加载与初步检查
不管你用的是csv文件还是数据库，第一步肯定是把数据读进来。一般会用pandas来做这一步：
立即学习“Python免费学习笔记（深入）”；
import pandas as pd df = pd.read_csv('data.csv')
然后要看看有没有缺失值，哪些是数值型，哪些是类别型。可以用df.info()和df.isnull().sum()快速查看。
建议：
- 如果某一列缺失太多（比如超过50%），可以考虑直接删掉。
- 少量缺失的话，数值型可以用均值/中位数填充，类别型可以用众数或者加个“Missing”标记。
2. 编码类别变量：LabelEncoder 与 OneHotEncoder
机器学习模型不能直接处理字符串，所以类别变量需要转换成数字。
- LabelEncoder：适合有序类别，比如“小、中、大”，可以映射成0、1、2。
- OneHotEncoder：适合无序类别，比如“红、绿、蓝”，会变成三个二进制列。
举个例子，假设你有个”Color”列，包含’red‘、’blue’、’green’：
from sklearn.preprocessing import OneHotEncoder encoder = OneHotEncoder() encoded = encoder.fit_transform(df[['Color']])
这样就会生成三列，每一列代表一种颜色是否存在。
注意点：
- 不要手动写循环去替换类别值，容易出错。
- 如果类别特别多，可以考虑用频率编码或目标编码来降维。
3. 处理数值特征：标准化与归一化
很多模型（比如线性回归、KNN）对数值范围敏感，所以要做标准化或归一化。
- StandardScaler：减去均值再除以标准差，适合分布接近正态的数据。
- MinMaxScaler：把数据缩放到[0,1]区间，适合有明显上下限的数据。
from sklearn.preprocessing import StandardScaler scaler = StandardScaler() scaled = scaler.fit_transform(df[['Age', 'Income']])
小细节：
- 一定要先fit_transform训练集，测试集只transform。
- 对于偏态分布的数据，可以先做对数变换再标准化。
4. 管道化处理：使用ColumnTransformer组合不同操作
如果你既有类别型又有数值型变量，一个个处理太麻烦。可以用ColumnTransformer统一处理：
from sklearn.compose import ColumnTransformer from sklearn.pipeline import Pipeline numeric_features = ['Age', 'Income'] categorical_features = ['Color'] numeric_transformer = StandardScaler() categorical_transformer = OneHotEncoder(handle_unknown='ignore') preprocessor = ColumnTransformer( transformers=[ ('num', numeric_transformer, numeric_features), ('cat', categorical_transformer, categorical_features) ]) pipeline = Pipeline(steps=[('preprocessor', preprocessor)])
这样整个预处理过程就可以封装起来，后续调用只需要一行：
X_processed = pipeline.fit_transform(X_train)
基本上就这些。整个流程看起来有点长，但其实每一步都很清晰。只要搞清楚每种方法适用的场景，组合起来就能应对大多数预处理任务了。
