sql批量 数据清洗 需先明确目标、识别问题模式、设计可复用规则，并确保可验证可回滚；须用 select 探查分布、WHERE 限定范围、事务保障安全、模块化 SQL 片段，并严格执行验证、记录、归档三步骤。
SQL 批量 数据清洗 不是写一条 UPdate就完事，关键在于理解“批量”的逻辑和清洗的边界——它要求你明确清洗目标、识别数据问题模式、设计可复用的转换规则，并保证过程可验证、可回滚。
明确清洗目标：先问“脏在哪”，再想“怎么洗”
批量清洗不是盲目操作。必须先定位典型问题类型，比如：
- 空值或占位符混用（NULL / ” / ‘N/A’ / -999）
- 格式不统一（日期存成 字符串 如 ’20230101’ 或 ’01/01/2023’）
- 业务逻辑冲突（订单金额为负、状态值超出枚举范围）
- 重复记录（主键缺失或唯一约束未生效导致的逻辑重复）
建议用 SELECT+GROUP BY+count组合快速探查分布，例如：SELECT status, COUNT(*) FROM orders GROUP BY status; —— 这比直接 UPDATE 更省时间，也更安全。
用标准化语句结构控制批量范围
避免全表 UPDATE，始终显式限定 WHERE 条件。哪怕要更新全部，也建议先加伪条件测试：
- 先写：UPDATE users SET phone = TRIM(REPLACE(phone, ‘-‘, ”)) WHERE phone LIKE ‘%-%’ LIMIT 10;
- 确认结果正确后，再删掉 LIMIT，补上完整条件：WHERE phone IS NOT NULL AND phone != ”
- 生产环境强烈建议套在事务里：BEGIN; UPDATE … ; SELECT ROW_COUNT(); ROLLBACK; — 验证无误再 COMMIT
把清洗逻辑沉淀为可复用的 SQL 片段
别让每条清洗语句都从头写。常见操作可以模块化：
- 标准化手机号：TRIM(BOTH FROM REGEXP_REPLACE(phone, ‘[^0-9]’, ”, ‘g’))
- 安全转日期（兼容多种格式）：COALESCE(TRY_CAST(dt AS DATE), TRY_CAST(CONCAT(’20’, SUBSTR(dt, -2)),’-‘,SUBSTR(dt, 1, 2),’-‘,SUBSTR(dt, 4, 2)) AS DATE))
- 状态映射（用 CASE 避免硬 编码）：CASE status WHEN ‘1’ THEN ‘active’ WHEN ‘0’ THEN ‘inactive’ ELSE ‘unknown’ END
这些片段可存在笔记或 SQL 模板库中，下次遇到同类字段直接调用，减少出错概率。
清洗后必须做三件事：验证、记录、归档
清洗不是终点，而是数据可信度重建的起点：
- 验证：对比清洗前后行数、关键字段分布（如 status 频次）、业务指标（如有效订单占比）
- 记录：保存执行 SQL、执行时间、影响行数、负责人——哪怕只是注释在脚本开头
- 归档：原始脏数据快照（建临时表或导出csv），至少保留 7 天，方便追溯和回滚
基本上就这些。不复杂但容易忽略——真正卡住人的，往往不是语法，而是清洗前没想清“到底要解决什么问题”。
