mysql通过DISTINCT和GROUP BY实现去重，DISTINCT用于查询唯一值，如select DISTINCT city FROM user_info；GROUP BY可结合聚合函数统计，如SELECT city, count(*) FROM user_info GROUP BY city；删除重复行可用自连接或窗口函数保留最小ID记录，建议建立索引优化性能。

MySQL中没有专门的“去重函数”，但可以通过多种方式实现数据去重，主要依赖于 DISTINCT 关键字和 GROUP BY 子句。下面详细介绍它们的使用方法。

DISTINCT 去重用法

DISTINCT 用于查询时去除重复的记录，只返回唯一值。

基本语法：

SELECT DISTINCT 列名 FROM 表名;

例如，有一个用户表 user_info，其中 city 字段有重复值：

SELECT DISTINCT city FROM user_info;

这将返回所有不重复的城市名称。

如果需要对多个字段联合去重：

SELECT DISTINCT city, age FROM user_info;

表示 city 和 age 的组合值不重复。

GROUP BY 实现去重

GROUP BY 通常用于分组统计，但也常用来去重，尤其在需要结合聚合函数（如 COUNT、MAX）时更灵活。

基本语法：

SELECT 列名 FROM 表名 GROUP BY 列名;

例如：

SELECT city FROM user_info GROUP BY city;

效果与 DISTINCT 类似，但 GROUP BY 支持更多操作，比如统计每个城市的人数：

降重鸟

要想效果好，就用降重鸟。ai改写智能降低AIGC率和重复率。

113

查看详情

SELECT city, COUNT(*) as count FROM user_info GROUP BY city;

去重并保留一条完整记录（如去重重复行）

当整行数据存在重复，想删除重复只留一条时，可通过自连接或子查询配合主键处理。

例如，删除 user_info 中 email 重复的记录，仅保留每组 email 中 id 最小的一条：

DELETE t1 FROM user_info t1, user_info t2 WHERE t1.id > t2.id AND t1.email = t2.email;

这是基于自连接的方式删除重复项。

或者使用窗口函数（MySQL 8.0+）：

delete FROM user_info WHERE id NOT IN (SELECT min_id FROM (SELECT MIN(id) AS min_id FROM user_info GROUP BY email) AS tmp);

注意事项

DISTINCT 会对所有选中的字段进行唯一性判断，字段越多，去重粒度越细。

DISTINCT 不会处理 NULL 值的逻辑差异，多个 NULL 在去重后视为相同。

在大数据量下，DISTINCT 和 GROUP BY 都可能影响性能，建议在相关字段上建立索引。

如果只是查看去重结果，用 DISTINCT 更简洁；如果需要统计或复杂条件，推荐 GROUP BY。

基本上就这些，根据实际需求选择合适的方式即可。