mysql高效批量数据导入的核心是使用load data infile命令并配合优化策略，1. 使用load data infile直接读取文件绕过sql解析器，大幅提升导入速度；2. 导入前执行alter table your_table disable keys禁用索引，导入后执行enable keys重建索引以减少写入开销；3. 调整innodb_buffer_pool_size至系统内存的50%-80%（如set global innodb_buffer_pool_size = 8g）以提升缓存效率；4. 采用批量事务提交（如start transaction后执行load data infile再commit）减少事务开销；5. 确保数据文件格式与表结构一致，避免类型转换；6. 将大文件拆分为多个小文件并使用多客户端并行导入以充分利用系统资源；7. 根据需要调整max_allowed_packet参数（如set global max_allowed_packet = 128m）以支持大字段；8. 根据场景选择myisam（导入快但无事务）或innodb（支持事务）存储引擎；9. 使用ignore或replace选项处理错误（如ignore 10 errors跳过前10个错误）；10. 通过show processlist监控导入线程状态、在客户端实现进度条或记录日志来跟踪导入进度；11. 可结合pt-online-schema-change工具创建影子表导入数据，再原子切换表名，避免锁表影响线上服务，整个过程通过绕过sql解析、减少i/o和事务开销，最终实现高效批量数据导入。
mysql高效批量数据导入，核心在于利用
LOAD DATA INFILE
命令，配合合理的优化策略，可以显著提升导入速度。
解决方案
使用
LOAD DATA INFILE
是MySQL中最高效的数据导入方式。它绕过了MySQL的SQL解析器，直接读取文件内容并写入数据库，大大减少了开销。
LOAD DATA INFILE '/path/to/your/data.csv' INTO TABLE your_table FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY 'n' IGNORE 1 ROWS; -- 如果有标题行
这个命令告诉MySQL从指定的文件路径读取数据，并将其插入到
your_table
表中。
FIELDS TERMINATED BY
定义了字段之间的分隔符，
ENCLOSED BY
定义了字段的包围符，
LINES TERMINATED BY
定义了行结束符。
IGNORE 1 ROWS
用于跳过文件中的标题行。
除了基本的命令之外，还有一些优化技巧可以进一步提升导入速度：
-
禁用索引： 在导入数据之前，禁用目标表上的所有索引。这可以避免在每次插入数据时都更新索引，从而提高导入速度。导入完成后，再重新启用索引。
ALTER TABLE your_table DISABLE KEYS; -- 导入数据 LOAD DATA INFILE ... ALTER TABLE your_table ENABLE KEYS;
-
调整
innodb_buffer_pool_size
：
innodb_buffer_pool_size
是InnoDB存储引擎用于缓存数据和索引的内存区域。增加这个值可以减少磁盘I/O，提高导入速度。但是，不要设置得过大，以免耗尽系统内存。通常建议设置为系统可用内存的50%-80%。
SET GLOBAL innodb_buffer_pool_size = 8G; -- 假设你有8GB可用内存
-
批量提交事务： 默认情况下，MySQL会为每个插入操作创建一个事务。这会增加额外的开销。可以通过批量提交事务来减少开销。例如，每导入1000行数据提交一次事务。
START TRANSACTION; LOAD DATA INFILE ... COMMIT;
-
优化数据文件格式： 确保数据文件格式与目标表的结构匹配。避免不必要的数据转换，可以减少导入时间。例如，如果目标表中的字段是整数类型，确保数据文件中的相应字段也是整数类型。
-
使用并行导入： 如果数据文件很大，可以将其分割成多个小文件，并使用多个客户端并行导入。这可以充分利用服务器的CPU和I/O资源，提高导入速度。
-
调整
max_allowed_packet
： 如果数据文件中包含很大的字段，可能需要调整
max_allowed_packet
参数。这个参数定义了MySQL服务器可以接收的最大数据包大小。
SET GLOBAL max_allowed_packet = 128M;
-
选择合适的存储引擎： InnoDB是MySQL中最常用的存储引擎，但对于某些场景，MyISAM可能更适合。MyISAM在导入大量数据时通常比InnoDB更快，因为它不需要维护事务日志。但是，MyISAM不支持事务和行级锁定，因此需要根据实际需求进行选择。
LOAD DATA INFILE
比
INSERT
语句更快？
LOAD DATA INFILE
绕过了SQL解析器，直接将文件内容写入数据库，减少了SQL解析和优化带来的开销。而
INSERT
语句需要经过SQL解析器，进行语法检查、权限验证、查询优化等步骤，这些步骤都会增加额外的开销。此外，
LOAD DATA INFILE
可以批量插入数据，减少了与数据库服务器的交互次数，进一步提高了效率。
如何处理导入过程中遇到的错误？
在导入数据时，可能会遇到各种错误，例如数据类型不匹配、字段长度超出限制、违反唯一约束等。为了处理这些错误，可以在
LOAD DATA INFILE
命令中使用
IGNORE
或
REPLACE
选项。
-
IGNORE
: 忽略错误行，继续导入其他数据。
-
REPLACE
: 如果遇到唯一约束冲突，则替换现有行。
LOAD DATA INFILE '/path/to/your/data.csv' INTO TABLE your_table FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY 'n' IGNORE 1 ROWS IGNORE 10 ERRORS; -- 忽略前10个错误
此外，还可以通过查看MySQL的错误日志来了解错误的详细信息。
如何监控批量数据导入的进度？
监控批量数据导入的进度可以帮助你了解导入的剩余时间，并及时发现潜在的问题。可以使用以下方法监控导入进度：
-
使用
SHOW PROCESSLIST
命令：
SHOW PROCESSLIST
命令可以显示当前MySQL服务器上正在运行的所有线程。通过查看
LOAD DATA INFILE
线程的状态，可以了解导入的进度。
-
自定义进度条： 可以在客户端程序中实现一个进度条，根据已导入的数据量和总数据量计算进度百分比。
-
记录导入日志： 可以在导入过程中记录日志，记录已导入的数据量和时间戳。通过分析日志，可以了解导入的进度。
-
利用pt-online-schema-change工具: Percona Toolkit中的pt-online-schema-change工具，虽然主要用于在线DDL变更，但也可以巧妙地用于初始数据导入。它可以创建一个影子表，导入数据到影子表，然后通过rename的方式快速切换，避免长时间锁表。
pt-online-schema-change --source D=your_database,t=your_table --alter "ENGINE=InnoDB" --new-table-name your_table_shadow --execute --print --statistics
(需要在导入数据前执行，将原表结构复制到影子表，然后使用
LOAD DATA INFILE
导入数据到
your_table_shadow
，最后执行pt-online-schema-change的切换步骤)
