mongodb数据导入导出需根据场景选择合适工具和策略。1. 导出数据常用mongodump，适合bson格式备份，但大数据量时应指定集合、使用查询条件或并行分块导出以提升效率；2. 需要跨系统传输时可用mongoexport导出json/csv格式，注意可能丢失特定数据类型；3. 导入数据使用mongorestore恢复bson文件，或用mongoimport导入json/csv；4. 使用–numinsertionworkers参数可加速导入；5. 处理大数据导入时可分批操作、调整write concern或使用bulk write api；6. 跨版本迁移建议使用兼容版本的工具，否则可通过升级源数据库、中间版本过渡或逻辑迁移实现。合理选择方法能高效安全完成数据迁移任务。
mongodb的数据导入导出，说白了就是数据的备份和恢复，或者说是数据迁移。你可能会想，这有什么难的？但实际上，在不同的场景下，你会发现这其中有很多门道。简单粗暴的mongodump和mongorestore，虽然方便，但遇到大数据量或者需要精细化控制时，就显得力不从心了。
MongoDB数据导入导出方法，不仅仅是备份恢复，更是数据迁移的必备技巧。
如何高效导出MongoDB数据？
导出数据，最常用的命令当然是mongodump。它能把整个数据库，或者指定的集合导出成BSON格式的文件。但问题来了，如果你的数据库非常大，比如几百GB甚至几TB，直接mongodump可能会耗费大量时间，甚至导致数据库性能下降。
这个时候，可以考虑以下几个优化策略：
-
指定集合导出: 如果只需要导出部分数据，使用-c或–Collection参数指定集合，避免导出整个数据库。例如：
mongodump -d your_database -c your_collection -o /path/to/output
-
使用查询条件导出: 通过-q或–query参数，可以根据条件筛选数据导出。这在只需要导出特定时间段内的数据，或者符合特定条件的数据时非常有用。例如：
mongodump -d your_database -c your_collection -q '{"date": {"$gte": ISODate("2023-01-01T00:00:00Z"), "$lt": ISODate("2023-01-08T00:00:00Z")}}' -o /path/to/output -
并行导出: 虽然mongodump本身不支持并行导出，但你可以通过脚本，将数据按照某种规则（例如ObjectId的范围）分割成多个小块，然后并行运行多个mongodump命令。这需要一些脚本技巧，但可以显著提高导出速度。
-
使用mongoexport导出为JSON或CSV: 如果你需要将数据导入到其他系统，或者进行进一步的分析，将数据导出为JSON或CSV格式可能更方便。mongoexport命令可以实现这个功能。例如：
mongoexport -d your_database -c your_collection -o /path/to/output.json --jsonArray
或者导出为CSV：
mongoexport -d your_database -c your_collection -o /path/to/output.csv --type csv --fields field1,field2,field3
注意，导出为JSON或CSV格式可能会丢失一些MongoDB特有的数据类型，比如ObjectId。
如何高效导入MongoDB数据？
有了导出的数据，接下来就是导入。mongorestore是mongodump的配套工具，用于导入mongodump导出的BSON格式数据。mongoimport则用于导入JSON或CSV格式的数据。
-
mongorestore导入:
mongorestore -d your_database /path/to/dump
如果你的dump文件包含多个数据库，mongorestore会自动创建这些数据库。
-
mongoimport导入:
mongoimport -d your_database -c your_collection --file /path/to/data.json --jsonArray
或者导入CSV：
mongoimport -d your_database -c your_collection --file /path/to/data.csv --type csv --headerline
–headerline参数表示csv文件的第一行是字段名。
-
使用–numInsertionWorkers参数加速导入: mongorestore和mongoimport都支持–numInsertionWorkers参数，用于指定并行导入的线程数。适当增加线程数可以提高导入速度。
mongorestore -d your_database --numInsertionWorkers 4 /path/to/dump
注意，线程数并非越多越好，需要根据服务器的CPU和IO情况进行调整。
-
处理大数据量导入: 大数据量导入时，可能会遇到内存不足或者网络超时等问题。可以考虑以下策略：
- 分批导入: 将数据分割成多个小文件，然后分批导入。
- 调整MongoDB的Write Concern: 降低Write Concern可以提高写入速度，但会牺牲数据一致性。需要根据实际情况进行权衡。
- 使用MongoDB的Bulk Write API: 在程序中，可以使用Bulk Write API批量写入数据，这比单条写入效率更高。
如何在不同版本的MongoDB之间迁移数据？
不同版本的MongoDB之间迁移数据，可能会遇到兼容性问题。一般来说，建议使用与目标版本兼容的mongodump和mongorestore工具。
如果版本差异较大，可以考虑以下方案：
- 升级源数据库: 如果条件允许，先将源数据库升级到与目标数据库兼容的版本，然后再进行数据迁移。
- 使用中间版本过渡: 如果无法直接升级到目标版本，可以先升级到一个中间版本，然后再升级到目标版本。
- 逻辑迁移: 编写程序，从源数据库读取数据，然后按照目标数据库的格式写入数据。这种方式比较灵活，但需要编写大量的代码。
总的来说，MongoDB的数据导入导出和迁移是一个涉及多个方面的复杂问题。你需要根据实际情况选择合适的工具和策略，才能高效、安全地完成任务。
