使用 sxssf 模式可解决 Java 导出大数据量 excel 的内存问题,1. 采用 sxssf 模式,通过控制内存行数避免 oom;2. 结合数据库分页查询和流式写入,按固定页大小读取并写入数据;3. 优化压缩与格式,减少样式设置、合并单元格、禁用自动列宽调整以提升性能和减小文件体积。
在处理大数据量导出时,尤其是通过 Java 向 Excel 导出几十万甚至上百万条数据,性能问题常常成为瓶颈。直接使用传统的 apache POI 一次性写入方式很容易导致内存溢出(OOM)或导出速度极慢。因此,优化导出逻辑、选择合适的工具和策略非常关键。
使用 SXSSF 模式处理大数据量
Apache POI 提供了 SXSSF(Streaming Usermodel API)模式,专门用于处理大数据量导出。它通过只在内存中保留一定数量的行,其余行写入临时文件,从而避免内存溢出。
- 使用 SXSSF 时,可以通过构造函数指定内存中保留的行数(默认是100)
- 每次写入新行时,超出保留行数的行会被自动刷新到磁盘
- 导出完成后记得调用 dispose() 方法清理临时文件
示例代码片段:
立即学习“Java免费学习笔记(深入)”;
try (SXSSFWorkbook workbook = new SXSSFWorkbook(100)) { Sheet sheet = workbook.createSheet("Data"); for (int i = 0; i < 1_000_000; i++) { Row row = sheet.createRow(i); row.createCell(0).setCellValue("Row " + i); } try (FileOutputStream fos = new FileOutputStream("output.xlsx")) { workbook.write(fos); } }
注意:SXSSF 只支持 .xlsx 格式,不支持 .xls。
分页查询 + 流式写入
如果数据量非常大(比如百万级以上),建议结合数据库分页查询和流式写入方式:
- 按照固定页大小(如每页5000条)从数据库分页读取
- 每读取一页就写入 Excel,并及时释放内存
- 避免一次性加载全部数据到内存中
常见做法:
压缩与格式优化
导出的 Excel 文件体积过大也是常见问题。可以通过以下方式优化输出文件大小和性能:
- 减少不必要的样式设置,避免每个单元格都创建新样式
- 合并相同内容的单元格(如固定列)
- 禁用自动列宽调整(非常耗性能)
- 导出前启用压缩(POI 默认已经启用 ZIP 压缩)
如果你发现导出的 Excel 文件体积异常大,可以尝试用文本编辑器打开 .xlsx 文件(其实是一个 ZIP 包),看看内部 xml 文件是否重复数据过多。
基本上就这些。优化 Java 导出 Excel 的性能,关键在于控制内存使用、合理分页读取数据,以及减少不必要的格式操作。这些方法在实际项目中都比较常见,只要注意细节,就能有效提升导出效率。