本文旨在解决从数据库读取大量数据时遇到的jvm堆内存溢出问题。通过分析问题代码，我们将提供一种使用分页查询（LIMIT和OFFSET）的解决方案，以及相应的代码示例和注意事项，帮助开发者避免一次性加载大量数据，从而有效控制内存使用，提升系统稳定性。
在微服务架构中，处理大量数据迁移或归档任务时，一次性加载百万级甚至更多的数据记录很容易导致JVM堆内存溢出（Resource Exhaustion Event: the JVM was unable to allocate memory from the heap）。直接增加应用内存虽然可以暂时解决问题，但并非长久之计。更优的方案是采用分页查询，分批次处理数据，从而降低单次操作的内存消耗。
分页查询：LIMIT 和 OFFSET 的妙用
核心思想是将原本一次性读取所有数据的操作，分解为多次小批量读取。在sql查询中，LIMIT 用于限制返回的记录数量，OFFSET 用于指定从哪条记录开始返回。
以下是一个简化的SQL示例：
SELECT * FROM your_table WHERE your_condition ORDER BY your_order_column LIMIT batch_size OFFSET offset_value;
- your_table: 你要查询的表名。
- your_condition: 查询条件，例如 update_dts
- your_order_column: 用于排序的列，确保每次获取的数据都是连续的，避免重复读取。推荐使用自增主键ID，或者能确保数据顺序的列。
- batch_size: 每次读取的记录数，例如 1000。
- offset_value: 偏移量，表示从第几条记录开始读取。
Java代码实现分页读取
结合上述SQL，我们可以将原有的archiveTableRecords方法进行改造，实现分页读取：
@Value("${batch-size}") private int batchSize; public void archiveTableRecords(JdbcTemplate sourceDbTemplate, JdbcTemplate targetDbTemplate, ArchiveConfigDTO archiveObj) { try { String sourceTable = archiveObj.getSourceTable(); String archive_months = archiveObj.getArchiveCriteriaMonths(); String comparedate1 = getCSTDateNew(archive_months); String primaryKeyColumn = archiveObj.getPrimaryKeyColumn(); logger.info("Archive criteria date: {}", compareDate1); int offset = 0; List<Map<String, Object>> sourceRecords; do { // 构建分页查询SQL String sql = buildSQLQueryToFetchSourceRecords(sourceTable, compareDate1, batchSize, offset, primaryKeyColumn); sourceRecords = sourceDbTemplate.queryForList(sql); int sourceRecordsSize = sourceRecords.size(); logger.info("Fetched {} {} record(s) from offset {}", sourceRecordsSize, sourceTable, offset); if (sourceRecordsSize > 0) { List<Object> primaryKeyValueList = new ArrayList<>(); int recordsInserted = copySourceRecords(targetDbTemplate, archiveObj.getTargetTable(), primaryKeyColumn, sourceRecords, primaryKeyValueList); if (recordsInserted > 0) { deleteSourceRecords(sourceDbTemplate, sourceTable, primaryKeyColumn, primaryKeyValueList); } offset += sourceRecordsSize; // 更新偏移量 } } while (!sourceRecords.isEmpty()); // 当没有更多数据时结束循环 } catch (Exception e) { logger.error("Exception in archiveTableRecords: {} {}", e.getMessage(), e); } } public String buildSQLQueryToFetchSourceRecords(String sourceTable, String compareDate, int batchSize, int offset, String primaryKeyColumn) { StringBuilder sb = new StringBuilder("SELECT * FROM " + sourceTable + " where update_dts <= ? ORDER BY " + primaryKeyColumn + " LIMIT " + batchSize + " OFFSET " + offset); return sb.toString(); }
代码解释：
- batchSize: 通过@Value注解从配置文件中读取每次读取的记录数。建议根据实际情况调整。
- offset: 记录当前已经读取的记录数，用于计算下一次读取的偏移量。
- do…while 循环: 循环读取数据，直到没有更多数据为止。
- buildSQLQueryToFetchSourceRecords: 构建带分页参数的SQL查询语句。
- offset += sourceRecordsSize: 在每次成功读取一批数据后，更新偏移量。
注意事项
- ORDER BY 子句: 务必包含ORDER BY子句，并选择合适的排序列，例如自增主键，确保每次读取的数据都是连续的，避免重复读取或遗漏数据。
- batchSize 调整: batchSize 的大小会影响内存使用和性能。如果内存仍然溢出，可以减小 batchSize。如果性能较差，可以适当增加 batchSize。
- 事务控制: 如果需要保证数据一致性，请确保将整个分页处理过程放在一个事务中。
- 异常处理: 在循环中处理异常，例如数据插入失败等，避免整个流程中断。
总结
通过使用分页查询，我们可以有效地避免一次性加载大量数据导致的JVM堆内存溢出问题。这种方法不仅降低了内存消耗，还提高了系统的稳定性和可扩展性。在实际应用中，请根据数据量和系统资源合理调整batchSize，并结合事务控制和异常处理，确保数据迁移或归档的正确性和完整性。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
THE END
