sql执行日志记录的关键在于结合数据库原生日志和应用层记录，以实现全面监控与定制化需求。启用数据库自带的慢查询日志、审计功能（如mysql的slow_query_log、sql server audit、postgresql的log_statement）可记录sql语句、执行时间等信息，优点是记录全面且性能影响小，但配置复杂；在应用层使用aop或拦截器（如mybatis interceptor）可灵活记录关键业务逻辑相关的sql，但需修改代码并可能影响性能；使用数据库代理（如proxysql）可透明拦截sql流量，无需改代码但增加系统复杂性。日志级别选择上，debug适用于开发环境，info用于生产监控，warn记录慢sql，Error记录失败语句；敏感数据应通过脱敏处理保护隐私；日志存储可采用文件、数据库或elk stack进行高效分析；配合prometheus、grafana等工具对sql执行次数、时间、失败率等指标进行实时监控，有助于及时发现问题并优化性能。
执行日志记录，关键在于捕获sql语句的执行情况，包括执行时间、影响行数、执行状态等，以便于问题排查、性能优化和安全审计。
解决方案
SQL执行日志记录的核心在于利用数据库提供的日志功能，以及在应用层进行辅助记录。
-
数据库原生日志： 启用数据库自身的日志功能是最基础的方式。例如，mysql的慢查询日志可以记录执行时间超过设定阈值的SQL语句；SQL Server的审计功能可以记录各种数据库操作。这些日志通常包含SQL语句、执行时间、客户端信息等。
- MySQL: 启用slow_query_log和设置long_query_time。
- SQL Server: 使用SQL Server Audit。
- PostgreSQL: 配置log_statement和log_min_duration_statement。
数据库原生日志的优点是记录全面、性能影响较小，缺点是配置复杂、不易定制。
-
应用层拦截与记录： 在应用层，可以通过AOP（面向切面编程）或者拦截器的方式，在SQL执行前后记录相关信息。这种方式的优点是灵活性高，可以自定义记录内容和格式，缺点是需要修改应用程序代码，并且可能对性能产生一定影响。
例如，在Java应用中，可以使用MyBatis的拦截器（Interceptor）来记录SQL语句和执行时间。
@Intercepts({@Signature( type= Executor.class, method = "update", args = {MappedStatement.class,Object.class})}) public class SQLLogInterceptor implements Interceptor { @Override public Object intercept(Invocation invocation) throws Throwable { MappedStatement mappedStatement = (MappedStatement) invocation.getArgs()[0]; Object parameter = invocation.getArgs()[1]; String sqlId = mappedStatement.getId(); BoundSql boundSql = mappedStatement.getBoundSql(parameter); Configuration configuration = mappedStatement.getConfiguration(); String sql = getSql(configuration, boundSql, sqlId); long start = System.currentTimeMillis(); Object result = invocation.proceed(); long end = System.currentTimeMillis(); System.out.println("SQL: " + sql); System.out.println("Time: " + (end - start) + "ms"); return result; } // ... (getSql method implementation) } -
数据库代理层： 使用数据库代理（例如ProxySQL）可以拦截所有SQL流量，并记录执行日志。这种方式的优点是对应用程序透明，无需修改代码，缺点是引入了额外的组件，增加了系统的复杂性。
-
结合使用： 最佳实践通常是结合使用数据库原生日志和应用层记录。数据库原生日志用于记录所有SQL语句，应用层记录用于记录关键业务逻辑相关的SQL语句。
如何选择合适的日志记录级别？
日志级别（例如DEBUG, INFO, WARN, ERROR）的选择直接影响日志的详细程度和数量。选择合适的日志级别需要权衡信息量和性能开销。
- DEBUG: 记录所有SQL语句和相关信息，适用于开发和调试环境。
- INFO: 记录关键业务逻辑相关的SQL语句，适用于生产环境，用于监控和审计。
- WARN: 记录执行时间超过阈值的SQL语句，用于性能优化。
- ERROR: 记录执行失败的SQL语句，用于错误排查。
在生产环境中，通常选择INFO或WARN级别，避免产生过多的日志数据。
如何处理敏感数据？
SQL语句中可能包含敏感数据，例如用户密码、身份证号码等。在记录日志时，需要对这些敏感数据进行脱敏处理，例如使用哈希算法进行加密，或者使用星号（*）进行替换。
String sql = boundSql.getSql().replaceAll("(?i)(password)s*=s*'([^']*)'", "password = '******'");
如何存储和分析日志？
日志数据量通常很大，需要选择合适的存储和分析方案。
- 文件存储： 将日志数据存储在文件中，可以使用Logrotate等工具进行切割和归档。
- 数据库存储： 将日志数据存储在数据库中，可以使用SQL语句进行查询和分析。
- ELK Stack： 使用elasticsearch、Logstash和Kibana（ELK Stack）进行日志收集、存储和分析。
选择合适的存储和分析方案需要根据实际情况进行评估。ELK Stack 适合大规模日志数据的处理和分析。
如何监控日志？
监控日志可以及时发现问题，例如SQL执行失败、性能瓶颈等。可以使用监控工具（例如Prometheus、Grafana）对日志数据进行监控和告警。
监控的关键指标包括：
- SQL执行次数
- SQL执行时间
- SQL执行失败次数
通过监控这些指标，可以及时发现并解决问题。
总结
SQL执行日志记录是一个重要的环节，可以帮助我们进行问题排查、性能优化和安全审计。选择合适的日志记录策略需要根据实际情况进行评估和权衡。
