Flask流式传输如何模拟ChatGPT的实时响应?

Flask流式传输如何模拟ChatGPT的实时响应?

使用flask流式传输模拟chatgpt实时响应

许多应用,例如模拟ChatGPT的实时聊天或大型文件下载,都需要边生成边传输数据,避免客户端长时间等待。本文演示如何在python Flask框架中实现这种流式传输,并修正原代码中的缺陷。

原代码尝试使用yield实现流式传输,但由于response对象在generate()函数结束后才返回,浏览器必须等待所有数据生成完毕才能显示内容,与实时响应预期不符。

问题代码:

from time import sleep from flask import Flask, Response, stream_with_context  app = Flask(__name__)  @app.route('/stream', methods=['GET']) def stream():     def generate():         for i in range(1, 21):             print(i)             yield f'this is item {i}n'             sleep(0.5)      return Response(generate(), mimetype='text/plain')   if __name__ == '__main__':     app.run(debug=True)

解决方法:正确使用Flask的stream_with_context装饰器。该装饰器确保每次yield都立即返回数据给客户端,实现真正的流式传输。改进后的代码:

from flask import stream_with_context, request, jsonify  @app.route('/stream') def streamed_response():     def generate():         yield 'Hello '         yield request.args.get('name', 'World') # 使用get()避免KeyError         yield '!'     return jsonify({'message': list(stream_with_context(generate()))}) # 返回JSON格式

stream_with_context包裹了generate函数,使每次yield都立即发送数据。 示例中数据生成简单,实际应用中generate函数可能包含更复杂的逻辑(例如数据库查询或复杂计算),但stream_with_context的作用仍然是确保数据及时传输。 request.args.get(‘name’, ‘World’)从请求参数获取数据,实现更灵活的流式传输,并使用get()方法处理缺失参数的情况,避免KeyError错误。 最后,使用jsonify将结果封装成JSON格式返回,更适合前端处理。

通过以上改进,可以有效模拟ChatGPT的实时响应效果。

© 版权声明
THE END
喜欢就支持一下吧
点赞6 分享