跳转到正文Skip to content

流式、超时与取消

对支持流式的请求设置 stream: true。SSE 以 data: {JSON} 分帧,并以 data: [DONE] 结束;客户端必须按事件边界解析,不能按任意网络分块解析 JSON。

分别设置连接、首字节和整个请求超时。收到 HTTP 成功和正确流式内容类型后再开始消费;流开始前的错误使用标准错误体,流开始后的错误作为流事件后关闭。

客户端取消时应关闭响应体和下游工作。已产生的用量仍会结算,剩余预留会释放;不要假定断开连接等于零费用。保留 X-Request-Id,不要记录 Prompt 或 Response。