* fix(summary): 坏 JSON 不再冒充文档摘要
非流式文档摘要(Chat)解析失败时原先把模型原文当摘要落库:被 MaxTokens
截断的半截 JSON 会写进 knowledges.description、置 SummaryStatus=Completed
(Asynq 不再重试),同一段文本还会被 buildSummaryChunkContent 索引进 RAG。
- parseDocumentSummaryOutput 改为返回 (*documentSummaryResult, error):
回复形如 JSON(含 markdown 代码围栏)却解析失败、或解析成功但取不到
summary/gist 时返回 errSummaryOutputNotParsable,绝不回退成原文;
非 JSON 的纯文本仍走原有的原文兜底,自定义模板 / 老模型不受影响。
- validateSummaryOutput 复用 chatpipeline.IsLengthFinishReason,
FinishReason 为 length 类取值时返回 errSummaryOutputTruncated。
- 两个 sentinel 经 getSummary 汇入既有失败路径(ProcessSummaryGeneration
的 handleRetryableSummaryFailure、RegenerateKnowledgeSummary 的
handleGenerationFailure):保留旧描述、置 pending/failed 交给 Asynq 重试,
不再以 Completed 落库。
测试:TestParseDocumentSummaryOutput 改为表驱动(截断 JSON、含裸换行 JSON、
无文本 JSON 必须报错且不能把原文当 Summary;纯文本兜底继续通过);
TestValidateSummaryOutput 增加 length / max_tokens 截断用例;
TestGetSummaryRejectsUnusableModelOutput 锁住 getSummary 的错误传播。
* fix(summary): length 截断判定收窄到 JSON 形状回复
非流式文档摘要在校验模型回复时先看 finish_reason:只要 provider 报告
length/max_tokens 就返回 errSummaryOutputTruncated。该判定不认识内容形状,
于是自定义纯文本模板一旦顶到输出预算,就从「截断但可用」变成重试直到
SummaryStatusFailed,与上一提交承诺的「非 JSON 的纯文本仍走原兜底」相反。
- validateSummaryOutput 恢复为只看内容是否为空;新增
validateStructuredSummaryDocument 供 getSummary 使用:先判形状再判
length,只有确实在产结构化摘要(能解析成对象/数组,或 { 开头、[ 开头接
对象/数组/字符串元素)且被预算截断时才返回 errSummaryOutputTruncated。
- 形状判定剥离 UTF-8 BOM、前后空白与一层 markdown 围栏后再尝试
json.Unmarshal;「[文档摘要] …」「[1] …」这类带方括号引用的纯文本不再被
误判成坏 JSON,而截断的 {summary: 与截断的 JSON 数组仍然报错。
- parseDocumentSummaryOutput 同步剥离 BOM:BOM 前缀的截断 JSON 之前会被
当成纯文本落库。
- 表格描述 / 列描述仍走 validateSummaryOutput,截断的描述照旧可索引。
---------
Co-authored-by: linus-liu-web <11640009+linus-liu-web@users.noreply.github.com>
|
||
|---|---|---|
| .. | ||
| access | ||
| repository | ||
| service | ||