WeKnora/internal/datasource/connector/ima
linus-liu-web a6c6c35ad2
fix(ima): 三条游标分页循环补重复游标防护与跳数上限 (#3889)
ListResources 的两条循环(get_addable_knowledge_base_list、search_knowledge_base
兜底)与 listAllKBFiles 的 get_knowledge_list 循环都只以 is_end / 空 next_cursor
为终止条件:既不记录用过的游标,也没有跳数上限。厂商只要回 is_end=false 且
next_cursor 不前进,循环就会一直请求同一页,bases / out 随迭代重复增长,直到任务
deadline —— 资源选择器接口不返回,同步任务永远不进终态。

同族的 DingTalk(seenTokens + maxPages)、Confluence(seen +
maxPaginationHops)、飞书(seenPageTokens)都已有守卫,本包漏了。

改动:
- 抽一条 nextPageCursor:每页取回 next_cursor 后调用,重复游标立即返回错误(不再
  重试),页数达到 maxPaginationHops(10000,对齐 Confluence)时 Warn 并报错。
  触顶必须留日志:从外部看这种失败和"还在正常同步"一模一样。
- 三条循环按同一写法接入;listAllKBFiles 的守卫错误补上 get_knowledge_list 前缀。
- 假 IMA 服务器支持覆盖某个 action 的分页字段(固定游标 / 每次换新游标 / 有限页数 /
  每次换 payload / 请求预算),并给"无防护时会空转"的场景设请求上限,使回归用例失
  败而不是挂死。

新增用例:三条循环的重复游标(都在第 2 次请求即报错)、跳数上限(正好 10000 次
请求后报错且日志含 "pagination exceeded 10000 pages")、真实多页仍正常合并。
去掉本次改动后这四条用例全部失败(重复游标场景实测跑到 10006 次请求才被假服务器
的预算拦下)。

Co-authored-by: linus-liu-web <11640009+linus-liu-web@users.noreply.github.com>
2026-10-08 01:21:44 +08:00
..
client.go feat(datasource/ima): sync IMA notes via the note OpenAPI 2026-08-12 14:56:25 +08:00
connector.go fix(ima): 三条游标分页循环补重复游标防护与跳数上限 (#3889) 2026-10-08 01:21:44 +08:00
connector_test.go fix(ima): 笔记正文被清空后旧正文仍留在知识库 2026-09-30 13:43:55 +08:00
fake_ima_test.go fix(ima): 三条游标分页循环补重复游标防护与跳数上限 (#3889) 2026-10-08 01:21:44 +08:00
pagination_guard_test.go fix(ima): 三条游标分页循环补重复游标防护与跳数上限 (#3889) 2026-10-08 01:21:44 +08:00
types.go fix(ima): traverse subfolders using list response media IDs 2026-09-19 22:42:57 +08:00
types_test.go refactor(datasource): share connector filename sanitization 2026-09-17 16:18:52 +08:00