WeKnora/internal/datasource/connector
linus-liu-web dabbdaf156
fix(notion): 分页循环补重复游标防护与跳数上限 (#3890)
paginatePages 与 GetBlockChildrenFlat 都只以 has_more / 空 next_cursor 为终止
条件:既不记录用过的游标,也没有页数上限。Notion(或中间网关)只要回
has_more=true 且 next_cursor 不前进——包括"空 results + has_more=true"这种厂商
形状——循环就永远退不出来,同一页被反复抓取:SearchPages(资源发现)与
QueryDatabaseAll(数据库记录)都汇入 paginatePages,客户端自带 3 req/s 限流,
所以表现为以 3 rps 稳定空转到任务 deadline,同步任务永不进终态;若伴随非空
results,allPages 还会无界增长。

同文件的 getBlockChildrenRecursive 已有 maxBlocksPerPage 兜底,Confluence
(seen + maxPaginationHops)、DingTalk(seenTokens + maxPages)也有同族守卫,
这两条循环漏了。

改动:
- 抽一条 advancePaginationCursor:每页取回 next_cursor 后调用,重复游标立即报
  错,页数达到 maxPaginationHops(10000,对齐 Confluence)时 Warn 并报错。触顶
  必须留日志:从外部看这种失败和"还在正常同步"一模一样。
- paginatePages 与 GetBlockChildrenFlat 一并接入(同文件同型缺陷,发现阶段扫子
  页面走的正是后者)。

新增用例:重复游标(第 2 次请求即报错,含"空页 + has_more=true"形态)、跳数上限
(正好 10000 次请求后报错且日志含 "pagination exceeded 10000 pages")、真实多页
仍正常合并。测试把 3 rps 限流换成不限速,否则回归场景要跑 55 分钟。去掉本次改动
后三条用例全部失败(重复游标场景实测跑到 10006 次请求才被假服务器的预算拦下)。

Co-authored-by: linus-liu-web <11640009+linus-liu-web@users.noreply.github.com>
Co-authored-by: wizardchen <wizardchen@tencent.com>
2026-10-08 01:29:20 +08:00
..
confluence feat(confluence): add directory sync and private image assets (#3319) 2026-09-25 22:23:48 +08:00
dingtalk fix(datasource/dingtalk): 块级渲染不再静默丢内容(列表按线上真实形状渲染 + 未建模块类型可见) (#3822) 2026-09-29 00:48:20 +08:00
feishu fix(feishu): 多维表格字段分页补重复 page_token 防护与条数上限 (#3840) 2026-10-08 01:21:31 +08:00
gitlab fix(gitlab): 分页循环补重复页防护与跳数上限 (#3841) 2026-10-08 01:21:37 +08:00
ima fix(ima): 三条游标分页循环补重复游标防护与跳数上限 (#3889) 2026-10-08 01:21:44 +08:00
notion fix(notion): 分页循环补重复游标防护与跳数上限 (#3890) 2026-10-08 01:29:20 +08:00
rss fix(rss): 修复全文回退后增量同步不重试 2026-09-29 00:53:27 +08:00
yuque fix(yuque): don't acknowledge failed detail fetches in the incremental cursor (#3702) 2026-10-08 01:21:23 +08:00