paginatePages 与 GetBlockChildrenFlat 都只以 has_more / 空 next_cursor 为终止 条件:既不记录用过的游标,也没有页数上限。Notion(或中间网关)只要回 has_more=true 且 next_cursor 不前进——包括"空 results + has_more=true"这种厂商 形状——循环就永远退不出来,同一页被反复抓取:SearchPages(资源发现)与 QueryDatabaseAll(数据库记录)都汇入 paginatePages,客户端自带 3 req/s 限流, 所以表现为以 3 rps 稳定空转到任务 deadline,同步任务永不进终态;若伴随非空 results,allPages 还会无界增长。 同文件的 getBlockChildrenRecursive 已有 maxBlocksPerPage 兜底,Confluence (seen + maxPaginationHops)、DingTalk(seenTokens + maxPages)也有同族守卫, 这两条循环漏了。 改动: - 抽一条 advancePaginationCursor:每页取回 next_cursor 后调用,重复游标立即报 错,页数达到 maxPaginationHops(10000,对齐 Confluence)时 Warn 并报错。触顶 必须留日志:从外部看这种失败和"还在正常同步"一模一样。 - paginatePages 与 GetBlockChildrenFlat 一并接入(同文件同型缺陷,发现阶段扫子 页面走的正是后者)。 新增用例:重复游标(第 2 次请求即报错,含"空页 + has_more=true"形态)、跳数上限 (正好 10000 次请求后报错且日志含 "pagination exceeded 10000 pages")、真实多页 仍正常合并。测试把 3 rps 限流换成不限速,否则回归场景要跑 55 分钟。去掉本次改动 后三条用例全部失败(重复游标场景实测跑到 10006 次请求才被假服务器的预算拦下)。 Co-authored-by: linus-liu-web <11640009+linus-liu-web@users.noreply.github.com> Co-authored-by: wizardchen <wizardchen@tencent.com> |
||
|---|---|---|
| .. | ||
| confluence | ||
| dingtalk | ||
| feishu | ||
| gitlab | ||
| ima | ||
| notion | ||
| rss | ||
| yuque | ||