diff --git a/apps/system_manage/parsers/catalog.py b/apps/system_manage/parsers/catalog.py index fc4580e94..f8e450ee1 100644 --- a/apps/system_manage/parsers/catalog.py +++ b/apps/system_manage/parsers/catalog.py @@ -11,7 +11,8 @@ TIERS = {'flash': 'Flash 快速', 'basic': 'Basic 基础', 'standard': 'Standard def catalogue(): - return {'versions': [{'id': '2.7.4', 'protocol': 'legacy', 'backends': BACKENDS_2}, + return {'versions': [{'id': '2.7.1', 'protocol': 'legacy', 'backends': BACKENDS_2}, + {'id': '2.7.4', 'protocol': 'legacy', 'backends': BACKENDS_2}, {'id': '3.4.5', 'protocol': 'legacy', 'backends': BACKENDS_3}, {'id': '4.x', 'protocol': 'v1', 'backends': TIERS}], 'builtin': {'id': 'builtin', 'name': 'MaxKB 内置解析', 'backend': 'builtin', @@ -23,7 +24,7 @@ def validate_options(options, endpoint): from rest_framework.exceptions import ValidationError if not isinstance(options, dict) or set(options) - {'backend', 'language', 'ocr', 'formula', 'table', 'protocol', 'tier', 'engine_version', 'server_url', 'effort'}: raise ValidationError('解析参数无效') - version = options.get('engine_version', '4.x' if options.get('protocol') == 'v1' else '2.7.4') + version = options.get('engine_version', '4.x' if options.get('protocol') == 'v1' else '2.7.1') spec = next((v for v in catalogue()['versions'] if v['id'] == version), None) if not spec or options.get('protocol', spec['protocol']) != spec['protocol']: raise ValidationError('解析版本与接口不匹配') diff --git a/apps/system_manage/test_ai_hub.py b/apps/system_manage/test_ai_hub.py index 96071f36f..da6b95f5d 100644 --- a/apps/system_manage/test_ai_hub.py +++ b/apps/system_manage/test_ai_hub.py @@ -12,6 +12,20 @@ from system_manage.models.ai_hub import AIFlow, AIParserResource, AITask, AIArti class NativeParserTests(TestCase): + def test_parser_catalogue_supports_the_271_baseline_and_existing_versions(self): + from system_manage.parsers.catalog import catalogue, validate_options + versions = {row['id']: row for row in catalogue()['versions']} + self.assertEqual(versions['2.7.1']['backends'], versions['2.7.4']['backends']) + for version in ('2.7.1', '2.7.4', '3.4.5'): + options = validate_options({'engine_version': version, 'backend': 'pipeline'}, 'http://example.invalid:8000') + self.assertEqual(options['engine_version'], version) + self.assertEqual(options['protocol'], 'legacy') + + def test_new_legacy_parser_defaults_to_271_without_changing_explicit_274(self): + from system_manage.parsers.catalog import validate_options + self.assertEqual(validate_options({}, 'http://example.invalid:8000')['engine_version'], '2.7.1') + self.assertEqual(validate_options({'engine_version': '2.7.4'}, 'http://example.invalid:8000')['engine_version'], '2.7.4') + def test_word_preserves_heading_only_sections_tables_and_images(self): import io from docx import Document diff --git a/deploy_artifacts/README_UPGRADE.md b/deploy_artifacts/README_UPGRADE.md index 206f45687..ba0ab8ea9 100644 --- a/deploy_artifacts/README_UPGRADE.md +++ b/deploy_artifacts/README_UPGRADE.md @@ -9,7 +9,7 @@ | 项目 | 原版 | 重构版 | |---|---|---| | 应用 | MaxKB `v3.2` | MaxKB `v3.2-refact` | -| 解析 | markitdown `develop`,包含旧工作台 | `develop-refact`,固定 MinerU 2.7.4 源码,仅解析 API | +| 解析 | markitdown `develop`,包含旧工作台 | `develop-refact`,纯官方 MinerU 2.7.1 源码,仅解析 API | | 导图界面 | `mindmap-web` 独立页面 | MaxKB `/admin/mindmap`,需要登录和授权 | | 旧入口 | 8989 `/admin/`、`/chat/`、`/mindmap/`;9898 | 保留原发布 IP/端口,导图入口跳转到新工作台 | | 数据库/Redis | `airag` 容器内置 PostgreSQL 17 / Redis | 同一基础镜像系列,沿用原环境和持久化数据副本 | @@ -36,7 +36,7 @@ VERSION=refact-20261106-1 GPU_FLAVOR=cuda bash deploy_artifacts/build-release.sh VERSION=refact-20261106-1 GPU_FLAVOR=corex bash deploy_artifacts/build-release.sh ``` -构建脚本重新构建 `/admin/` 和 `/chat/`,忽略本机 dist,将产物同时写入镜像的 `ui/dist` 与 `apps/static`。后端保持 PostgreSQL 17.6 基础镜像,不跨主版本升级数据库。解析镜像保留源码的六级标题改造,固定基础镜像中的 Torch、Torchvision、vLLM,依赖冲突会使构建失败。入口脚本使用 Bash,支持 `pipefail`。 +构建脚本重新构建 `/admin/` 和 `/chat/`,忽略本机 dist,将产物同时写入镜像的 `ui/dist` 与 `apps/static`。后端保持 PostgreSQL 17.6 基础镜像,不跨主版本升级数据库。解析服务恢复官方 2.7.1,不加六级标题补丁;CoreX/CUDA 恢复原打包基础镜像及依赖安装顺序,将 MinerU 固定为 `==2.7.1` 并校验全部源码和安装版本。CoreX 保留原 `--no-deps` 安装方式。其余浮动依赖仍可能变化,不构成 MR100 兼容保证。入口脚本使用 Bash,支持 `pipefail`。 每类包位于 `deploy_artifacts/releases/版本-卡型/`,包含 `images.tar`、`upgrade.py`、本说明、源码提交号及 SHA256。镜像使用版本标签,升级时再固定为本机 image ID;不覆盖旧 `latest`。模型权重单独复用,不进镜像包。包不携带目标服务器的凭据。 @@ -103,13 +103,13 @@ sudo python3 upgrade.py apply \ 失败时停止新服务、保留副本和原容器;不会自动启动用户原先停掉的旧程序。诊断应在服务器本地查看 `docker logs`,其中可能包含私有配置,不要直接公开。 -2026-11-06 追加核查发现原天数包 `unis-mindmap-api-corex-latest.tar` 仍保留,包内源码为 2.7.1。它可作为旧解析栈回退材料,但当前脚本仍按 2.7.4 候选镜像校验,不能直接将该旧包换入本流程:旧包接口为 `/api/file_parse`,还需处理版本目录、连通性检查及启动校验的差异。是否采用该发布基线待明确;此处未执行 MinerU 源码回退。 +2026-11-06 已按用户要求将新解析包恢复到纯官方 2.7.1,启动校验同步为 2.7.1。原天数包 `unis-mindmap-api-corex-latest.tar` 仍保留,但它包含旧项目 `/api/file_parse` 接口,不能直接代替带发布标记、官方 `/file_parse` 接口的新解析包;旧包仅作回退材料。 ## 6. 一次性配置与验收 旧导图的 `MINDMAP_LLM_*` 是独立服务环境,新版从平台模型管理读取;脚本保存旧容器配置,但**不猜测模型供应商、不把旧明文 Key 写入新模型表、不覆盖已有平台模型或授权**。升级后管理员需要完成: -1. 在“解析服务”登记 `http://mineru-api:8000`,版本 2.7.4,协议 legacy,先用 pipeline;在工作台默认设置中选择该资源。 +1. 在“解析服务”登记 `http://mineru-api:8000`,版本 2.7.1,协议 legacy,先用 pipeline;在工作台默认设置中选择该资源。已有外部 2.7.4 服务选项仍保留。 2. 如平台已有对应大模型,直接选择;否则将旧导图模型通过平台模型管理导入,再设置工作台默认模型。旧环境中的 Key 仅在服务器本地核对输入。 3. 将解析服务和模型授权给原使用人群;不扩大原知识库/应用权限。旧知识库、应用、模型原有记录由迁移保留。 @@ -119,7 +119,7 @@ sudo python3 upgrade.py apply \ - 8989 `/admin/login`、`/admin/register` 及 `/chat/` 可打开;加载的 JS/CSS 来自新构建,没有 404。直接 8080 的源码测试页面不代表 Docker 版验收。 - 旧账号可登录;管理员及普通用户授权正确;原知识库/文档/应用/聊天记录可见;原问答实际向量检索可用。 -- `/mindmap/` 和 9898 进入新版工作台;真实 PDF(含图片/六级标题)解析、总结、保存、重开和导出成功;Hub worker 确实完成任务。 +- `/mindmap/` 和 9898 进入新版工作台;真实 PDF(含图片、标题、表格/公式)解析、总结、保存、重开和导出成功;Hub worker 确实完成任务。当前 MinerU 保持官方四级标题上限,不宣称保留五/六级。 - 模型文件、导图图片和 MinerU 输出在重建容器后仍存在;源码测试服务和共享 Redis 未受影响。 - MR100 另在对应机器完成同一组验收;52.118 的 NVIDIA 结果不替代 MR100 验收。 diff --git a/deploy_artifacts/VALIDATION_20261106.md b/deploy_artifacts/VALIDATION_20261106.md index 7b38698cf..fe3b1e7cf 100644 --- a/deploy_artifacts/VALIDATION_20261106.md +++ b/deploy_artifacts/VALIDATION_20261106.md @@ -63,6 +63,22 @@ ## 发布前仍需完成 +### MinerU 基线更新(同日追加) + +用户明确要求将内核恢复为官方 2.7.1。现已恢复全部 187 个官方文件,撤去三处六级标题补丁;标题输出保持官方四级上限。旧项目 Word 转换、进度、智能整理、静态工作台、VLM 参数过滤及续表定制均不带入内核。 + +CoreX/CUDA 构建恢复 `develop` 原基础镜像和依赖安装顺序,仅将原 `mineru[core]>=2.7.4` 改为 `==2.7.1`、增加基线完整性校验;构建脚本去掉已退役的 Web 构建并保留旧 API 标签及新版升级标记。必要的环境变量转发位于启动包装器,内核不加补丁。构建上下文排除开发虚拟环境、模型、日志和私有配置。 + +检查结果:本机 6 项基线/启动测试、5 项 MaxKB 原生解析及版本目录测试、19 项升级测试通过;远端隔离候选及新解释器环境通过 6 项基线、3 项官方标题、2 项模拟推理接口测试。前端 `/admin/` 生产构建通过,本地和 8080 登录/注册页实际检查通过。 + +源码测试服务已发布到 52.118:运行时 `version=2.7.1`、`installed_version=2.7.1`、官方文件 187、内核定制 0,`/file_parse` 路由存在。发布目录及回退材料:`/home/tlw/unis/UnisMindMap/logs/releases/mineru-271-20261106-161614-publish3`。新解释器复用原环境的依赖路径,仅安装已核对 SHA256 的官方 2.7.1 wheel;原解释器与原源码备份保留。此前一次准备失败、一次健康检查失败均未改共享数据库,后者已自动恢复旧服务;修复依赖路径后本次发布成功。 + +这次同步包括 MaxKB 的 2.7.1 新资源选项、版本目录和 `apps/static/admin` 构建,已有显式 2.7.4 外部资源选项保留。没有执行数据库迁移、修改模型或启动新消费者。没有构建候选 Docker 镜像,没有执行真实 GPU 文档推理,尤其不代表 MR100 实卡兼容验收通过。 + +最终启动包装器还隔离了 API 参数与引擎参数:官方 2.7.1 CLI 会将额外参数全部写入引擎配置,包装器改为直接配置官方 ASGI app,避免 `mineru_api_max_concurrent_requests` 误传给 vLLM。该处理仅位于 `scripts/run_parser.py`,`mineru/` 内核仍为原版 187 个文件,未加运行时引擎猴子补丁。此包装器已通过上述 11 项远端测试并完成解析服务健康检查;仍未执行 GPU 推理。 + +以下待办仍然适用;解析内核目标现为 2.7.1。 + 1. 在构建机实际构建两个 GPU 镜像包,检查依赖解析与模型路径;本轮未构建或导入候选业务镜像。 2. 使用尚未应用重构迁移的独立旧版数据库备份执行首次升级,并进行登录、权限、问答、文件、向量和聊天记录验收。 3. 完成导图解析资源与平台模型的映射及授权,处理旧浏览器未保存内容。此部分不是旧 `MINDMAP_LLM_*` 环境变量自动迁移。 diff --git a/deploy_artifacts/upgrade.py b/deploy_artifacts/upgrade.py index 9bb210eba..9c80835ff 100644 --- a/deploy_artifacts/upgrade.py +++ b/deploy_artifacts/upgrade.py @@ -348,7 +348,7 @@ def apply(release): sock.bind((binding['host_ip'], int(binding['published']))) # No model is loaded in this smoke test. A driver/runtime mismatch fails before switchover. compose(release, 'run', '--rm', '--no-deps', '-T', '--entrypoint', 'python3', 'mineru-api', '-c', - 'import torch, vllm; from mineru.version import __version__; assert __version__ == "2.7.4"; assert torch.cuda.is_available(); print(torch.cuda.get_device_name(0))') + 'import torch, vllm; from mineru.version import __version__; assert __version__ == "2.7.1"; assert torch.cuda.is_available(); print(torch.cuda.get_device_name(0))') state['phase'] = 'switching' save(release / 'state.json', state) try: diff --git a/ui/src/views/tool/component/ParserManager.vue b/ui/src/views/tool/component/ParserManager.vue index 63f8ab088..3de2fbee9 100644 --- a/ui/src/views/tool/component/ParserManager.vue +++ b/ui/src/views/tool/component/ParserManager.vue @@ -268,7 +268,7 @@ function create() { allowed_users: [], options: { protocol: 'legacy', - engine_version: '2.7.4', + engine_version: '2.7.1', backend: 'pipeline', tier: 'standard', language: 'ch',