fix(parser): align platform and upgrade checks with MinerU 2.7.1
parent
4aea21b6a1
commit
851cb6b484
|
|
@ -11,7 +11,8 @@ TIERS = {'flash': 'Flash 快速', 'basic': 'Basic 基础', 'standard': 'Standard
|
|||
|
||||
|
||||
def catalogue():
|
||||
return {'versions': [{'id': '2.7.4', 'protocol': 'legacy', 'backends': BACKENDS_2},
|
||||
return {'versions': [{'id': '2.7.1', 'protocol': 'legacy', 'backends': BACKENDS_2},
|
||||
{'id': '2.7.4', 'protocol': 'legacy', 'backends': BACKENDS_2},
|
||||
{'id': '3.4.5', 'protocol': 'legacy', 'backends': BACKENDS_3},
|
||||
{'id': '4.x', 'protocol': 'v1', 'backends': TIERS}],
|
||||
'builtin': {'id': 'builtin', 'name': 'MaxKB 内置解析', 'backend': 'builtin',
|
||||
|
|
@ -23,7 +24,7 @@ def validate_options(options, endpoint):
|
|||
from rest_framework.exceptions import ValidationError
|
||||
if not isinstance(options, dict) or set(options) - {'backend', 'language', 'ocr', 'formula', 'table', 'protocol', 'tier', 'engine_version', 'server_url', 'effort'}:
|
||||
raise ValidationError('解析参数无效')
|
||||
version = options.get('engine_version', '4.x' if options.get('protocol') == 'v1' else '2.7.4')
|
||||
version = options.get('engine_version', '4.x' if options.get('protocol') == 'v1' else '2.7.1')
|
||||
spec = next((v for v in catalogue()['versions'] if v['id'] == version), None)
|
||||
if not spec or options.get('protocol', spec['protocol']) != spec['protocol']:
|
||||
raise ValidationError('解析版本与接口不匹配')
|
||||
|
|
|
|||
|
|
@ -12,6 +12,20 @@ from system_manage.models.ai_hub import AIFlow, AIParserResource, AITask, AIArti
|
|||
|
||||
|
||||
class NativeParserTests(TestCase):
|
||||
def test_parser_catalogue_supports_the_271_baseline_and_existing_versions(self):
|
||||
from system_manage.parsers.catalog import catalogue, validate_options
|
||||
versions = {row['id']: row for row in catalogue()['versions']}
|
||||
self.assertEqual(versions['2.7.1']['backends'], versions['2.7.4']['backends'])
|
||||
for version in ('2.7.1', '2.7.4', '3.4.5'):
|
||||
options = validate_options({'engine_version': version, 'backend': 'pipeline'}, 'http://example.invalid:8000')
|
||||
self.assertEqual(options['engine_version'], version)
|
||||
self.assertEqual(options['protocol'], 'legacy')
|
||||
|
||||
def test_new_legacy_parser_defaults_to_271_without_changing_explicit_274(self):
|
||||
from system_manage.parsers.catalog import validate_options
|
||||
self.assertEqual(validate_options({}, 'http://example.invalid:8000')['engine_version'], '2.7.1')
|
||||
self.assertEqual(validate_options({'engine_version': '2.7.4'}, 'http://example.invalid:8000')['engine_version'], '2.7.4')
|
||||
|
||||
def test_word_preserves_heading_only_sections_tables_and_images(self):
|
||||
import io
|
||||
from docx import Document
|
||||
|
|
|
|||
|
|
@ -9,7 +9,7 @@
|
|||
| 项目 | 原版 | 重构版 |
|
||||
|---|---|---|
|
||||
| 应用 | MaxKB `v3.2` | MaxKB `v3.2-refact` |
|
||||
| 解析 | markitdown `develop`,包含旧工作台 | `develop-refact`,固定 MinerU 2.7.4 源码,仅解析 API |
|
||||
| 解析 | markitdown `develop`,包含旧工作台 | `develop-refact`,纯官方 MinerU 2.7.1 源码,仅解析 API |
|
||||
| 导图界面 | `mindmap-web` 独立页面 | MaxKB `/admin/mindmap`,需要登录和授权 |
|
||||
| 旧入口 | 8989 `/admin/`、`/chat/`、`/mindmap/`;9898 | 保留原发布 IP/端口,导图入口跳转到新工作台 |
|
||||
| 数据库/Redis | `airag` 容器内置 PostgreSQL 17 / Redis | 同一基础镜像系列,沿用原环境和持久化数据副本 |
|
||||
|
|
@ -36,7 +36,7 @@ VERSION=refact-20261106-1 GPU_FLAVOR=cuda bash deploy_artifacts/build-release.sh
|
|||
VERSION=refact-20261106-1 GPU_FLAVOR=corex bash deploy_artifacts/build-release.sh
|
||||
```
|
||||
|
||||
构建脚本重新构建 `/admin/` 和 `/chat/`,忽略本机 dist,将产物同时写入镜像的 `ui/dist` 与 `apps/static`。后端保持 PostgreSQL 17.6 基础镜像,不跨主版本升级数据库。解析镜像保留源码的六级标题改造,固定基础镜像中的 Torch、Torchvision、vLLM,依赖冲突会使构建失败。入口脚本使用 Bash,支持 `pipefail`。
|
||||
构建脚本重新构建 `/admin/` 和 `/chat/`,忽略本机 dist,将产物同时写入镜像的 `ui/dist` 与 `apps/static`。后端保持 PostgreSQL 17.6 基础镜像,不跨主版本升级数据库。解析服务恢复官方 2.7.1,不加六级标题补丁;CoreX/CUDA 恢复原打包基础镜像及依赖安装顺序,将 MinerU 固定为 `==2.7.1` 并校验全部源码和安装版本。CoreX 保留原 `--no-deps` 安装方式。其余浮动依赖仍可能变化,不构成 MR100 兼容保证。入口脚本使用 Bash,支持 `pipefail`。
|
||||
|
||||
每类包位于 `deploy_artifacts/releases/版本-卡型/`,包含 `images.tar`、`upgrade.py`、本说明、源码提交号及 SHA256。镜像使用版本标签,升级时再固定为本机 image ID;不覆盖旧 `latest`。模型权重单独复用,不进镜像包。包不携带目标服务器的凭据。
|
||||
|
||||
|
|
@ -103,13 +103,13 @@ sudo python3 upgrade.py apply \
|
|||
|
||||
失败时停止新服务、保留副本和原容器;不会自动启动用户原先停掉的旧程序。诊断应在服务器本地查看 `docker logs`,其中可能包含私有配置,不要直接公开。
|
||||
|
||||
2026-11-06 追加核查发现原天数包 `unis-mindmap-api-corex-latest.tar` 仍保留,包内源码为 2.7.1。它可作为旧解析栈回退材料,但当前脚本仍按 2.7.4 候选镜像校验,不能直接将该旧包换入本流程:旧包接口为 `/api/file_parse`,还需处理版本目录、连通性检查及启动校验的差异。是否采用该发布基线待明确;此处未执行 MinerU 源码回退。
|
||||
2026-11-06 已按用户要求将新解析包恢复到纯官方 2.7.1,启动校验同步为 2.7.1。原天数包 `unis-mindmap-api-corex-latest.tar` 仍保留,但它包含旧项目 `/api/file_parse` 接口,不能直接代替带发布标记、官方 `/file_parse` 接口的新解析包;旧包仅作回退材料。
|
||||
|
||||
## 6. 一次性配置与验收
|
||||
|
||||
旧导图的 `MINDMAP_LLM_*` 是独立服务环境,新版从平台模型管理读取;脚本保存旧容器配置,但**不猜测模型供应商、不把旧明文 Key 写入新模型表、不覆盖已有平台模型或授权**。升级后管理员需要完成:
|
||||
|
||||
1. 在“解析服务”登记 `http://mineru-api:8000`,版本 2.7.4,协议 legacy,先用 pipeline;在工作台默认设置中选择该资源。
|
||||
1. 在“解析服务”登记 `http://mineru-api:8000`,版本 2.7.1,协议 legacy,先用 pipeline;在工作台默认设置中选择该资源。已有外部 2.7.4 服务选项仍保留。
|
||||
2. 如平台已有对应大模型,直接选择;否则将旧导图模型通过平台模型管理导入,再设置工作台默认模型。旧环境中的 Key 仅在服务器本地核对输入。
|
||||
3. 将解析服务和模型授权给原使用人群;不扩大原知识库/应用权限。旧知识库、应用、模型原有记录由迁移保留。
|
||||
|
||||
|
|
@ -119,7 +119,7 @@ sudo python3 upgrade.py apply \
|
|||
|
||||
- 8989 `/admin/login`、`/admin/register` 及 `/chat/` 可打开;加载的 JS/CSS 来自新构建,没有 404。直接 8080 的源码测试页面不代表 Docker 版验收。
|
||||
- 旧账号可登录;管理员及普通用户授权正确;原知识库/文档/应用/聊天记录可见;原问答实际向量检索可用。
|
||||
- `/mindmap/` 和 9898 进入新版工作台;真实 PDF(含图片/六级标题)解析、总结、保存、重开和导出成功;Hub worker 确实完成任务。
|
||||
- `/mindmap/` 和 9898 进入新版工作台;真实 PDF(含图片、标题、表格/公式)解析、总结、保存、重开和导出成功;Hub worker 确实完成任务。当前 MinerU 保持官方四级标题上限,不宣称保留五/六级。
|
||||
- 模型文件、导图图片和 MinerU 输出在重建容器后仍存在;源码测试服务和共享 Redis 未受影响。
|
||||
- MR100 另在对应机器完成同一组验收;52.118 的 NVIDIA 结果不替代 MR100 验收。
|
||||
|
||||
|
|
|
|||
|
|
@ -63,6 +63,22 @@
|
|||
|
||||
## 发布前仍需完成
|
||||
|
||||
### MinerU 基线更新(同日追加)
|
||||
|
||||
用户明确要求将内核恢复为官方 2.7.1。现已恢复全部 187 个官方文件,撤去三处六级标题补丁;标题输出保持官方四级上限。旧项目 Word 转换、进度、智能整理、静态工作台、VLM 参数过滤及续表定制均不带入内核。
|
||||
|
||||
CoreX/CUDA 构建恢复 `develop` 原基础镜像和依赖安装顺序,仅将原 `mineru[core]>=2.7.4` 改为 `==2.7.1`、增加基线完整性校验;构建脚本去掉已退役的 Web 构建并保留旧 API 标签及新版升级标记。必要的环境变量转发位于启动包装器,内核不加补丁。构建上下文排除开发虚拟环境、模型、日志和私有配置。
|
||||
|
||||
检查结果:本机 6 项基线/启动测试、5 项 MaxKB 原生解析及版本目录测试、19 项升级测试通过;远端隔离候选及新解释器环境通过 6 项基线、3 项官方标题、2 项模拟推理接口测试。前端 `/admin/` 生产构建通过,本地和 8080 登录/注册页实际检查通过。
|
||||
|
||||
源码测试服务已发布到 52.118:运行时 `version=2.7.1`、`installed_version=2.7.1`、官方文件 187、内核定制 0,`/file_parse` 路由存在。发布目录及回退材料:`/home/tlw/unis/UnisMindMap/logs/releases/mineru-271-20261106-161614-publish3`。新解释器复用原环境的依赖路径,仅安装已核对 SHA256 的官方 2.7.1 wheel;原解释器与原源码备份保留。此前一次准备失败、一次健康检查失败均未改共享数据库,后者已自动恢复旧服务;修复依赖路径后本次发布成功。
|
||||
|
||||
这次同步包括 MaxKB 的 2.7.1 新资源选项、版本目录和 `apps/static/admin` 构建,已有显式 2.7.4 外部资源选项保留。没有执行数据库迁移、修改模型或启动新消费者。没有构建候选 Docker 镜像,没有执行真实 GPU 文档推理,尤其不代表 MR100 实卡兼容验收通过。
|
||||
|
||||
最终启动包装器还隔离了 API 参数与引擎参数:官方 2.7.1 CLI 会将额外参数全部写入引擎配置,包装器改为直接配置官方 ASGI app,避免 `mineru_api_max_concurrent_requests` 误传给 vLLM。该处理仅位于 `scripts/run_parser.py`,`mineru/` 内核仍为原版 187 个文件,未加运行时引擎猴子补丁。此包装器已通过上述 11 项远端测试并完成解析服务健康检查;仍未执行 GPU 推理。
|
||||
|
||||
以下待办仍然适用;解析内核目标现为 2.7.1。
|
||||
|
||||
1. 在构建机实际构建两个 GPU 镜像包,检查依赖解析与模型路径;本轮未构建或导入候选业务镜像。
|
||||
2. 使用尚未应用重构迁移的独立旧版数据库备份执行首次升级,并进行登录、权限、问答、文件、向量和聊天记录验收。
|
||||
3. 完成导图解析资源与平台模型的映射及授权,处理旧浏览器未保存内容。此部分不是旧 `MINDMAP_LLM_*` 环境变量自动迁移。
|
||||
|
|
|
|||
|
|
@ -348,7 +348,7 @@ def apply(release):
|
|||
sock.bind((binding['host_ip'], int(binding['published'])))
|
||||
# No model is loaded in this smoke test. A driver/runtime mismatch fails before switchover.
|
||||
compose(release, 'run', '--rm', '--no-deps', '-T', '--entrypoint', 'python3', 'mineru-api', '-c',
|
||||
'import torch, vllm; from mineru.version import __version__; assert __version__ == "2.7.4"; assert torch.cuda.is_available(); print(torch.cuda.get_device_name(0))')
|
||||
'import torch, vllm; from mineru.version import __version__; assert __version__ == "2.7.1"; assert torch.cuda.is_available(); print(torch.cuda.get_device_name(0))')
|
||||
state['phase'] = 'switching'
|
||||
save(release / 'state.json', state)
|
||||
try:
|
||||
|
|
|
|||
|
|
@ -268,7 +268,7 @@ function create() {
|
|||
allowed_users: [],
|
||||
options: {
|
||||
protocol: 'legacy',
|
||||
engine_version: '2.7.4',
|
||||
engine_version: '2.7.1',
|
||||
backend: 'pipeline',
|
||||
tier: 'standard',
|
||||
language: 'ch',
|
||||
|
|
|
|||
Loading…
Reference in New Issue