From 41ba571188666540a03a0097111523377af09c4d Mon Sep 17 00:00:00 2001 From: Bifang <915779419@qq.com> Date: Thu, 8 Oct 2026 10:35:29 +0800 Subject: [PATCH] =?UTF-8?q?=E8=B0=83=E6=95=B4=E6=B5=8B=E8=AF=95=E9=A1=B5?= =?UTF-8?q?=E9=9D=A2=E6=B0=94=E6=B3=A1=E6=B8=B2=E6=9F=93=E9=80=BB=E8=BE=91?= =?UTF-8?q?=EF=BC=8C=E4=BF=AE=E6=94=B9.env.example=E6=A8=A1=E6=9D=BF?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .env.example | 205 ++++++++++++++++++-------------------------- test_web/index.html | 21 +++-- 2 files changed, 99 insertions(+), 127 deletions(-) diff --git a/.env.example b/.env.example index d951c39..a5334f1 100644 --- a/.env.example +++ b/.env.example @@ -1,161 +1,122 @@ # Qwen3-ASR 环境变量覆盖示例 -# 复制为 .env 后,只取消你需要修改的项的注释即可。 +# 复制为 .env 后,只取消需要覆盖默认值的配置项注释。 +# 普通 KEY=value 覆盖本地进程配置;Docker 专用项见末尾部署配置分组。 # ----------------------------------------------------------------------------- -# 仅在需要 API Key 鉴权时开启。 +# 服务监听 +# 本地直接运行时,HOST/PORT 控制 uvicorn;WORKERS 建议先保持 1。 +# NGINX_PORT 只由 docker-compose.yml 用作宿主机映射端口。 # ----------------------------------------------------------------------------- -# API_KEY=your_api_key_here - -# ----------------------------------------------------------------------------- -# Docker / 部署入口配置。 -# ----------------------------------------------------------------------------- -# NGINX_PORT:宿主机暴露的 Nginx 端口。 +# HOST=0.0.0.0 +# PORT=8000 +# WORKERS=1 +# DEBUG=false # NGINX_PORT=17003 -# ASR_IMAGE:离线包或自定义部署时使用的镜像标签。 -# ASR_IMAGE=unis/qwen3-asr:gpu-latest -# ASR_VISIBLE_DEVICES:统一可见卡编号配置,多个用逗号分隔;程序会按当前 accelerator 自动映射到底层变量。 + +# ----------------------------------------------------------------------------- +# 运行后端与设备 +# ----------------------------------------------------------------------------- +# ACCELERATOR=auto +# DEVICE=auto # ASR_VISIBLE_DEVICES=0 -# METAX_DRI_DEVICE:沐曦 / MuXi 需要映射的 DRI 设备路径。 -# METAX_DRI_DEVICE=/dev/dri -# METAX_MXSMI_PATH:沐曦 / MuXi 的 mx-smi 工具路径。 -# METAX_MXSMI_PATH=/opt/mxdriver/bin/mx-smi -# METAX_PRIVILEGED:沐曦 / MuXi 容器是否以 privileged 方式运行。 -# METAX_PRIVILEGED=false -# ILUVATAR_USR_SRC:天数 / Iluvatar 容器内 usr/src 挂载路径。 -# ILUVATAR_USR_SRC=/usr/src -# ILUVATAR_LIB_MODULES:天数 / Iluvatar 容器内模块目录挂载路径。 -# ILUVATAR_LIB_MODULES=/lib/modules -# ILUVATAR_DEV:天数 / Iluvatar 设备目录挂载路径。 -# ILUVATAR_DEV=/dev -# ILUVATAR_HOME:天数 / Iluvatar 主目录挂载路径。 -# ILUVATAR_HOME=/home -# ILUVATAR_DATA:天数 / Iluvatar 数据目录挂载路径。 -# ILUVATAR_DATA=/data -# MTHREADS_DEV:摩尔线程 / Moore Threads 设备目录挂载路径。 -# MTHREADS_DEV=/dev -# MTHREADS_USR_SRC:摩尔线程 / Moore Threads 容器内 usr/src 挂载路径。 -# MTHREADS_USR_SRC=/usr/src -# MTHREADS_LIB_MODULES:摩尔线程 / Moore Threads 容器内模块目录挂载路径。 -# MTHREADS_LIB_MODULES=/lib/modules -# MTHREADS_HOME:摩尔线程 / Moore Threads 主目录挂载路径。 -# MTHREADS_HOME=/home -# MTHREADS_DATA:摩尔线程 / Moore Threads 数据目录挂载路径。 -# MTHREADS_DATA=/data -# MODEL_STORAGE_DIR:模型宿主机挂载目录。 -# MODEL_STORAGE_DIR=/opt/dep/asr/models -# DATA_STORAGE_DIR:业务数据宿主机挂载目录。 -# DATA_STORAGE_DIR=/opt/dep/asr/data -# NGINX_RATE_LIMIT_RPS:Nginx 全局限流,单位为每秒请求数。 -# NGINX_RATE_LIMIT_RPS=0 -# NGINX_RATE_LIMIT_BURST:Nginx 全局突发限流额度,0 表示自动按 RPS 处理。 -# NGINX_RATE_LIMIT_BURST=0 -# ASR_DEPLOY_TOPOLOGY:部署拓扑,isolated=每卡一个实例,sharded=单实例多卡分片,auto=优先 sharded 失败回退 isolated。 # ASR_DEPLOY_TOPOLOGY=isolated # ----------------------------------------------------------------------------- -# 运行时模型选择。 -# 留空 QWEN3_ASR_MODEL 时会自动选择。 -# 支持值:qwen3-asr-0.6b、qwen3-asr-1.7b +# 模型选择与路径 +# 留空 QWEN3_ASR_MODEL 时由程序自动选择;支持 0.6B 和 1.7B。 +# 未设置路径项时使用 app/core/config.py 中的项目默认目录。 # ----------------------------------------------------------------------------- -# ACCELERATOR:加速后端类型,常见值有 auto、cpu、nvidia、metax、iluvatar、mthreads。 -# ACCELERATOR=auto -# DEVICE:具体运行设备,常见值有 auto、cpu、cuda:0。 -# DEVICE=auto -# QWEN3_ASR_MODEL:手动指定离线识别模型,留空则自动挑选。 -QWEN3_ASR_MODEL=qwen3-asr-0.6b - -# ----------------------------------------------------------------------------- -# 模型下载 / 缓存行为。 -# 在 Docker Compose 中,默认宿主机挂载目录是 /opt/dep/asr/models。 -# 实际模型目录通常位于: -# /opt/dep/asr/models/Qwen -# /opt/dep/asr/models/iic -# /opt/dep/asr/models/damo -# ----------------------------------------------------------------------------- -# MODELS_DIR:项目主模型目录。 +# QWEN3_ASR_MODEL=qwen3-asr-0.6b # MODELS_DIR=/opt/dep/asr/models -# MODELSCOPE_CACHE:ModelScope 缓存根目录,下面会生成 models/{publisher}/{model}。 # MODELSCOPE_CACHE=/opt/dep/asr -# MODELSCOPE_PATH:ModelScope 实际模型目录,建议保持在 models 目录下。 # MODELSCOPE_PATH=/opt/dep/asr/models - -# ----------------------------------------------------------------------------- -# 说话人注册 / pgvector 数据库配置。 -# 表结构与 Model-Test-New 保持一致:speakers(id, name, user_id, embedding)。 -# ----------------------------------------------------------------------------- -# SPEAKER_DB_ENABLED:是否启用说话人库与 pgvector 检索。 -# SPEAKER_DB_ENABLED=true -# DB_HOST:PostgreSQL 主机地址。 -# DB_HOST=127.0.0.1 -# DB_PORT:PostgreSQL 端口。 -# DB_PORT=5432 -# DB_USER:PostgreSQL 用户名。 -# DB_USER=postgres -# DB_PASSWORD:PostgreSQL 密码。 -# DB_PASSWORD=postgres -# DB_NAME:PostgreSQL 数据库名。 -# DB_NAME=asr_db -# SV_MODEL:说话人识别模型。 -# SV_MODEL=iic/speech_campplus_sv_zh-cn_16k-common -# SV_THRESHOLD:说话人相似度阈值,越大越严格。 -# SV_THRESHOLD=0.6 -# TEMP_DIR:临时文件目录。 # TEMP_DIR=/opt/dep/asr/data/temp -# LOG_FILE:日志文件路径。 # LOG_FILE=/opt/dep/asr/data/logs/qwen3-asr.log -# TASK_STATE_DIR:任务状态持久化目录。 # TASK_STATE_DIR=/opt/dep/asr/data/tasks -# TASK_RETENTION_HOURS:任务结果保留时间,单位小时。 # TASK_RETENTION_HOURS=24 # ----------------------------------------------------------------------------- -# CPU Rust 后端覆盖配置。 -# 一般不需要改;自动检测会检查 vendor/qwenasr/target/{release,debug}。 +# GPU / vLLM 预算 +# QWEN_GPU_MEMORY_UTILIZATION 未设置时由程序按模型和设备内存计算。 +# 显存预算不足时,先核对 GPU 上其他进程;降低此值不能修复 CUDA context +# 创建阶段的驱动连续页分配失败。 +# 启用 word timestamps 会按需额外加载 forced aligner。 # ----------------------------------------------------------------------------- -# QWENASR_LIBRARY_PATH:手动指定 libqwen_asr.so 的绝对路径。 -# QWENASR_LIBRARY_PATH=/absolute/path/to/libqwen_asr.so +# QWEN_GPU_MEMORY_UTILIZATION=0.10 +# QWEN_FORCE_ALIGNER_GPU_MEMORY_UTILIZATION=0.15 +# QWEN_VLLM_ENFORCE_EAGER=true +# ASR_BATCH_SIZE=4 +# QWEN_VLLM_SHARED_CONCURRENCY=8 +# ASR_ENABLE_WORD_TIMESTAMPS=false # ----------------------------------------------------------------------------- -# 调优参数。除非你在做特定瓶颈测试,否则建议保持默认。 +# vLLM EngineCore 进程模式 +# 默认由 vLLM 使用独立子进程。设为 0 可让 EngineCore 在当前进程运行, +# 在 WORKERS=1 的受限主机上可减少独立 CUDA context;需要进程隔离时保持默认。 +# ----------------------------------------------------------------------------- +# VLLM_ENABLE_V1_MULTIPROCESSING=0 + +# ----------------------------------------------------------------------------- +# 说话人库 / PostgreSQL +# ----------------------------------------------------------------------------- +# SPEAKER_DB_ENABLED=true +# DB_HOST=127.0.0.1 +# DB_PORT=5432 +# DB_USER=postgres +# DB_PASSWORD=change_me +# DB_NAME=asr_db +# SV_MODEL=iic/speech_campplus_sv_zh-cn_16k-common +# SV_THRESHOLD=0.6 + +# ----------------------------------------------------------------------------- +# 实时 / 推理调优(按需覆盖) # ----------------------------------------------------------------------------- -# REALTIME_STREAM_CHUNK_SEC:Qwen 流式解码间隔;0.6 秒参考 FunASR 每 10 个 60ms 音频帧解码一次。 -# Qwen 每次解码会复用累计音频,缩短该值会降低显示延迟,也会增加推理开销。 # REALTIME_STREAM_CHUNK_SEC=0.6 -# REALTIME_STREAM_MAX_PENDING_CHUNKS:Qwen 流式状态保留的待修订块数。 # REALTIME_STREAM_MAX_PENDING_CHUNKS=3 -# REALTIME_ENABLE_VAD:启用 FSMN-VAD 流式端点和气泡时间边界。 # REALTIME_ENABLE_VAD=true -# REALTIME_VAD_CHUNK_MS:每次送入 FSMN-VAD 的音频块长度;参考 FunASR 示例使用 200ms。 # REALTIME_VAD_CHUNK_MS=200 -# REALTIME_VAD_PRE_ROLL_MS:检测到语音起点时保留的前置音频,避免切掉首字。 # REALTIME_VAD_PRE_ROLL_MS=600 -# ASR_BATCH_SIZE:批处理大小,表示一次并行推理的片段数。 -# ASR_BATCH_SIZE=4 -# ASR_ENABLE_WORD_TIMESTAMPS:是否启用字词级时间戳。 -# ASR_ENABLE_WORD_TIMESTAMPS=false -# MAX_SEGMENT_SEC:离线 ASR 单段最大时长,单位秒。 # MAX_SEGMENT_SEC=60 -# QWEN_RUST_CPU_WORKERS:Qwen Rust CPU 后端 worker 数。 # QWEN_RUST_CPU_WORKERS=4 -# QWEN_RUST_ASR_CONCURRENCY:Qwen Rust ASR 并发数,0 通常表示自动。 # QWEN_RUST_ASR_CONCURRENCY=0 -# QWEN_RUST_ALIGN_CONCURRENCY:Qwen Rust 对齐并发数,0 通常表示自动。 # QWEN_RUST_ALIGN_CONCURRENCY=0 -# QWEN_GPU_MEMORY_UTILIZATION:GPU 显存使用比例。 -# QWEN_GPU_MEMORY_UTILIZATION=0.9 -# QWEN_VLLM_ENFORCE_EAGER:是否强制 vLLM eager 执行;国产卡/稳定优先建议 true,NVIDIA 性能测试可设 false。 -# QWEN_VLLM_ENFORCE_EAGER=true -# QWEN_FORCE_ALIGNER_GPU_MEMORY_UTILIZATION:forced aligner 预留的显存比例。 -# QWEN_FORCE_ALIGNER_GPU_MEMORY_UTILIZATION=0.15 -# ASR_ENABLE_NEARFIELD_FILTER:是否启用近场/远场过滤。 # ASR_ENABLE_NEARFIELD_FILTER=true -# ASR_NEARFIELD_RMS_THRESHOLD:近场判断的 RMS 能量阈值。 # ASR_NEARFIELD_RMS_THRESHOLD=0.01 # ----------------------------------------------------------------------------- -# 仅用于本地开发调试。 +# 日志与本地调试 +# API_KEY 留空表示不启用鉴权。不要把真实密钥或数据库密码提交到仓库。 # ----------------------------------------------------------------------------- -# LOG_LEVEL:日志级别。 +# API_KEY=your_api_key_here # LOG_LEVEL=INFO -# FUNASR_STARTUP_UI:FunASR 启动界面模式。 # FUNASR_STARTUP_UI=auto +# QWENASR_LIBRARY_PATH=/absolute/path/to/libqwen_asr.so + +# ----------------------------------------------------------------------------- +# Docker / 特定加速卡部署 +# 仅在相应部署方式下取消注释;路径需按目标主机调整。 +# ----------------------------------------------------------------------------- +# NGINX_PORT 是宿主机暴露的 Nginx 端口;ASR_IMAGE 用于离线包或自定义镜像。 +# ASR_IMAGE=unis/qwen3-asr:gpu-latest +# 模型与业务数据的宿主机挂载目录。 +# MODEL_STORAGE_DIR=/opt/dep/asr/models +# DATA_STORAGE_DIR=/opt/dep/asr/data +# Nginx 全局限流配置;BURST=0 表示按 RPS 自动处理。 +# NGINX_RATE_LIMIT_RPS=0 +# NGINX_RATE_LIMIT_BURST=0 +# MetaX / MuXi 设备映射;按主机驱动安装位置调整。 +# METAX_DRI_DEVICE=/dev/dri +# METAX_MXSMI_PATH=/opt/mxdriver/bin/mx-smi +# METAX_PRIVILEGED=false +# Iluvatar / 天数容器设备与主机目录映射。 +# ILUVATAR_USR_SRC=/usr/src +# ILUVATAR_LIB_MODULES=/lib/modules +# ILUVATAR_DEV=/dev +# ILUVATAR_HOME=/home +# ILUVATAR_DATA=/data +# Moore Threads / 摩尔线程容器设备与主机目录映射。 +# MTHREADS_DEV=/dev +# MTHREADS_USR_SRC=/usr/src +# MTHREADS_LIB_MODULES=/lib/modules +# MTHREADS_HOME=/home +# MTHREADS_DATA=/data diff --git a/test_web/index.html b/test_web/index.html index fd9982d..64cc167 100644 --- a/test_web/index.html +++ b/test_web/index.html @@ -2199,7 +2199,7 @@ -
这个 demo 的实时气泡是“整段覆盖式 partial”,不是逐字追加,所以看起来会一截一截长出来。默认与后端保持一致:`silence_duration_ms=800`。
+实时气泡优先展示低延迟流式预览,文本可能随识别修正;语音段定稿后会替换为最终结果。预览更积极,不代表最终文本质量变化。
@@ -2211,13 +2211,21 @@