nex_animation/scripts/dev.sh

428 lines
20 KiB
Bash
Executable File
Raw Blame History

This file contains ambiguous Unicode characters!

This file contains ambiguous Unicode characters that may be confused with others in your current locale. If your use case is intentional and legitimate, you can safely ignore this warning. Use the Escape button to highlight these characters.

#!/usr/bin/env bash
# ============================================================
# Nex Animation Studio · 一键启停(单机开发模式:SQLite + 进程内调度)
#
# ./scripts/dev.sh 启动前后端
# ./scripts/dev.sh stop 停止
# ./scripts/dev.sh restart 重启
# ./scripts/dev.sh status 端口 / 健康 / 当前模型 / ComfyUI 连通性
# ./scripts/dev.sh logs 同时跟踪前后端日志
# ./scripts/dev.sh logs backend 只看后端日志
# ./scripts/dev.sh start --reload 后端热重载
#
# 选项:--backend-only --frontend-only --reload --no-install
# --backend-port N --frontend-port N --host ADDR(默认 0.0.0.0,局域网可直接访问)
#
# 手工启动反复踩到的四个坑,本脚本已逐一处理:
# 1) 后端必须在能读到仓库根 .env 的位置启动。读不到时 DATABASE_URL / MEDIA_ROOT 退回代码默认值
# (库和产物各落另一处),平台照旧起来且不报错——这里统一用 --app-dir 从仓库根启动,路径永远唯一。
# 注意模型配置不在 .env 里(v0.1.1 起全在数据库 model_specs):换模型去「调度中心 → 模型中心」,改完即生效。
# 2) 后台进程必须自成会话,否则启动它的终端一退出就把 uvicorn/vite 一起带走(macOS 无 setsid,
# 改用 python start_new_session)。
# 3) vite 端口被占会静默换端口,前端代理与 e2e 自检随之失效——这里用 --strictPort 直接报错。
# 4) 相对 media / SQLite 路径会随启动目录漂移,导致已生成的镜头在新进程里全部 404。
# ============================================================
set -euo pipefail
ROOT="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)"
RUN_DIR="$ROOT/.local/run"
LOG_DIR="$ROOT/.local/logs"
PYBIN="$ROOT/.venv/bin/python"
# 监听地址:默认 0.0.0.0 —— 同一网段的手机/其他设备可直接访问;
# 早先默认 127.0.0.1 时,`npm run dev` 里已有的 --host 0.0.0.0 会被本脚本追加的
# --host 覆盖,前后端只绑回环,局域网访问必然连不上。
HOST="${NEX_HOST:-0.0.0.0}"
# 自检 / Vite 代理用的地址:绑 0.0.0.0 时不能拿 0.0.0.0 去 curl,回退到回环。
case "$HOST" in
0.0.0.0|""|::|\[::\]) PROBE_HOST=127.0.0.1 ;;
*) PROBE_HOST="$HOST" ;;
esac
# 本机局域网 IP(macOS:默认路由网卡 → ipconfig getifaddr),取不到就只打印回环地址。
LAN_IP="$( { iface="$(route -n get default 2>/dev/null | awk '/^[[:space:]]*interface:/{print $2; exit}')"
[ -n "$iface" ] && ipconfig getifaddr "$iface" 2>/dev/null; } || true )"
env_value() { # 从仓库根 .env 读一个键(最后一行为准;去引号、去随行注释、去尾部空白)
[ -f "$ROOT/.env" ] || return 0
sed -n "s/^[[:space:]]*$1=//p" "$ROOT/.env" | tail -1 \
| sed -E 's/[[:space:]]+#.*$//; s/[[:space:]]+$//' | tr -d '\r"'"'"'' || true
}
# 开发形态两个进程各一个键:BACKEND_PORT(uvicorn)/ FRONTEND_PORT(Vite)。
# 部署形态的对外端口是另一个键 HOST_PORT,跟这里无关(见 .env.example 的端口一节)。
# 取值优先级:命令行 --backend-port/--frontend-port > 同名环境变量 > .env > 默认值,
# 和 scripts/server.sh 是同一条约定:.env 写进去的键必须真的生效
# (后端换端口时下面还会把 NEX_BACKEND 一起带着走,代理不会掉队)。
BACKEND_PORT="${BACKEND_PORT:-$(env_value BACKEND_PORT)}"
BACKEND_PORT="${BACKEND_PORT:-$(env_value PORT)}" # 旧键兼容
BACKEND_PORT="${BACKEND_PORT:-8000}"
FRONTEND_PORT="${FRONTEND_PORT:-$(env_value FRONTEND_PORT)}"
FRONTEND_PORT="${FRONTEND_PORT:-5173}"
# 依赖下载源:和 server.sh / Dockerfile 同一套键(PIP_INDEX_URL / NPM_REGISTRY),
# 默认国内源,优先级 环境变量 > .env > 内置默认。
PIP_INDEX="${PIP_INDEX_URL:-$(env_value PIP_INDEX_URL)}"
PIP_INDEX="${PIP_INDEX:-https://pypi.tuna.tsinghua.edu.cn/simple}"
NPM_REGISTRY="${NPM_REGISTRY:-$(env_value NPM_REGISTRY)}"
NPM_REGISTRY="${NPM_REGISTRY:-https://registry.npmmirror.com}"
RELOAD=0
AUTO_INSTALL=1
WANT_BACKEND=1
WANT_FRONTEND=1
if [ -t 1 ]; then C_G=$'\033[32m'; C_Y=$'\033[33m'; C_R=$'\033[31m'; C_B=$'\033[36m'; C_D=$'\033[2m'; C_0=$'\033[0m'
else C_G=""; C_Y=""; C_R=""; C_B=""; C_D=""; C_0=""; fi
ok() { printf ' %sok%s %s\n' "$C_G" "$C_0" "$*"; }
info() { printf ' %s\n' "$*"; }
warn() { printf ' %s!%s %s\n' "$C_Y" "$C_0" "$*"; }
die() { printf ' %sXX%s %s\n' "$C_R" "$C_0" "$*" >&2; exit 1; }
head2() { printf '\n%s%s%s\n' "$C_B" "$*" "$C_0"; }
# ------------------------------------------------------------------ 基础工具
port_pids() { # 谁在监听这个端口(可能为空)
lsof -nP -iTCP:"$1" -sTCP:LISTEN -t 2>/dev/null | tr '\n' ' ' | sed 's/[[:space:]]*$//' || true
}
pid_of() { [ -f "$RUN_DIR/$1.pid" ] && cat "$RUN_DIR/$1.pid" 2>/dev/null || true; }
alive() { local p="${1:-}"; [ -n "$p" ] && kill -0 "$p" 2>/dev/null; }
# 在独立会话里拉起进程:stdout/stderr 落日志,返回 pid。
# 不能只写 `cmd &`——脚本一退出,整个进程组会被一起回收。
spawn() { # spawn <name> <cwd> <cmd...>
local name="$1" cwd="$2"; shift 2
mkdir -p "$RUN_DIR" "$LOG_DIR"
local pid
pid="$("$PYBIN" - "$LOG_DIR/$name.log" "$cwd" "$@" <<'PY'
import subprocess, sys
log_path, cwd, cmd = sys.argv[1], sys.argv[2], sys.argv[3:]
log = open(log_path, "ab", buffering=0)
p = subprocess.Popen(cmd, stdin=subprocess.DEVNULL, stdout=log, stderr=log,
cwd=cwd, start_new_session=True, close_fds=True)
print(p.pid)
PY
)"
printf '%s\n' "$pid" > "$RUN_DIR/$name.pid"
printf '%s\n' "$pid"
}
wait_http() { # wait_http <url> <超时秒>
local url="$1" limit="${2:-90}" i=0
while [ "$i" -lt "$limit" ]; do
if curl -fsS --max-time 2 -o /dev/null "$url" 2>/dev/null; then return 0; fi
sleep 1; i=$((i + 1))
done
return 1
}
# ------------------------------------------------------------------ 依赖自检
prepare() {
head2 "环境自检"
command -v curl >/dev/null || die "缺少 curl"
# .env:缺失就从模板复制,避免第一次跑的人对着 404 猜半天
if [ ! -f "$ROOT/.env" ]; then
if [ -f "$ROOT/.env.example" ]; then
cp "$ROOT/.env.example" "$ROOT/.env"
warn "已从 .env.example 生成 .env(空库只有 mock 模型可用);真实模型在「调度中心 → 模型中心」登记,"
warn " 或导入数据包:.venv/bin/python scripts/seed.py install --only-missing(模型配置不在 .env 里)"
else
die "缺少 .env 且没有 .env.example"
fi
else
ok ".env 就绪"
fi
# 后端虚拟环境
if [ ! -x "$PYBIN" ]; then
[ "$AUTO_INSTALL" = 1 ] || die "缺少 .venv(加 --no-install 时不会自动创建):python3 -m venv .venv && .venv/bin/pip install -r backend/requirements.txt"
info "创建虚拟环境并安装后端依赖(首次约 1~2 分钟)…"
command -v python3 >/dev/null || die "缺少 python3"
python3 -m venv "$ROOT/.venv" || die "venv 创建失败"
"$PYBIN" -m pip install -q -i "$PIP_INDEX" --upgrade pip
"$PYBIN" -m pip install -q -i "$PIP_INDEX" -r "$ROOT/backend/requirements.txt" \
|| die "后端依赖安装失败(换源:PIP_INDEX_URL=https://…)"
ok "后端依赖已安装(pip 源 ${PIP_INDEX})"
elif ! "$PYBIN" -c "import uvicorn, fastapi" 2>/dev/null; then
[ "$AUTO_INSTALL" = 1 ] || die "后端依赖不完整(缺 uvicorn/fastapi),且指定了 --no-install"
info "补齐后端依赖…"
"$PYBIN" -m pip install -q -i "$PIP_INDEX" -r "$ROOT/backend/requirements.txt" \
|| die "后端依赖安装失败(换源:PIP_INDEX_URL=https://…)"
ok "后端依赖已补齐(pip 源 ${PIP_INDEX})"
else
ok "后端依赖就绪($("$PYBIN" -V 2>&1))"
fi
# 前端依赖(--backend-only 时跳过:新机器上能省掉一次 npm install)
if [ "$WANT_FRONTEND" != 1 ]; then
info "${C_D}跳过前端依赖检查(--backend-only)${C_0}"
elif [ ! -d "$ROOT/frontend/node_modules" ]; then
command -v npm >/dev/null || die "缺少 npm(前端需要)"
[ "$AUTO_INSTALL" = 1 ] || die "缺少 frontend/node_modules,且指定了 --no-install:cd frontend && npm install"
info "安装前端依赖…"
(cd "$ROOT/frontend" && npm install --registry "$NPM_REGISTRY" --no-audit --no-fund) > "$LOG_DIR/npm-install.log" 2>&1 \
|| die "npm install 失败,详见 .local/logs/npm-install.log"
ok "前端依赖已安装"
else
ok "前端依赖就绪"
fi
# ffmpeg 只影响质检/合成,缺失不挡启动,但要说清楚
if command -v ffmpeg >/dev/null && command -v ffprobe >/dev/null; then
ok "ffmpeg 就绪"
else
warn "未找到 ffmpeg/ffprobe:质检与合成导出会不可用(brew install ffmpeg)"
fi
}
# ------------------------------------------------------------------ 启动
start_backend() {
head2 "后端 FastAPI :$BACKEND_PORT"
local existing busy
existing="$(pid_of backend)"
if alive "$existing"; then
ok "已在运行 pid=${existing}(跳过启动)"
return 0
fi
busy="$(port_pids "$BACKEND_PORT")"
[ -z "$busy" ] || die "端口 $BACKEND_PORT 被进程 $busy 占用;先 ./scripts/dev.sh stop 或用 --backend-port 换端口"
local pid
# 从仓库根启动 + --app-dir 指向 backend/:.env、media、SQLite 相对路径都锚定仓库根,
# 换目录启动不会再出现「两拨 media」「找不到已生成镜头」。
local cmd=("$PYBIN" -m uvicorn app.main:app --app-dir "$ROOT/backend" --host "$HOST" --port "$BACKEND_PORT")
[ "$RELOAD" = 1 ] && cmd+=(--reload)
pid="$(spawn backend "$ROOT" "${cmd[@]}")"
if wait_http "http://$PROBE_HOST:$BACKEND_PORT/health" 90; then
ok "健康检查通过 pid=$pid"
else
warn "90s 内 /health 未就绪,最后 30 行日志:"
tail -30 "$LOG_DIR/backend.log" 2>/dev/null || true
die "后端启动失败"
fi
}
start_frontend() {
head2 "前端 Vite :$FRONTEND_PORT"
local existing busy
existing="$(pid_of frontend)"
if alive "$existing"; then
ok "已在运行 pid=${existing}(跳过启动)"
return 0
fi
busy="$(port_pids "$FRONTEND_PORT")"
[ -z "$busy" ] || die "端口 $FRONTEND_PORT 被进程 $busy 占用;先 ./scripts/dev.sh stop 或用 --frontend-port 换端口"
# 代理目标跟着后端端口走(vite.config.ts 读 NEX_BACKEND);
# --strictPort 让端口冲突直接失败,而不是悄悄换一个端口让自检脚本打空。
export NEX_BACKEND="http://$PROBE_HOST:$BACKEND_PORT"
local pid
pid="$(spawn frontend "$ROOT/frontend" npm run dev -- --host "$HOST" --port "$FRONTEND_PORT" --strictPort)"
if wait_http "http://$PROBE_HOST:$FRONTEND_PORT/" 60; then
ok "开发服务器就绪 pid=$pid"
else
warn "60s 内前端未就绪,最后 30 行日志:"
tail -30 "$LOG_DIR/frontend.log" 2>/dev/null || true
die "前端启动失败"
fi
}
report() {
head2 "已启动"
[ "$WANT_FRONTEND" = 1 ] && info "${C_B}界面${C_0} http://$PROBE_HOST:$FRONTEND_PORT ${C_D}(Vite → 代理 /api、/media 到后端)${C_0}"
[ "$WANT_BACKEND" = 1 ] && info "${C_B}接口${C_0} http://$PROBE_HOST:$BACKEND_PORT/docs"
if [ -n "$LAN_IP" ] && [ "$PROBE_HOST" = "127.0.0.1" ]; then
[ "$WANT_FRONTEND" = 1 ] && info "${C_B}局域网${C_0} http://$LAN_IP:$FRONTEND_PORT ${C_D}(同网段设备可直接打开)${C_0}"
[ "$WANT_BACKEND" = 1 ] && info "${C_B}局域网${C_0} http://$LAN_IP:$BACKEND_PORT/docs"
fi
info "${C_B}日志${C_0} .local/logs/backend.log .local/logs/frontend.log ${C_D}跟踪:./scripts/dev.sh logs${C_0}"
info "${C_B}停止${C_0} ./scripts/dev.sh stop"
info "${C_B}模型${C_0} 默认位在数据库 ${C_D}model_specs${C_0};换模型走「调度中心 → 模型中心」,改完即生效不用重启"
status_runtime
}
# ------------------------------------------------------------------ 运行状态
status_runtime() {
head2 "运行状态"
local row name port pid p http
for row in "backend:$BACKEND_PORT" "frontend:$FRONTEND_PORT"; do
name="${row%%:*}"; port="${row##*:}"
pid="$(pid_of "$name")"
if alive "$pid"; then
printf ' %srunning%s %-9s :%-6s pid=%s\n' "$C_G" "$C_0" "$name" "$port" "$pid"
elif [ -n "$(port_pids "$port")" ]; then
printf ' %sbusy%s %-9s :%-6s 被本脚本之外的进程占用 (pid=%s)\n' \
"$C_Y" "$C_0" "$name" "$port" "$(port_pids "$port")"
else
printf ' %sstopped%s %-9s :%s\n' "$C_D" "$C_0" "$name" "$port"
fi
done
# 后端细节:执行后端 / 当前默认模型 / 模型端点连通性——这三项决定「是不是真在跑真实模型」。
# 端点地址存在 model_specs.config_json 里(.env 早就不放了),所以只能问进程:
# 以前这里 curl 的是 .env 里的 COMFYUI_BASE_URL,改过地址后探的是废弃端点,绿字反而误导。
if curl -fsS --max-time 3 -o /dev/null "http://$PROBE_HOST:$BACKEND_PORT/health" 2>/dev/null; then
NEX_STATUS_BASE="http://$PROBE_HOST:$BACKEND_PORT" "$PYBIN" - <<'PY' || true
import http.cookiejar
import json
import os
import sys
import urllib.error
import urllib.request
base = os.environ["NEX_STATUS_BASE"].rstrip("/")
GREEN, YELLOW, DIM, RESET = (("\033[32m", "\033[33m", "\033[2m", "\033[0m")
if sys.stdout.isatty() else ("", "", "", ""))
_jar = http.cookiejar.CookieJar()
_opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(_jar))
def call(path, payload=None, timeout=8):
url = base + path
data = json.dumps(payload).encode() if payload is not None else None
req = urllib.request.Request(url, data=data,
headers={"Content-Type": "application/json"} if data else {})
with _opener.open(req, timeout=timeout) as r:
return json.loads(r.read().decode())
try:
h = call("/health")
caps = h.get("ffmpeg_capabilities") or {}
print(f" executor={h.get('executor')} database={h.get('database')} "
f"ffmpeg={h.get('ffmpeg')} xfade={caps.get('xfade')} model_specs={h.get('model_specs')}")
except Exception as exc:
print(f" 健康检查失败:{type(exc).__name__}: {exc}")
raise SystemExit(0)
try:
# AUTH_ENABLED 默认 true,未登录时 /api/providers 是 401——上一版把异常打成
# 「模型注册表读取失败」,看起来像没配模型,其实只是没带会话。开发机口令见 .env.example。
state = call("/api/auth/state")
if state.get("auth_enabled") and not state.get("authenticated"):
call("/api/auth/login", {
"username": os.environ.get("NEX_USER")
or (state.get("login_hint") or {}).get("username") or "admin",
"password": os.environ.get("NEX_PASS") or "admin1234"})
providers = call("/api/providers")["providers"]
except Exception as exc:
print(f" 模型注册表读取失败:{type(exc).__name__}: {exc}")
raise SystemExit(0)
for p in providers:
if p.get("media_type") != "video":
continue
flag = "默认" if p.get("is_default") else " "
print(f" [{flag}] {p['provider']}/{p['model']} adapter={p['adapter']} "
f"时长 {p['min_duration']}-{p['max_duration']}s 可用={p.get('available')}")
for p in providers:
if p.get("is_default") and p.get("media_type") != "video":
print(f" [默认] {p['media_type']:5s} {p['provider']}/{p['model']} "
f"可用={p.get('available')}")
# 端点连通性:库里在册且启用的地址逐个探(真实模型未注册时这里应该什么都不显示)。
# 一台 GPU 机同时挂视频/图像/配音三条是常态,去重后只探一次,否则会刷三行同样的结果。
endpoints = {}
for p in providers:
if not p.get("enabled"):
continue
url = str((p.get("config") or {}).get("base_url") or "").rstrip("/")
if url and not p.get("uses_mock"):
endpoints.setdefault(url, []).append(f"{p['provider']}/{p['model']}")
for url, users in sorted(endpoints.items()):
probe = f"{url}/system_stats" if "comfy" in url.lower() else url
try:
urllib.request.urlopen(probe, timeout=4)
print(f" {GREEN}reachable{RESET} {url} ← {', '.join(sorted(users))}")
except urllib.error.HTTPError as exc:
# 有 HTTP 应答就算机器活着:LLM 的 base_url 直接 GET 多半回 401/404
# (没带 key、根路径没有路由),urllib 把非 2xx 当异常抛,这里不能据此判死。
# 真正的鉴权与模型可用性看页面 🔌 探测(它打的是各自适配器认得的接口)。
color, tag = (GREEN, "reachable ") if exc.code < 500 else (YELLOW, "error ")
print(f" {color}{tag}{RESET} {url} ← {', '.join(sorted(users))}"
f" {DIM}(HTTP {exc.code}){RESET}")
except Exception:
print(f" {YELLOW}unreachable{RESET} {url} ← {', '.join(sorted(users))}"
f" {DIM}(这几条模型真实出片会失败,页面点 🔌 探测看细节){RESET}")
PY
fi
}
# ------------------------------------------------------------------ 停止
stop_one() {
local name="$1" pid
pid="$(pid_of "$name")"
if ! alive "$pid"; then
rm -f "$RUN_DIR/$name.pid"
info "$name 未在运行"
return 0
fi
# pid 就是会话组长:按进程组回收,npm → vite 这种父子链才不会留下孤儿 vite
kill -TERM -- "-$pid" 2>/dev/null || kill -TERM "$pid" 2>/dev/null || true
local i=0
while alive "$pid" && [ "$i" -lt 20 ]; do sleep 0.5; i=$((i + 1)); done
if alive "$pid"; then
kill -KILL -- "-$pid" 2>/dev/null || kill -KILL "$pid" 2>/dev/null || true
fi
rm -f "$RUN_DIR/$name.pid"
ok "$name 已停止(pid=${pid})"
}
usage() {
sed -n '3,22p' "${BASH_SOURCE[0]}" | sed 's/^# \{0,1\}//'
}
# ------------------------------------------------------------------ 入口
# 命令与选项顺序随意:`dev.sh start --reload`、`dev.sh --reload`、`dev.sh --reload start` 都对。
# 早先只认「第一个参数是命令」,`dev.sh --backend-only` 会被当成未知命令直接退出。
ACTION="start"
EXTRA=()
while [ $# -gt 0 ]; do
case "$1" in
start|stop|restart|status|logs) ACTION="$1" ;;
--backend-only) WANT_FRONTEND=0 ;;
--frontend-only) WANT_BACKEND=0 ;;
--reload) RELOAD=1 ;;
--no-install) AUTO_INSTALL=0 ;;
--backend-port) BACKEND_PORT="${2:?--backend-port 需要端口}"; shift ;;
--frontend-port) FRONTEND_PORT="${2:?--frontend-port 需要端口}"; shift ;;
--host) HOST="${2:?--host 需要地址}"; shift ;;
-h|--help) usage; exit 0 ;;
--*) die "未知选项:${1}(--help 看用法)" ;;
# 只有 logs 需要位置参数(backend / frontend);其余情况的多余参数一律当命令写错了,
# 否则 `dev.sh strt` 这种手误会静默变成「启动」,用户还以为命令生效了。
*) EXTRA+=("$1") ;;
esac
shift
done
if [ "${#EXTRA[@]}" -gt 0 ] && [ "$ACTION" != "logs" ]; then
die "未知命令:${EXTRA[0]}(./scripts/dev.sh --help)"
fi
do_start() {
printf 'Nex Animation Studio · 单机开发模式(cwd=%s)\n' "$ROOT"
[ "$WANT_FRONTEND" = 1 ] || [ "$WANT_BACKEND" = 1 ] || die "前后端都被关掉了"
prepare
[ "$WANT_BACKEND" = 1 ] && start_backend
[ "$WANT_FRONTEND" = 1 ] && start_frontend
report
}
case "$ACTION" in
start) do_start ;;
stop) stop_one frontend; stop_one backend ;;
restart) stop_one frontend; stop_one backend; do_start ;;
status) status_runtime ;;
logs)
case "${EXTRA[0]:-}" in
backend|frontend) FILES=("$LOG_DIR/${EXTRA[0]}.log") ;;
"") FILES=("$LOG_DIR/backend.log" "$LOG_DIR/frontend.log") ;;
*) die "logs 只支持 backend / frontend" ;;
esac
for f in "${FILES[@]}"; do [ -f "$f" ] || : > "$f"; done
exec tail -n 60 -F "${FILES[@]}"
;;
*) die "未知命令:${ACTION}(./scripts/dev.sh --help)" ;;
esac