#!/usr/bin/env bash # ============================================================ # Nex Animation Studio · 打部署包 / 推到服务器(在开发机上跑) # # ./scripts/deploy.sh 打包到 .local/deploy/*.tar.gz # ./scripts/deploy.sh --check 只体检:会带上什么、会排掉什么 # ./scripts/deploy.sh --host deploy@10.0.0.8 --path /opt/nex_animation # 打包 + 上传 + 远端 install + 重启 # ./scripts/deploy.sh --no-seed 包里不带模型配置(服务器自己从空库起) # ./scripts/deploy.sh --with-dist 连本地构建产物一起带上(服务器没有 Node 时用) # # 部署包 = 代码 + 表结构定义 + 模型配置与管理员(scripts/seed/)+ 启动脚本。 # # 刻意**不在**包里的东西,每一条都有理由: # *.db / nex_animation.db 开发库全是过程产物(项目、镜头、任务、5000 行事件日志), # 新环境要的是干净起点,表结构由应用启动时自己建 # media/ (1.7G) 已生成的视频/图片/上传素材属于数据,换环境是「迁移」不是「部署」 # models/ (465M) whisper.cpp 权重,server.sh install 会自己下 # backend/tests/ 开发自检资产(487 条用例);服务器不需要 pytest 才能跑 # frontend/dist/ 构建产物,server.sh build 在服务器上重建,避免带过期哈希 # .venv/ node_modules/ 跨机的二进制与依赖目录,必须在目标机重装 # .env 机器相关配置(ComfyUI 地址、数据库串),首装由 .env.example 生成 # .local/ reports/ .trash/ 日志、pid、验收证据、回收站 # .git/ 版本历史是开发机资产,服务器只需要工作树 # # 上传用 rsync 而不是 scp:断网可续、只传差异,且 --delete 之外我们不删远端任何东西, # 因为 /opt/nex_animation 里可能已经有 media/ 与 .env。解压目录与包同名, # 老版本留在原地,出问题直接把 .env 指回旧目录就能回滚。 # ============================================================ set -euo pipefail ROOT="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)" PY="$ROOT/.venv/bin/python" OUT_DIR="$ROOT/.local/deploy" STAMP="$(date +%Y%m%d-%H%M)" PKG_NAME="nex_animation-$STAMP" REMOTE_HOST="" REMOTE_PATH="/opt/nex_animation" WITH_SEED=1 WITH_DIST=0 CHECK_ONLY=0 DRY_REMOTE=0 if [ -t 1 ]; then C_G=$'\033[32m'; C_Y=$'\033[33m'; C_R=$'\033[31m'; C_B=$'\033[36m'; C_D=$'\033[2m'; C_0=$'\033[0m' else C_G=""; C_Y=""; C_R=""; C_B=""; C_D=""; C_0=""; fi ok() { printf ' %sok%s %s\n' "$C_G" "$C_0" "$*"; } info() { printf ' %s\n' "$*"; } warn() { printf ' %s!%s %s\n' "$C_Y" "$C_0" "$*"; } die() { printf ' %sXX%s %s\n' "$C_R" "$C_0" "$*" >&2; exit 1; } head2() { printf '\n%s%s%s\n' "$C_B" "$*" "$C_0"; } while [ $# -gt 0 ]; do case "$1" in --check) CHECK_ONLY=1 ;; --host) REMOTE_HOST="${2:?--host 需要 user@ip}"; shift ;; --path) REMOTE_PATH="${2:?--path 需要目录}"; shift ;; --out) OUT_DIR="${2:?--out 需要目录}"; shift ;; --no-seed) WITH_SEED=0 ;; --with-dist) WITH_DIST=1 ;; --dry-run) DRY_REMOTE=1 ;; -h|--help) sed -n '3,32p' "${BASH_SOURCE[0]}" | sed 's/^# \{0,1\}//'; exit 0 ;; *) die "未知参数:$1(./scripts/deploy.sh --help)" ;; esac shift done command -v rsync >/dev/null || die "缺少 rsync" [ -f "$ROOT/backend/app/main.py" ] || die "看起来不是本项目根目录:找不到 backend/app/main.py" # ---------------------------------------------------------------- 排除清单 EX=(--exclude '.git/' --exclude '.github/' --exclude '.venv/' --exclude 'venv/' --exclude 'node_modules/' --exclude '__pycache__/' --exclude '*.py[cod]' --exclude '.pytest_cache/' --exclude '.mypy_cache/' --exclude '.ruff_cache/' --exclude 'backend/tests/' --include 'frontend/src/components/media/' --exclude 'media/' --exclude '/models/' --exclude 'frontend/dist/' --exclude '/.local/' --exclude '/.trash/' --exclude '/reports/' --exclude '/dist/' --exclude '*.db' --exclude '*.db-wal' --exclude '*.db-shm' --exclude '*.sqlite3' --exclude '.env' --exclude '*.log' --exclude 'nohup.out' --exclude '*.pid' --exclude '.DS_Store' --exclude '._*' --exclude '.idea/' --exclude '.vscode/' --exclude '.Trash*') [ "$WITH_SEED" = 1 ] || EX+=(--exclude 'scripts/seed/') STAGE="$(mktemp -d "${TMPDIR:-/tmp}/nexdeploy.XXXXXX")" cleanup() { [ -n "${STAGE:-}" ] && find "$STAGE" -mindepth 1 -delete 2>/dev/null; } trap cleanup EXIT head2 "整理部署内容 → $STAGE/nex_animation" mkdir -p "$STAGE/nex_animation" rsync -a "${EX[@]}" "$ROOT/" "$STAGE/nex_animation/" # 带前导斜杠的排除项只匹配仓库根(/media/ 不会误伤 backend/app/models/ 这类代码目录), # 不带斜杠的(node_modules/、__pycache__/、media/)在任意层级生效——media/ 故意放开, # 产物目录漂到哪都不该进包;它只匹配目录,代码里的 api/media.py 不受影响(体检第 3 条会验)。 if [ "$WITH_DIST" = 1 ]; then [ -f "$ROOT/frontend/dist/index.html" ] || die "--with-dist 需要先构建:./scripts/server.sh build" rsync -a "$ROOT/frontend/dist/" "$STAGE/nex_animation/frontend/dist/" info "已附带前端产物(服务器可跳过 npm build)" fi # ---------------------------------------------------------------- 体检 D="$STAGE/nex_animation" head2 "体检" REQUIRED=(backend/app/main.py backend/app/models/__init__.py backend/requirements.txt backend/Dockerfile frontend/package.json frontend/src/main.tsx frontend/index.html frontend/vite.config.ts frontend/src/styles/tokens.css scripts/server.sh scripts/dev.sh scripts/e2e_selfcheck.py .env.example docker-compose.yml README.md) for f in "${REQUIRED[@]}"; do [ -e "$D/$f" ] || die "部署包缺少关键文件:$f" done ok "关键入口齐全(${#REQUIRED[@]} 项)" # backend/app 下的 .py 必须一个不少。教训来自 --exclude 'models/':本意是排仓库根的 # whisper 权重目录(465M),rsync 的裸目录名在任意层级生效,把 backend/app/models/ # 这 11 个 ORM 文件也排掉了——体检全绿、包照打,服务器首启 ModuleNotFoundError。 # 数一遍文件比逐条猜 exclude 更可靠:只要数字不等就是有误伤。 src_py=$(find "$ROOT/backend/app" -name '*.py' -not -path '*/__pycache__/*' | wc -l | tr -d ' ') pkg_py=$(find "$D/backend/app" -name '*.py' -not -path '*/__pycache__/*' | wc -l | tr -d ' ') if [ "$src_py" != "$pkg_py" ]; then printf ' %sXX%s 后端代码不完整:源 %s 个 .py,包里只有 %s 个\n' "$C_R" "$C_0" "$src_py" "$pkg_py" >&2 diff <(cd "$ROOT/backend/app" && find . -name '*.py' -not -path '*/__pycache__/*' | sort) \ <(cd "$D/backend/app" && find . -name '*.py' -not -path '*/__pycache__/*' | sort) \ | sed -n '1,20p' >&2 die "有 --exclude 误伤了 backend/app 下的代码目录(检查上面 < 开头的行)" fi ok "后端代码完整(backend/app ${pkg_py} 个 .py 全部入包)" # 前端同理,而且更容易看漏:源码刚从 .vue 换成 .tsx,任何按扩展名写的 exclude / # 体检都会「一条都不匹配」地静默通过。服务器上是 npm run build,src 少文件 = 构建失败 # 或者构建出一个缺页面的产物,所以按后端的同一套办法数一遍。 fe_files() { [ -d "$1" ] || return 0 (cd "$1" && find . -type f \( -name '*.ts' -o -name '*.tsx' -o -name '*.css' \) | sort); } src_fe=$(fe_files "$ROOT/frontend/src" | wc -l | tr -d ' ') pkg_fe=$(fe_files "$D/frontend/src" | wc -l | tr -d ' ') if [ "$src_fe" != "$pkg_fe" ]; then printf ' %sXX%s 前端代码不完整:源 %s 个,包里只有 %s 个\n' "$C_R" "$C_0" "$src_fe" "$pkg_fe" >&2 diff <(fe_files "$ROOT/frontend/src") <(fe_files "$D/frontend/src") | sed -n '1,20p' >&2 die "有 --exclude 误伤了 frontend/src 下的源码(检查上面 < 开头的行)" fi ok "前端代码完整(frontend/src ${pkg_fe} 个源文件全部入包)" # 再往前一步:直接 import 一次。文件数对了不代表包能起来(少 __init__.py、 # 循环依赖、误排子包都会在这里现形),而它在开发机上只要一秒。 # 用临时 SQLite 库:默认 DATABASE_URL 指向 Postgres,开发机的 venv 里没装 psycopg。 smoke=$(mktemp -d "${TMPDIR:-/tmp}/nexsmoke.XXXXXX") # PYTHONDONTWRITEBYTECODE:不加的话这次 import 会往暂存树里写 62 个 .pyc(约 1.6M), # 统计和打包都在它后面,构建产物就跟着上服务器了。 if ! (cd "$D/backend" && PYTHONPATH=. PYTHONDONTWRITEBYTECODE=1 \ DATABASE_URL="sqlite://///${smoke}/smoke.db" \ MEDIA_ROOT="$smoke/media" TASK_EXECUTOR=inline "$PY" -c \ "import app.main; print(len(app.main.app.routes))") > "$smoke/out" 2> "$smoke/err"; then printf ' %sXX%s 部署包里的后端 import 失败(服务器首启会原样复现):\n' "$C_R" "$C_0" >&2 sed -n '1,12p' "$smoke/err" >&2 die "别打包了,先修上面的问题" fi ok "后端可启动:import app.main 通过($(cat "$smoke/out") 条路由)" find "$smoke" -mindepth 1 -delete 2>/dev/null; rmdir "$smoke" 2>/dev/null || true FORBIDDEN=(nex_animation.db backend/tests media models .venv frontend/node_modules reports .local .trash) bad=() for f in "${FORBIDDEN[@]}"; do if [ -e "$D/$f" ]; then bad+=("$f"); fi done if [ "${#bad[@]}" -gt 0 ]; then printf ' %sXX%s 部署包里出现了不该有的东西:%s\n' "$C_R" "$C_0" "${bad[*]-}" >&2 die "请检查上面的 --exclude 清单" fi ok "开发产物已全部排除($(IFS=' '; echo "${FORBIDDEN[*]}"))" # 镜像检查:上一条管「打包别多带」,这一条管「提交别少带」。 # 起因是同一个坑——`models/` 少个前导斜杠,backend/app/models/ 整个 ORM 目录 # 就同时从包和仓库里消失了,而两边都不会报错。这里把全部后端/前端源文件 # 喂给 git check-ignore,任何命中都说明某条忽略规则写宽了。 # 用临时 git 目录跑:--no-index + 独立 GIT_DIR 让它只看 .gitignore, # 不受本仓库索引状态影响(换机器、CI 里跑结果都一样)。 if command -v git >/dev/null 2>&1; then ign=$(mktemp -d "${TMPDIR:-/tmp}/nexign.XXXXXX"); git init -q "$ign" find "$ROOT/backend/app" "$ROOT/frontend/src" -type f \ \( -name '*.py' -o -name '*.ts' -o -name '*.tsx' -o -name '*.css' \) \ -not -path '*/__pycache__/*' | sed "s|^$ROOT/||" | sort > "$ign/src.txt" GIT_DIR="$ign/.git" GIT_WORK_TREE="$ROOT" \ git check-ignore --no-index --stdin < "$ign/src.txt" > "$ign/eaten.txt" || true n_code=$(wc -l < "$ign/src.txt" | tr -d ' ') if [ -s "$ign/eaten.txt" ]; then printf ' %sXX%s .gitignore 正在吃掉代码文件(提交时它们会凭空消失):\n' "$C_R" "$C_0" >&2 sed -n '1,20p' "$ign/eaten.txt" >&2 die "名字撞上代码目录的规则必须带前导斜杠锚根(对照 .gitignore 里 /models/ 那段说明)" fi find "$ign" -mindepth 1 -delete 2>/dev/null || true; rmdir "$ign" 2>/dev/null || true ok ".gitignore 无误伤:$n_code 个后端/前端源文件全部可提交" else warn "没装 git,跳过 .gitignore 误伤检查" fi if [ "$WITH_SEED" = 1 ]; then for f in model_specs.json model_secret_keys.json users.json; do [ -s "$D/scripts/seed/$f" ] || die "scripts/seed/$f 缺失或为空:先在开发机跑 .venv/bin/python scripts/seed.py export" done n=$("$ROOT/.venv/bin/python" -c "import json;print(json.load(open('$D/scripts/seed/model_specs.json'))['_meta']['count'])" 2>/dev/null || echo "?") ok "部署数据就绪:模型配置 $n 条 + 加密主密钥 + 管理员账号" if grep -l '"api_key_encrypted": "sk-' "$D"/scripts/seed/*.json >/dev/null 2>&1; then die "seed 里出现明文 API Key(sk-…),请先在模型中心重填 Key 再导出" fi else warn "--no-seed:服务器将从空库启动,只有 mock 模型可用" fi big=$(find "$D" -type f -size +20M 2>/dev/null | head -5) if [ -n "$big" ]; then warn "包里有大文件,确认是否该带:$(echo "$big" | tr '\n' ' ')"; fi find "$D" -type f -name '.DS_Store' -delete 2>/dev/null || true TOTAL_FILES=$(find "$D" -type f | wc -l | tr -d ' ') TOTAL_SIZE=$(du -sh "$D" | cut -f1) info "共 $TOTAL_FILES 个文件,$TOTAL_SIZE" printf ' %s目录概览%s\n' "$C_D" "$C_0" (cd "$D" && du -sh */ .[^.]*/ 2>/dev/null | sort -h | sed 's/^/ /') || true { echo "Nex Animation Studio 部署包" echo "生成时间 : $(date '+%F %T %Z')" echo "生成机器 : $(hostname)" echo "源目录 : $ROOT" echo "文件数 : $TOTAL_FILES 体积: $TOTAL_SIZE" echo "模型配置 : $([ "$WITH_SEED" = 1 ] && echo '随包(scripts/seed/)' || echo '未随包')" echo "前端产物 : $([ "$WITH_DIST" = 1 ] && echo '随包' || echo '服务器上 server.sh build 生成')" echo echo "服务器三步:" echo " tar -xzf $PKG_NAME.tar.gz && cd nex_animation" echo " ./scripts/server.sh install # 装依赖 + 建表 + 导入模型配置与管理员" echo " ./scripts/server.sh start && ./scripts/server.sh verify" } > "$D/DEPLOY-INFO.txt" # 兜底清扫:字节码残渣不该进包,无论是谁写的(rsync 排掉了 __pycache__, # 但上面的 import、以及本地跑过的 seed.py 都可能现造)。 find "$D" -name '*.py[co]' -delete 2>/dev/null || true find "$D" -type d -name '__pycache__' -empty -delete 2>/dev/null || true if [ "$CHECK_ONLY" = 1 ]; then head2 "--check:到此为止,未打包" exit 0 fi # ---------------------------------------------------------------- 打包 mkdir -p "$OUT_DIR" PKG="$OUT_DIR/$PKG_NAME.tar.gz" head2 "打包" # COPYFILE_DISABLE=1:macOS 的 bsdtar 默认把 xattr 写成 ._* 伴生文件, # Linux 解包后到处是垃圾 dot 文件,构建时还会被 vite 当模块扫到。 COPYFILE_DISABLE=1 tar -czf "$PKG" -C "$STAGE" nex_animation [ -f "$PKG" ] || die "打包失败" ok "$PKG($(du -sh "$PKG" | cut -f1))" if [ -n "$REMOTE_HOST" ]; then head2 "上传 $REMOTE_HOST:$REMOTE_PATH" ssh "$REMOTE_HOST" "mkdir -p '$REMOTE_PATH'" || die "无法登录 $REMOTE_HOST 或创建 $REMOTE_PATH" RSYNC_UP=(rsync -az --info=progress2) [ "$DRY_REMOTE" = 1 ] && RSYNC_UP+=(--dry-run) "${RSYNC_UP[@]}" "$PKG" "$REMOTE_HOST:$REMOTE_PATH/" || die "上传失败" ok "已上传" if [ "$DRY_REMOTE" = 1 ]; then info "--dry-run:不执行远端安装" exit 0 fi head2 "远端安装并重启" # .env 与 media/ 不在包里,所以解覆盖式包不会动到它们;这里也不加 --delete。 ssh -t "$REMOTE_HOST" "set -e cd '$REMOTE_PATH' tar -xzf '$PKG_NAME.tar.gz' cd nex_animation ./scripts/server.sh install ./scripts/server.sh restart ./scripts/server.sh status" || die "远端安装失败(上面是远端输出)" info "${C_B}完成${C_0} ssh $REMOTE_HOST 后可用 ./scripts/server.sh logs 看日志" else head2 "下一步" info "1) 传包:rsync -az '$PKG' deploy@server:/opt/" info "2) 解包:ssh deploy@server 'cd /opt && tar -xzf $PKG_NAME.tar.gz && cd nex_animation'" info "3) 安装:./scripts/server.sh install" info "4) 启动:./scripts/server.sh start && ./scripts/server.sh verify" info "${C_D}或者一步到位:./scripts/deploy.sh --host deploy@server --path /opt/nex_animation${C_0}" fi