nex_animation/scripts/deploy.sh

259 lines
14 KiB
Bash
Executable File
Raw Blame History

This file contains ambiguous Unicode characters!

This file contains ambiguous Unicode characters that may be confused with others in your current locale. If your use case is intentional and legitimate, you can safely ignore this warning. Use the Escape button to highlight these characters.

#!/usr/bin/env bash
# ============================================================
# Nex Animation Studio · 打部署包 / 推到服务器(在开发机上跑)
#
# ./scripts/deploy.sh 打包到 .local/deploy/*.tar.gz
# ./scripts/deploy.sh --check 只体检:会带上什么、会排掉什么
# ./scripts/deploy.sh --host deploy@10.0.0.8 --path /opt/nex_animation
# 打包 + 上传 + 远端 install + 重启
# ./scripts/deploy.sh --no-seed 包里不带模型配置(服务器自己从空库起)
# ./scripts/deploy.sh --with-dist 连本地构建产物一起带上(服务器没有 Node 时用)
#
# 部署包 = 代码 + 表结构定义 + 模型配置与管理员(scripts/seed/)+ 启动脚本。
#
# 刻意**不在**包里的东西,每一条都有理由:
# *.db / nex_animation.db 开发库全是过程产物(项目、镜头、任务、5000 行事件日志),
# 新环境要的是干净起点,表结构由应用启动时自己建
# media/ (1.7G) 已生成的视频/图片/上传素材属于数据,换环境是「迁移」不是「部署」
# models/ (465M) whisper.cpp 权重,server.sh install 会自己下
# backend/tests/ 开发自检资产(487 条用例);服务器不需要 pytest 才能跑
# frontend/dist/ 构建产物,server.sh build 在服务器上重建,避免带过期哈希
# .venv/ node_modules/ 跨机的二进制与依赖目录,必须在目标机重装
# .env 机器相关配置(ComfyUI 地址、数据库串),首装由 .env.example 生成
# .local/ reports/ .trash/ 日志、pid、验收证据、回收站
# .git/ 本目录不是 git 仓库;将来接上仓库也不该把历史搬上服务器
#
# 上传用 rsync 而不是 scp:断网可续、只传差异,且 --delete 之外我们不删远端任何东西,
# 因为 /opt/nex_animation 里可能已经有 media/ 与 .env。解压目录与包同名,
# 老版本留在原地,出问题直接把 .env 指回旧目录就能回滚。
# ============================================================
set -euo pipefail
ROOT="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)"
PY="$ROOT/.venv/bin/python"
OUT_DIR="$ROOT/.local/deploy"
STAMP="$(date +%Y%m%d-%H%M)"
PKG_NAME="nex_animation-$STAMP"
REMOTE_HOST="" REMOTE_PATH="/opt/nex_animation"
WITH_SEED=1 WITH_DIST=0 CHECK_ONLY=0 DRY_REMOTE=0
if [ -t 1 ]; then C_G=$'\033[32m'; C_Y=$'\033[33m'; C_R=$'\033[31m'; C_B=$'\033[36m'; C_D=$'\033[2m'; C_0=$'\033[0m'
else C_G=""; C_Y=""; C_R=""; C_B=""; C_D=""; C_0=""; fi
ok() { printf ' %sok%s %s\n' "$C_G" "$C_0" "$*"; }
info() { printf ' %s\n' "$*"; }
warn() { printf ' %s!%s %s\n' "$C_Y" "$C_0" "$*"; }
die() { printf ' %sXX%s %s\n' "$C_R" "$C_0" "$*" >&2; exit 1; }
head2() { printf '\n%s%s%s\n' "$C_B" "$*" "$C_0"; }
while [ $# -gt 0 ]; do
case "$1" in
--check) CHECK_ONLY=1 ;;
--host) REMOTE_HOST="${2:?--host 需要 user@ip}"; shift ;;
--path) REMOTE_PATH="${2:?--path 需要目录}"; shift ;;
--out) OUT_DIR="${2:?--out 需要目录}"; shift ;;
--no-seed) WITH_SEED=0 ;;
--with-dist) WITH_DIST=1 ;;
--dry-run) DRY_REMOTE=1 ;;
-h|--help) sed -n '3,32p' "${BASH_SOURCE[0]}" | sed 's/^# \{0,1\}//'; exit 0 ;;
*) die "未知参数:$1(./scripts/deploy.sh --help)" ;;
esac
shift
done
command -v rsync >/dev/null || die "缺少 rsync"
[ -f "$ROOT/backend/app/main.py" ] || die "看起来不是本项目根目录:找不到 backend/app/main.py"
# ---------------------------------------------------------------- 排除清单
EX=(--exclude '.git/' --exclude '.github/' --exclude '.venv/' --exclude 'venv/'
--exclude 'node_modules/' --exclude '__pycache__/' --exclude '*.py[cod]'
--exclude '.pytest_cache/' --exclude '.mypy_cache/' --exclude '.ruff_cache/'
--exclude 'backend/tests/' --exclude 'media/'
--exclude '/models/' --exclude 'frontend/dist/' --exclude '/.local/'
--exclude '/.trash/' --exclude '/reports/' --exclude '/dist/'
--exclude '*.db' --exclude '*.db-wal' --exclude '*.db-shm' --exclude '*.sqlite3'
--exclude '.env' --exclude '*.log' --exclude 'nohup.out' --exclude '*.pid'
--exclude '.DS_Store' --exclude '._*' --exclude '.idea/' --exclude '.vscode/'
--exclude '.Trash*')
[ "$WITH_SEED" = 1 ] || EX+=(--exclude 'scripts/seed/')
STAGE="$(mktemp -d "${TMPDIR:-/tmp}/nexdeploy.XXXXXX")"
cleanup() { [ -n "${STAGE:-}" ] && find "$STAGE" -mindepth 1 -delete 2>/dev/null; }
trap cleanup EXIT
head2 "整理部署内容 → $STAGE/nex_animation"
mkdir -p "$STAGE/nex_animation"
rsync -a "${EX[@]}" "$ROOT/" "$STAGE/nex_animation/"
# 带前导斜杠的排除项只匹配仓库根(/media/ 不会误伤 backend/app/models/ 这类代码目录),
# 不带斜杠的(node_modules/、__pycache__/、media/)在任意层级生效——media/ 故意放开,
# 产物目录漂到哪都不该进包;它只匹配目录,代码里的 api/media.py 不受影响(体检第 3 条会验)。
if [ "$WITH_DIST" = 1 ]; then
[ -f "$ROOT/frontend/dist/index.html" ] || die "--with-dist 需要先构建:./scripts/server.sh build"
rsync -a "$ROOT/frontend/dist/" "$STAGE/nex_animation/frontend/dist/"
info "已附带前端产物(服务器可跳过 npm build)"
fi
# ---------------------------------------------------------------- 体检
D="$STAGE/nex_animation"
head2 "体检"
REQUIRED=(backend/app/main.py backend/app/models/__init__.py backend/requirements.txt
backend/Dockerfile frontend/package.json frontend/src/main.ts frontend/index.html
scripts/server.sh scripts/dev.sh scripts/e2e_selfcheck.py .env.example
docker-compose.yml README.md)
for f in "${REQUIRED[@]}"; do
[ -e "$D/$f" ] || die "部署包缺少关键文件:$f"
done
ok "关键入口齐全(${#REQUIRED[@]} 项)"
# backend/app 下的 .py 必须一个不少。教训来自 --exclude 'models/':本意是排仓库根的
# whisper 权重目录(465M),rsync 的裸目录名在任意层级生效,把 backend/app/models/
# 这 11 个 ORM 文件也排掉了——体检全绿、包照打,服务器首启 ModuleNotFoundError。
# 数一遍文件比逐条猜 exclude 更可靠:只要数字不等就是有误伤。
src_py=$(find "$ROOT/backend/app" -name '*.py' -not -path '*/__pycache__/*' | wc -l | tr -d ' ')
pkg_py=$(find "$D/backend/app" -name '*.py' -not -path '*/__pycache__/*' | wc -l | tr -d ' ')
if [ "$src_py" != "$pkg_py" ]; then
printf ' %sXX%s 后端代码不完整:源 %s 个 .py,包里只有 %s 个\n' "$C_R" "$C_0" "$src_py" "$pkg_py" >&2
diff <(cd "$ROOT/backend/app" && find . -name '*.py' -not -path '*/__pycache__/*' | sort) \
<(cd "$D/backend/app" && find . -name '*.py' -not -path '*/__pycache__/*' | sort) \
| sed -n '1,20p' >&2
die "有 --exclude 误伤了 backend/app 下的代码目录(检查上面 < 开头的行)"
fi
ok "后端代码完整(backend/app ${pkg_py} 个 .py 全部入包)"
# 再往前一步:直接 import 一次。文件数对了不代表包能起来(少 __init__.py、
# 循环依赖、误排子包都会在这里现形),而它在开发机上只要一秒。
# 用临时 SQLite 库:默认 DATABASE_URL 指向 Postgres,开发机的 venv 里没装 psycopg。
smoke=$(mktemp -d "${TMPDIR:-/tmp}/nexsmoke.XXXXXX")
# PYTHONDONTWRITEBYTECODE:不加的话这次 import 会往暂存树里写 62 个 .pyc(约 1.6M),
# 统计和打包都在它后面,构建产物就跟着上服务器了。
if ! (cd "$D/backend" && PYTHONPATH=. PYTHONDONTWRITEBYTECODE=1 \
DATABASE_URL="sqlite://///${smoke}/smoke.db" \
MEDIA_ROOT="$smoke/media" TASK_EXECUTOR=inline "$PY" -c \
"import app.main; print(len(app.main.app.routes))") > "$smoke/out" 2> "$smoke/err"; then
printf ' %sXX%s 部署包里的后端 import 失败(服务器首启会原样复现):\n' "$C_R" "$C_0" >&2
sed -n '1,12p' "$smoke/err" >&2
die "别打包了,先修上面的问题"
fi
ok "后端可启动:import app.main 通过($(cat "$smoke/out") 条路由)"
find "$smoke" -mindepth 1 -delete 2>/dev/null; rmdir "$smoke" 2>/dev/null || true
FORBIDDEN=(nex_animation.db backend/tests media models .venv frontend/node_modules reports .local .trash)
bad=()
for f in "${FORBIDDEN[@]}"; do
if [ -e "$D/$f" ]; then bad+=("$f"); fi
done
if [ "${#bad[@]}" -gt 0 ]; then
printf ' %sXX%s 部署包里出现了不该有的东西:%s\n' "$C_R" "$C_0" "${bad[*]-}" >&2
die "请检查上面的 --exclude 清单"
fi
ok "开发产物已全部排除($(IFS=' '; echo "${FORBIDDEN[*]}"))"
# 镜像检查:上一条管「打包别多带」,这一条管「提交别少带」。
# 起因是同一个坑——`models/` 少个前导斜杠,backend/app/models/ 整个 ORM 目录
# 就同时从包和仓库里消失了,而两边都不会报错。这里把全部后端/前端源文件
# 喂给 git check-ignore,任何命中都说明某条忽略规则写宽了。
# 用临时 git 目录跑:本目录当前还不是 git 仓库,--no-index 让它只看 .gitignore。
if command -v git >/dev/null 2>&1; then
ign=$(mktemp -d "${TMPDIR:-/tmp}/nexign.XXXXXX"); git init -q "$ign"
find "$ROOT/backend/app" "$ROOT/frontend/src" -type f \
\( -name '*.py' -o -name '*.ts' -o -name '*.vue' -o -name '*.css' \) \
-not -path '*/__pycache__/*' | sed "s|^$ROOT/||" | sort > "$ign/src.txt"
GIT_DIR="$ign/.git" GIT_WORK_TREE="$ROOT" \
git check-ignore --no-index --stdin < "$ign/src.txt" > "$ign/eaten.txt" || true
n_code=$(wc -l < "$ign/src.txt" | tr -d ' ')
if [ -s "$ign/eaten.txt" ]; then
printf ' %sXX%s .gitignore 正在吃掉代码文件(提交时它们会凭空消失):\n' "$C_R" "$C_0" >&2
sed -n '1,20p' "$ign/eaten.txt" >&2
die "名字撞上代码目录的规则必须带前导斜杠锚根(对照 .gitignore 里 /models/ 那段说明)"
fi
find "$ign" -mindepth 1 -delete 2>/dev/null || true; rmdir "$ign" 2>/dev/null || true
ok ".gitignore 无误伤:$n_code 个后端/前端源文件全部可提交"
else
warn "没装 git,跳过 .gitignore 误伤检查"
fi
if [ "$WITH_SEED" = 1 ]; then
for f in model_specs.json model_secret_keys.json users.json; do
[ -s "$D/scripts/seed/$f" ] || die "scripts/seed/$f 缺失或为空:先在开发机跑 .venv/bin/python scripts/seed.py export"
done
n=$("$ROOT/.venv/bin/python" -c "import json;print(json.load(open('$D/scripts/seed/model_specs.json'))['_meta']['count'])" 2>/dev/null || echo "?")
ok "部署数据就绪:模型配置 $n 条 + 加密主密钥 + 管理员账号"
if grep -l '"api_key_encrypted": "sk-' "$D"/scripts/seed/*.json >/dev/null 2>&1; then
die "seed 里出现明文 API Key(sk-…),请先在模型中心重填 Key 再导出"
fi
else
warn "--no-seed:服务器将从空库启动,只有 mock 模型可用"
fi
big=$(find "$D" -type f -size +20M 2>/dev/null | head -5)
if [ -n "$big" ]; then warn "包里有大文件,确认是否该带:$(echo "$big" | tr '\n' ' ')"; fi
find "$D" -type f -name '.DS_Store' -delete 2>/dev/null || true
TOTAL_FILES=$(find "$D" -type f | wc -l | tr -d ' ')
TOTAL_SIZE=$(du -sh "$D" | cut -f1)
info "共 $TOTAL_FILES 个文件,$TOTAL_SIZE"
printf ' %s目录概览%s\n' "$C_D" "$C_0"
(cd "$D" && du -sh */ .[^.]*/ 2>/dev/null | sort -h | sed 's/^/ /') || true
{
echo "Nex Animation Studio 部署包"
echo "生成时间 : $(date '+%F %T %Z')"
echo "生成机器 : $(hostname)"
echo "源目录 : $ROOT"
echo "文件数 : $TOTAL_FILES 体积: $TOTAL_SIZE"
echo "模型配置 : $([ "$WITH_SEED" = 1 ] && echo '随包(scripts/seed/)' || echo '未随包')"
echo "前端产物 : $([ "$WITH_DIST" = 1 ] && echo '随包' || echo '服务器上 server.sh build 生成')"
echo
echo "服务器三步:"
echo " tar -xzf $PKG_NAME.tar.gz && cd nex_animation"
echo " ./scripts/server.sh install # 装依赖 + 建表 + 导入模型配置与管理员"
echo " ./scripts/server.sh start && ./scripts/server.sh verify"
} > "$D/DEPLOY-INFO.txt"
# 兜底清扫:字节码残渣不该进包,无论是谁写的(rsync 排掉了 __pycache__,
# 但上面的 import、以及本地跑过的 seed.py 都可能现造)。
find "$D" -name '*.py[co]' -delete 2>/dev/null || true
find "$D" -type d -name '__pycache__' -empty -delete 2>/dev/null || true
if [ "$CHECK_ONLY" = 1 ]; then
head2 "--check:到此为止,未打包"
exit 0
fi
# ---------------------------------------------------------------- 打包
mkdir -p "$OUT_DIR"
PKG="$OUT_DIR/$PKG_NAME.tar.gz"
head2 "打包"
# COPYFILE_DISABLE=1:macOS 的 bsdtar 默认把 xattr 写成 ._* 伴生文件,
# Linux 解包后到处是垃圾 dot 文件,构建时还会被 vite 当模块扫到。
COPYFILE_DISABLE=1 tar -czf "$PKG" -C "$STAGE" nex_animation
[ -f "$PKG" ] || die "打包失败"
ok "$PKG($(du -sh "$PKG" | cut -f1))"
if [ -n "$REMOTE_HOST" ]; then
head2 "上传 $REMOTE_HOST:$REMOTE_PATH"
ssh "$REMOTE_HOST" "mkdir -p '$REMOTE_PATH'" || die "无法登录 $REMOTE_HOST 或创建 $REMOTE_PATH"
RSYNC_UP=(rsync -az --info=progress2)
[ "$DRY_REMOTE" = 1 ] && RSYNC_UP+=(--dry-run)
"${RSYNC_UP[@]}" "$PKG" "$REMOTE_HOST:$REMOTE_PATH/" || die "上传失败"
ok "已上传"
if [ "$DRY_REMOTE" = 1 ]; then
info "--dry-run:不执行远端安装"
exit 0
fi
head2 "远端安装并重启"
# .env 与 media/ 不在包里,所以解覆盖式包不会动到它们;这里也不加 --delete。
ssh -t "$REMOTE_HOST" "set -e
cd '$REMOTE_PATH'
tar -xzf '$PKG_NAME.tar.gz'
cd nex_animation
./scripts/server.sh install
./scripts/server.sh restart
./scripts/server.sh status" || die "远端安装失败(上面是远端输出)"
info "${C_B}完成${C_0} ssh $REMOTE_HOST 后可用 ./scripts/server.sh logs 看日志"
else
head2 "下一步"
info "1) 传包:rsync -az '$PKG' deploy@server:/opt/"
info "2) 解包:ssh deploy@server 'cd /opt && tar -xzf $PKG_NAME.tar.gz && cd nex_animation'"
info "3) 安装:./scripts/server.sh install"
info "4) 启动:./scripts/server.sh start && ./scripts/server.sh verify"
info "${C_D}或者一步到位:./scripts/deploy.sh --host deploy@server --path /opt/nex_animation${C_0}"
fi