276 lines
15 KiB
Bash
Executable File
276 lines
15 KiB
Bash
Executable File
#!/usr/bin/env bash
|
||
# ============================================================
|
||
# Nex Animation Studio · 打部署包 / 推到服务器(在开发机上跑)
|
||
#
|
||
# ./scripts/deploy.sh 打包到 .local/deploy/*.tar.gz
|
||
# ./scripts/deploy.sh --check 只体检:会带上什么、会排掉什么
|
||
# ./scripts/deploy.sh --host deploy@10.0.0.8 --path /opt/nex_animation
|
||
# 打包 + 上传 + 远端 install + 重启
|
||
# ./scripts/deploy.sh --no-seed 包里不带模型配置(服务器自己从空库起)
|
||
# ./scripts/deploy.sh --with-dist 连本地构建产物一起带上(服务器没有 Node 时用)
|
||
#
|
||
# 部署包 = 代码 + 表结构定义 + 模型配置与管理员(scripts/seed/)+ 启动脚本。
|
||
#
|
||
# 刻意**不在**包里的东西,每一条都有理由:
|
||
# *.db / nex_animation.db 开发库全是过程产物(项目、镜头、任务、5000 行事件日志),
|
||
# 新环境要的是干净起点,表结构由应用启动时自己建
|
||
# media/ (1.7G) 已生成的视频/图片/上传素材属于数据,换环境是「迁移」不是「部署」
|
||
# models/ (465M) whisper.cpp 权重,server.sh install 会自己下
|
||
# backend/tests/ 开发自检资产(487 条用例);服务器不需要 pytest 才能跑
|
||
# frontend/dist/ 构建产物,server.sh build 在服务器上重建,避免带过期哈希
|
||
# .venv/ node_modules/ 跨机的二进制与依赖目录,必须在目标机重装
|
||
# .env 机器相关配置(ComfyUI 地址、数据库串),首装由 .env.example 生成
|
||
# .local/ reports/ .trash/ 日志、pid、验收证据、回收站
|
||
# .git/ 版本历史是开发机资产,服务器只需要工作树
|
||
#
|
||
# 上传用 rsync 而不是 scp:断网可续、只传差异,且 --delete 之外我们不删远端任何东西,
|
||
# 因为 /opt/nex_animation 里可能已经有 media/ 与 .env。解压目录与包同名,
|
||
# 老版本留在原地,出问题直接把 .env 指回旧目录就能回滚。
|
||
# ============================================================
|
||
set -euo pipefail
|
||
|
||
ROOT="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)"
|
||
PY="$ROOT/.venv/bin/python"
|
||
OUT_DIR="$ROOT/.local/deploy"
|
||
STAMP="$(date +%Y%m%d-%H%M)"
|
||
PKG_NAME="nex_animation-$STAMP"
|
||
REMOTE_HOST="" REMOTE_PATH="/opt/nex_animation"
|
||
WITH_SEED=1 WITH_DIST=0 CHECK_ONLY=0 DRY_REMOTE=0
|
||
|
||
if [ -t 1 ]; then C_G=$'\033[32m'; C_Y=$'\033[33m'; C_R=$'\033[31m'; C_B=$'\033[36m'; C_D=$'\033[2m'; C_0=$'\033[0m'
|
||
else C_G=""; C_Y=""; C_R=""; C_B=""; C_D=""; C_0=""; fi
|
||
ok() { printf ' %sok%s %s\n' "$C_G" "$C_0" "$*"; }
|
||
info() { printf ' %s\n' "$*"; }
|
||
warn() { printf ' %s!%s %s\n' "$C_Y" "$C_0" "$*"; }
|
||
die() { printf ' %sXX%s %s\n' "$C_R" "$C_0" "$*" >&2; exit 1; }
|
||
head2() { printf '\n%s%s%s\n' "$C_B" "$*" "$C_0"; }
|
||
|
||
while [ $# -gt 0 ]; do
|
||
case "$1" in
|
||
--check) CHECK_ONLY=1 ;;
|
||
--host) REMOTE_HOST="${2:?--host 需要 user@ip}"; shift ;;
|
||
--path) REMOTE_PATH="${2:?--path 需要目录}"; shift ;;
|
||
--out) OUT_DIR="${2:?--out 需要目录}"; shift ;;
|
||
--no-seed) WITH_SEED=0 ;;
|
||
--with-dist) WITH_DIST=1 ;;
|
||
--dry-run) DRY_REMOTE=1 ;;
|
||
-h|--help) sed -n '3,32p' "${BASH_SOURCE[0]}" | sed 's/^# \{0,1\}//'; exit 0 ;;
|
||
*) die "未知参数:$1(./scripts/deploy.sh --help)" ;;
|
||
esac
|
||
shift
|
||
done
|
||
|
||
command -v rsync >/dev/null || die "缺少 rsync"
|
||
[ -f "$ROOT/backend/app/main.py" ] || die "看起来不是本项目根目录:找不到 backend/app/main.py"
|
||
|
||
# ---------------------------------------------------------------- 排除清单
|
||
EX=(--exclude '.git/' --exclude '.github/' --exclude '.venv/' --exclude 'venv/'
|
||
--exclude 'node_modules/' --exclude '__pycache__/' --exclude '*.py[cod]'
|
||
--exclude '.pytest_cache/' --exclude '.mypy_cache/' --exclude '.ruff_cache/'
|
||
--exclude 'backend/tests/'
|
||
--include 'frontend/src/components/media/' --exclude 'media/'
|
||
--exclude '/models/' --exclude 'frontend/dist/' --exclude '/.local/'
|
||
--exclude '/.trash/' --exclude '/reports/' --exclude '/dist/'
|
||
--exclude '*.db' --exclude '*.db-wal' --exclude '*.db-shm' --exclude '*.sqlite3'
|
||
--exclude '.env' --exclude '*.log' --exclude 'nohup.out' --exclude '*.pid'
|
||
--exclude '.DS_Store' --exclude '._*' --exclude '.idea/' --exclude '.vscode/'
|
||
--exclude '.Trash*')
|
||
[ "$WITH_SEED" = 1 ] || EX+=(--exclude 'scripts/seed/')
|
||
|
||
STAGE="$(mktemp -d "${TMPDIR:-/tmp}/nexdeploy.XXXXXX")"
|
||
cleanup() { [ -n "${STAGE:-}" ] && find "$STAGE" -mindepth 1 -delete 2>/dev/null; }
|
||
trap cleanup EXIT
|
||
|
||
head2 "整理部署内容 → $STAGE/nex_animation"
|
||
mkdir -p "$STAGE/nex_animation"
|
||
rsync -a "${EX[@]}" "$ROOT/" "$STAGE/nex_animation/"
|
||
# 带前导斜杠的排除项只匹配仓库根(/media/ 不会误伤 backend/app/models/ 这类代码目录),
|
||
# 不带斜杠的(node_modules/、__pycache__/、media/)在任意层级生效——media/ 故意放开,
|
||
# 产物目录漂到哪都不该进包;它只匹配目录,代码里的 api/media.py 不受影响(体检第 3 条会验)。
|
||
if [ "$WITH_DIST" = 1 ]; then
|
||
[ -f "$ROOT/frontend/dist/index.html" ] || die "--with-dist 需要先构建:./scripts/server.sh build"
|
||
rsync -a "$ROOT/frontend/dist/" "$STAGE/nex_animation/frontend/dist/"
|
||
info "已附带前端产物(服务器可跳过 npm build)"
|
||
fi
|
||
|
||
# ---------------------------------------------------------------- 体检
|
||
D="$STAGE/nex_animation"
|
||
head2 "体检"
|
||
REQUIRED=(backend/app/main.py backend/app/models/__init__.py backend/requirements.txt
|
||
backend/Dockerfile frontend/package.json frontend/src/main.tsx frontend/index.html
|
||
frontend/vite.config.ts frontend/src/styles/tokens.css
|
||
scripts/server.sh scripts/dev.sh scripts/e2e_selfcheck.py .env.example
|
||
docker-compose.yml README.md)
|
||
for f in "${REQUIRED[@]}"; do
|
||
[ -e "$D/$f" ] || die "部署包缺少关键文件:$f"
|
||
done
|
||
ok "关键入口齐全(${#REQUIRED[@]} 项)"
|
||
|
||
# backend/app 下的 .py 必须一个不少。教训来自 --exclude 'models/':本意是排仓库根的
|
||
# whisper 权重目录(465M),rsync 的裸目录名在任意层级生效,把 backend/app/models/
|
||
# 这 11 个 ORM 文件也排掉了——体检全绿、包照打,服务器首启 ModuleNotFoundError。
|
||
# 数一遍文件比逐条猜 exclude 更可靠:只要数字不等就是有误伤。
|
||
src_py=$(find "$ROOT/backend/app" -name '*.py' -not -path '*/__pycache__/*' | wc -l | tr -d ' ')
|
||
pkg_py=$(find "$D/backend/app" -name '*.py' -not -path '*/__pycache__/*' | wc -l | tr -d ' ')
|
||
if [ "$src_py" != "$pkg_py" ]; then
|
||
printf ' %sXX%s 后端代码不完整:源 %s 个 .py,包里只有 %s 个\n' "$C_R" "$C_0" "$src_py" "$pkg_py" >&2
|
||
diff <(cd "$ROOT/backend/app" && find . -name '*.py' -not -path '*/__pycache__/*' | sort) \
|
||
<(cd "$D/backend/app" && find . -name '*.py' -not -path '*/__pycache__/*' | sort) \
|
||
| sed -n '1,20p' >&2
|
||
die "有 --exclude 误伤了 backend/app 下的代码目录(检查上面 < 开头的行)"
|
||
fi
|
||
ok "后端代码完整(backend/app ${pkg_py} 个 .py 全部入包)"
|
||
|
||
# 前端同理,而且更容易看漏:源码刚从 .vue 换成 .tsx,任何按扩展名写的 exclude /
|
||
# 体检都会「一条都不匹配」地静默通过。服务器上是 npm run build,src 少文件 = 构建失败
|
||
# 或者构建出一个缺页面的产物,所以按后端的同一套办法数一遍。
|
||
fe_files() { [ -d "$1" ] || return 0
|
||
(cd "$1" && find . -type f \( -name '*.ts' -o -name '*.tsx' -o -name '*.css' \) | sort); }
|
||
src_fe=$(fe_files "$ROOT/frontend/src" | wc -l | tr -d ' ')
|
||
pkg_fe=$(fe_files "$D/frontend/src" | wc -l | tr -d ' ')
|
||
if [ "$src_fe" != "$pkg_fe" ]; then
|
||
printf ' %sXX%s 前端代码不完整:源 %s 个,包里只有 %s 个\n' "$C_R" "$C_0" "$src_fe" "$pkg_fe" >&2
|
||
diff <(fe_files "$ROOT/frontend/src") <(fe_files "$D/frontend/src") | sed -n '1,20p' >&2
|
||
die "有 --exclude 误伤了 frontend/src 下的源码(检查上面 < 开头的行)"
|
||
fi
|
||
ok "前端代码完整(frontend/src ${pkg_fe} 个源文件全部入包)"
|
||
|
||
# 再往前一步:直接 import 一次。文件数对了不代表包能起来(少 __init__.py、
|
||
# 循环依赖、误排子包都会在这里现形),而它在开发机上只要一秒。
|
||
# 用临时 SQLite 库:默认 DATABASE_URL 指向 Postgres,开发机的 venv 里没装 psycopg。
|
||
smoke=$(mktemp -d "${TMPDIR:-/tmp}/nexsmoke.XXXXXX")
|
||
# PYTHONDONTWRITEBYTECODE:不加的话这次 import 会往暂存树里写 62 个 .pyc(约 1.6M),
|
||
# 统计和打包都在它后面,构建产物就跟着上服务器了。
|
||
if ! (cd "$D/backend" && PYTHONPATH=. PYTHONDONTWRITEBYTECODE=1 \
|
||
DATABASE_URL="sqlite://///${smoke}/smoke.db" \
|
||
MEDIA_ROOT="$smoke/media" TASK_EXECUTOR=inline "$PY" -c \
|
||
"import app.main; print(len(app.main.app.routes))") > "$smoke/out" 2> "$smoke/err"; then
|
||
printf ' %sXX%s 部署包里的后端 import 失败(服务器首启会原样复现):\n' "$C_R" "$C_0" >&2
|
||
sed -n '1,12p' "$smoke/err" >&2
|
||
die "别打包了,先修上面的问题"
|
||
fi
|
||
ok "后端可启动:import app.main 通过($(cat "$smoke/out") 条路由)"
|
||
find "$smoke" -mindepth 1 -delete 2>/dev/null; rmdir "$smoke" 2>/dev/null || true
|
||
|
||
FORBIDDEN=(nex_animation.db backend/tests media models .venv frontend/node_modules reports .local .trash)
|
||
bad=()
|
||
for f in "${FORBIDDEN[@]}"; do
|
||
if [ -e "$D/$f" ]; then bad+=("$f"); fi
|
||
done
|
||
if [ "${#bad[@]}" -gt 0 ]; then
|
||
printf ' %sXX%s 部署包里出现了不该有的东西:%s\n' "$C_R" "$C_0" "${bad[*]-}" >&2
|
||
die "请检查上面的 --exclude 清单"
|
||
fi
|
||
ok "开发产物已全部排除($(IFS=' '; echo "${FORBIDDEN[*]}"))"
|
||
|
||
# 镜像检查:上一条管「打包别多带」,这一条管「提交别少带」。
|
||
# 起因是同一个坑——`models/` 少个前导斜杠,backend/app/models/ 整个 ORM 目录
|
||
# 就同时从包和仓库里消失了,而两边都不会报错。这里把全部后端/前端源文件
|
||
# 喂给 git check-ignore,任何命中都说明某条忽略规则写宽了。
|
||
# 用临时 git 目录跑:--no-index + 独立 GIT_DIR 让它只看 .gitignore,
|
||
# 不受本仓库索引状态影响(换机器、CI 里跑结果都一样)。
|
||
if command -v git >/dev/null 2>&1; then
|
||
ign=$(mktemp -d "${TMPDIR:-/tmp}/nexign.XXXXXX"); git init -q "$ign"
|
||
find "$ROOT/backend/app" "$ROOT/frontend/src" -type f \
|
||
\( -name '*.py' -o -name '*.ts' -o -name '*.tsx' -o -name '*.css' \) \
|
||
-not -path '*/__pycache__/*' | sed "s|^$ROOT/||" | sort > "$ign/src.txt"
|
||
GIT_DIR="$ign/.git" GIT_WORK_TREE="$ROOT" \
|
||
git check-ignore --no-index --stdin < "$ign/src.txt" > "$ign/eaten.txt" || true
|
||
n_code=$(wc -l < "$ign/src.txt" | tr -d ' ')
|
||
if [ -s "$ign/eaten.txt" ]; then
|
||
printf ' %sXX%s .gitignore 正在吃掉代码文件(提交时它们会凭空消失):\n' "$C_R" "$C_0" >&2
|
||
sed -n '1,20p' "$ign/eaten.txt" >&2
|
||
die "名字撞上代码目录的规则必须带前导斜杠锚根(对照 .gitignore 里 /models/ 那段说明)"
|
||
fi
|
||
find "$ign" -mindepth 1 -delete 2>/dev/null || true; rmdir "$ign" 2>/dev/null || true
|
||
ok ".gitignore 无误伤:$n_code 个后端/前端源文件全部可提交"
|
||
else
|
||
warn "没装 git,跳过 .gitignore 误伤检查"
|
||
fi
|
||
|
||
if [ "$WITH_SEED" = 1 ]; then
|
||
for f in model_specs.json model_secret_keys.json users.json; do
|
||
[ -s "$D/scripts/seed/$f" ] || die "scripts/seed/$f 缺失或为空:先在开发机跑 .venv/bin/python scripts/seed.py export"
|
||
done
|
||
n=$("$ROOT/.venv/bin/python" -c "import json;print(json.load(open('$D/scripts/seed/model_specs.json'))['_meta']['count'])" 2>/dev/null || echo "?")
|
||
ok "部署数据就绪:模型配置 $n 条 + 加密主密钥 + 管理员账号"
|
||
if grep -l '"api_key_encrypted": "sk-' "$D"/scripts/seed/*.json >/dev/null 2>&1; then
|
||
die "seed 里出现明文 API Key(sk-…),请先在模型中心重填 Key 再导出"
|
||
fi
|
||
else
|
||
warn "--no-seed:服务器将从空库启动,只有 mock 模型可用"
|
||
fi
|
||
big=$(find "$D" -type f -size +20M 2>/dev/null | head -5)
|
||
if [ -n "$big" ]; then warn "包里有大文件,确认是否该带:$(echo "$big" | tr '\n' ' ')"; fi
|
||
find "$D" -type f -name '.DS_Store' -delete 2>/dev/null || true
|
||
TOTAL_FILES=$(find "$D" -type f | wc -l | tr -d ' ')
|
||
TOTAL_SIZE=$(du -sh "$D" | cut -f1)
|
||
info "共 $TOTAL_FILES 个文件,$TOTAL_SIZE"
|
||
printf ' %s目录概览%s\n' "$C_D" "$C_0"
|
||
(cd "$D" && du -sh */ .[^.]*/ 2>/dev/null | sort -h | sed 's/^/ /') || true
|
||
|
||
{
|
||
echo "Nex Animation Studio 部署包"
|
||
echo "生成时间 : $(date '+%F %T %Z')"
|
||
echo "生成机器 : $(hostname)"
|
||
echo "源目录 : $ROOT"
|
||
echo "文件数 : $TOTAL_FILES 体积: $TOTAL_SIZE"
|
||
echo "模型配置 : $([ "$WITH_SEED" = 1 ] && echo '随包(scripts/seed/)' || echo '未随包')"
|
||
echo "前端产物 : $([ "$WITH_DIST" = 1 ] && echo '随包' || echo '服务器上 server.sh build 生成')"
|
||
echo
|
||
echo "服务器三步:"
|
||
echo " tar -xzf $PKG_NAME.tar.gz && cd nex_animation"
|
||
echo " ./scripts/server.sh install # 装依赖 + 建表 + 导入模型配置与管理员"
|
||
echo " ./scripts/server.sh start && ./scripts/server.sh verify"
|
||
} > "$D/DEPLOY-INFO.txt"
|
||
|
||
# 兜底清扫:字节码残渣不该进包,无论是谁写的(rsync 排掉了 __pycache__,
|
||
# 但上面的 import、以及本地跑过的 seed.py 都可能现造)。
|
||
find "$D" -name '*.py[co]' -delete 2>/dev/null || true
|
||
find "$D" -type d -name '__pycache__' -empty -delete 2>/dev/null || true
|
||
|
||
if [ "$CHECK_ONLY" = 1 ]; then
|
||
head2 "--check:到此为止,未打包"
|
||
exit 0
|
||
fi
|
||
|
||
# ---------------------------------------------------------------- 打包
|
||
mkdir -p "$OUT_DIR"
|
||
PKG="$OUT_DIR/$PKG_NAME.tar.gz"
|
||
head2 "打包"
|
||
# COPYFILE_DISABLE=1:macOS 的 bsdtar 默认把 xattr 写成 ._* 伴生文件,
|
||
# Linux 解包后到处是垃圾 dot 文件,构建时还会被 vite 当模块扫到。
|
||
COPYFILE_DISABLE=1 tar -czf "$PKG" -C "$STAGE" nex_animation
|
||
[ -f "$PKG" ] || die "打包失败"
|
||
ok "$PKG($(du -sh "$PKG" | cut -f1))"
|
||
|
||
if [ -n "$REMOTE_HOST" ]; then
|
||
head2 "上传 $REMOTE_HOST:$REMOTE_PATH"
|
||
ssh "$REMOTE_HOST" "mkdir -p '$REMOTE_PATH'" || die "无法登录 $REMOTE_HOST 或创建 $REMOTE_PATH"
|
||
RSYNC_UP=(rsync -az --info=progress2)
|
||
[ "$DRY_REMOTE" = 1 ] && RSYNC_UP+=(--dry-run)
|
||
"${RSYNC_UP[@]}" "$PKG" "$REMOTE_HOST:$REMOTE_PATH/" || die "上传失败"
|
||
ok "已上传"
|
||
if [ "$DRY_REMOTE" = 1 ]; then
|
||
info "--dry-run:不执行远端安装"
|
||
exit 0
|
||
fi
|
||
head2 "远端安装并重启"
|
||
# .env 与 media/ 不在包里,所以解覆盖式包不会动到它们;这里也不加 --delete。
|
||
ssh -t "$REMOTE_HOST" "set -e
|
||
cd '$REMOTE_PATH'
|
||
tar -xzf '$PKG_NAME.tar.gz'
|
||
cd nex_animation
|
||
./scripts/server.sh install
|
||
./scripts/server.sh restart
|
||
./scripts/server.sh status" || die "远端安装失败(上面是远端输出)"
|
||
info "${C_B}完成${C_0} ssh $REMOTE_HOST 后可用 ./scripts/server.sh logs 看日志"
|
||
else
|
||
head2 "下一步"
|
||
info "1) 传包:rsync -az '$PKG' deploy@server:/opt/"
|
||
info "2) 解包:ssh deploy@server 'cd /opt && tar -xzf $PKG_NAME.tar.gz && cd nex_animation'"
|
||
info "3) 安装:./scripts/server.sh install"
|
||
info "4) 启动:./scripts/server.sh start && ./scripts/server.sh verify"
|
||
info "${C_D}或者一步到位:./scripts/deploy.sh --host deploy@server --path /opt/nex_animation${C_0}"
|
||
fi
|