From 01a9521bc729c2f34f128e3a515a7492f4753a60 Mon Sep 17 00:00:00 2001 From: "mula.liu" Date: Thu, 29 Oct 2026 14:18:54 +0800 Subject: [PATCH] =?UTF-8?q?chore(scripts):=20=E5=90=AF=E5=8A=A8/=E9=83=A8?= =?UTF-8?q?=E7=BD=B2=E8=84=9A=E6=9C=AC=E7=BB=9F=E4=B8=80=E8=BF=81=E5=85=A5?= =?UTF-8?q?=20scripts/=EF=BC=8C=E5=8E=86=E5=8F=B2=E4=BF=AE=E6=95=B0?= =?UTF-8?q?=E8=84=9A=E6=9C=AC=E5=BD=92=E6=A1=A3=20legacy/?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - run.sh / deploy.sh → scripts/,任意目录可执行,自带环境兜底 - 5 个一次性历史脚本 → scripts/legacy/,补 README 说明用法与执行顺序 - 启动不再自动导入 Excel;导入脚本默认读 data/import/,去掉硬编码路径 - 配套更新 README / MEMORY / Dockerfile / compose / .dockerignore - 验证:pytest 84 passed;空环境 run.sh 冷启动 200 --- .dockerignore | 9 +- .env | 2 +- .env.example | 10 +- .workbuddy/memory/2026-10-29.md | 23 ++ .workbuddy/memory/MEMORY.md | 15 +- Dockerfile | 6 +- README.md | 127 ++++++---- docker-compose.yml | 10 +- run.sh | 100 -------- scripts/README.md | 36 +++ deploy.sh => scripts/deploy.sh | 154 ++++++++++-- scripts/import_custom_ledger.py | 15 +- scripts/import_excel.py | 17 +- scripts/import_staff.py | 15 +- scripts/legacy/README.md | 22 ++ scripts/{ => legacy}/add_entry_date.py | 13 +- scripts/{ => legacy}/fix_period_split.py | 9 +- scripts/{ => legacy}/merge_project.py | 6 +- scripts/{ => legacy}/migrate_custom.py | 4 +- scripts/{ => legacy}/shift_year.py | 10 +- scripts/run.sh | 305 +++++++++++++++++++++++ 21 files changed, 677 insertions(+), 231 deletions(-) create mode 100644 .workbuddy/memory/2026-10-29.md delete mode 100755 run.sh create mode 100644 scripts/README.md rename deploy.sh => scripts/deploy.sh (64%) create mode 100644 scripts/legacy/README.md rename scripts/{ => legacy}/add_entry_date.py (95%) rename scripts/{ => legacy}/fix_period_split.py (97%) rename scripts/{ => legacy}/merge_project.py (96%) rename scripts/{ => legacy}/migrate_custom.py (97%) rename scripts/{ => legacy}/shift_year.py (91%) create mode 100755 scripts/run.sh diff --git a/.dockerignore b/.dockerignore index d3c6c6f..49d482e 100644 --- a/.dockerignore +++ b/.dockerignore @@ -15,9 +15,12 @@ data .env.* !.env.example -# 本机启动/部署脚本 -run.sh -deploy.sh +# 本机启动/部署脚本与历史一次性脚本,镜像里都不需要 +scripts/run.sh +scripts/deploy.sh +scripts/legacy +tests +requirements-dev.txt docker-compose.yml Dockerfile README.md diff --git a/.env b/.env index 103dbfa..1e54091 100644 --- a/.env +++ b/.env @@ -9,4 +9,4 @@ AI_API_KEY= AI_MODEL=deepseek-chat AI_TEMPERATURE=0.2 -PORT=8770 +PORT=5173 diff --git a/.env.example b/.env.example index a40336d..6b60c21 100644 --- a/.env.example +++ b/.env.example @@ -20,8 +20,8 @@ ADMIN_PASSWORD=admin123 # 登录态有效天数 SESSION_DAYS=30 -# ---- Docker 部署(deploy.sh / docker-compose.yml 读取)---- -# 对外端口。容器内部固定监听 8770,换端口只改这里(上面的 PORT 是本机 run.sh 用的) +# ---- Docker 部署(scripts/deploy.sh / docker-compose.yml 读取)---- +# 对外端口。容器内部固定监听 8770,换端口只改这里(上面的 PORT 是本机 scripts/run.sh 用的) HOST_PORT=8770 # 周期/周次/入库时间等日期按此时区计算,别留 UTC,否则整体差 8 小时 TZ=Asia/Shanghai @@ -32,7 +32,7 @@ TZ=Asia/Shanghai # 本地是别的名字或别的 tag,就在下面钉死。别把某台机器上的前缀提交进仓库,换台机器就找不到了。 # BASE_IMAGE=python:3.12-slim # pip 源:构建时在容器里装依赖,容器不认宿主机的代理,只能换源; -# ./deploy.sh 会在容器里真访问一次挑可用的(默认清华源),想固定就取消注释: +# ./scripts/deploy.sh 会在容器里真访问一次挑可用的(默认清华源),想固定就取消注释: # PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple -# 关掉自动探测(源已在上面配好,或机器能直连官方源):CN_MIRROR=0 ./deploy.sh up -# 跳过构建、直接用本地已有镜像(离线机器上 docker load 完之后用):NO_BUILD=1 ./deploy.sh up +# 关掉自动探测(源已在上面配好,或机器能直连官方源):CN_MIRROR=0 ./scripts/deploy.sh up +# 跳过构建、直接用本地已有镜像(离线机器上 docker load 完之后用):NO_BUILD=1 ./scripts/deploy.sh up diff --git a/.workbuddy/memory/2026-10-29.md b/.workbuddy/memory/2026-10-29.md new file mode 100644 index 0000000..a06a8d3 --- /dev/null +++ b/.workbuddy/memory/2026-10-29.md @@ -0,0 +1,23 @@ +# 2026-10-29 + +本轮:清理 `scripts/`,启动/部署脚本统一迁入 `scripts/`,补齐环境自动安装。 + +## 结构调整 + +- `run.sh` → `scripts/run.sh`,`deploy.sh` → `scripts/deploy.sh`;脚本内部用 `BASH_SOURCE/..` 定位项目根目录,任意目录可执行。 +- 历史一次性脚本迁到 `scripts/legacy/`:`migrate_custom.py`、`add_entry_date.py`、`fix_period_split.py`、`merge_project.py`、`shift_year.py`;同步修正 `sys.path`(多一层 `parents[2]`)与用法注释。 +- `scripts/` 保留启动脚本 + `init_db.py` + 三个导入脚本;新增 `scripts/README.md`、`scripts/legacy/README.md`。 +- 启动不再自动导入 Excel;全新库只建空表。导入脚本默认读 `data/import/`,支持 `XLSX` / `STAFF_XLSX` / `CUSTOM_LEDGER_XLSX` 覆盖,去掉了 `/Users/jiliu/...` 与 Desktop 硬编码。 +- `.dockerignore` 排除 `scripts/run.sh`、`scripts/deploy.sh`、`scripts/legacy`、`tests`、`requirements-dev.txt`;README / MEMORY / Dockerfile / compose / `.env.example` 路径同步更新。 + +## 启动兜底 + +- `scripts/run.sh`:Python 3.10+ 检测(缺了按 `AUTO_INSTALL=1` 用 dnf/yum/apt/apk/brew 装)→ 项目内 `.venv` → 按 `requirements.txt` 的 cksum 判断是否装依赖(默认源失败依次切清华/阿里)→ 缺 `.env` 从示例生成 → 建 `data/{uploads,exports,import}` → 首次建库 → 端口占用检查 → 跨平台开浏览器。 +- `scripts/deploy.sh`:任意目录执行;缺 docker 时优先包管理器、再退回 get.docker.com;守护进程没起来尝试 systemd / Docker Desktop;compose 缺失尝试补插件;`AUTO_INSTALL=0` 可关闭自动安装。 + +## 验证 + +- 空环境(系统 Python 3.11 无 fastapi)跑 `NO_OPEN=1 DEV=0 ./scripts/run.sh`:自动建 `.venv`、装依赖、建库、启动,`/health` 200,`/` 200。 +- 已在运行时重跑:直接提示地址并 `exit 0`;`/tmp` 下执行同样正常;`DEV=1` 热更新参数启动正常。 +- `./.venv/bin/python -m pytest -q` → **84 passed**。 +- 本机没有 docker,`AUTO_INSTALL=0 ./scripts/deploy.sh status` 按预期打印安装指引并 `exit 1`。 diff --git a/.workbuddy/memory/MEMORY.md b/.workbuddy/memory/MEMORY.md index 8bb75f0..4ec6221 100644 --- a/.workbuddy/memory/MEMORY.md +++ b/.workbuddy/memory/MEMORY.md @@ -2,15 +2,15 @@ 软件部关键任务追踪看板。FastAPI 后端 + 原生 JS 前端 + SQLite。 -## 运行环境(Windows) +## 运行环境 -`run.sh` 是 macOS 专用(`open`、`/Users/jiliu/...` 绝对路径),Windows 上按以下方式手动跑: +启动脚本在 `scripts/` 下,macOS / Linux / Windows Git Bash 都能跑,自带环境兜底: -- Python 解释器(已装好依赖):`C:/Users/Administrator/.workbuddy/binaries/python/envs/default/Scripts/python.exe` -- 装依赖:` -m pip install -r requirements.txt` -- 启动:` -m uvicorn app.main:app --host 127.0.0.1 --port 8770` -- 端口/配置来自 `.env`(`PORT=8770`)。DB 用 SQLite,落在 `data/board.db`,仓库里已带数据。 +- 启动:`./scripts/run.sh`(自动找 Python 3.10+、建 `.venv`、缺依赖自动装、缺 `.env` 从示例生成、首次建库) +- 只检查不安装:`AUTO_INSTALL=0 ./scripts/run.sh` +- 端口/配置来自 `.env`(`PORT=8770`)。DB 用 SQLite,落在 `data/board.db`;首次启动自动建库,已有库直接复用。 - 健康检查:`GET /health`;API 文档:`/api/docs`;首页:`/`。 +- Docker:`./scripts/deploy.sh up`(缺 docker / compose 时默认尝试自动安装,`AUTO_INSTALL=0` 关闭)。 ## 关键结构 @@ -18,7 +18,8 @@ - `app/finance.py`(定制项目财务口径**唯一入口**)、`app/audit.py`(操作日志写入)。 - `web/` 前端:`index.html` / `app.js` / `styles.css` / `icons.js`(零构建,no-cache + ETag)。 - `tests/` + `pytest.ini` + `requirements-dev.txt`:接口级测试(83 例,`./.venv/bin/python -m pytest`),`conftest.py` 把库指到临时文件,**不碰 `data/board.db`**。 -- `scripts/` 运维脚本:`init_db.py`、`import_excel.py`、`import_staff.py`、`migrate_custom.py`、`shift_year.py`、`fix_period_split.py`、`merge_project.py`、`add_entry_date.py`、**`import_custom_ledger.py`**(把《定开项目.xlsx》市场台账导入 `custom_projects`,支持 `--dry-run`/`--date`,按 项目ID→名称 匹配做 upsert + 变更比对)。 +- `scripts/`:启动/部署 `run.sh`、`deploy.sh`;建库 `init_db.py`;数据导入 `import_excel.py`、`import_staff.py`、**`import_custom_ledger.py`**(《定开项目.xlsx》市场台账 → `custom_projects`,支持 `--dry-run`/`--date`,按 项目ID→名称 upsert)。 +- `scripts/legacy/`:历史一次性脚本(`migrate_custom.py`、`shift_year.py`、`fix_period_split.py`、`merge_project.py`、`add_entry_date.py`),不参与启动、不进镜像。 - `.workbuddy/memory/` 存每日工作日志(随仓库提交,2026-09-12 起)。 - `schema_patch.ensure_columns` 会在启动时自动给已有表补上模型里**新增的可空列**(`ALTER TABLE ... ADD COLUMN`),所以加字段只需改 `models.py`,不用写迁移脚本。 diff --git a/Dockerfile b/Dockerfile index 46a0621..bf546a4 100644 --- a/Dockerfile +++ b/Dockerfile @@ -1,6 +1,6 @@ # 部门关键任务追踪看板 · 运行镜像 # -# 构建:docker build -t unis-board . (日常部署建议用 ./deploy.sh up) +# 构建:docker build -t unis-board . (日常部署建议用 ./scripts/deploy.sh up) # 跑: docker run -d -p 8770:8770 -v $PWD/data:/app/data unis-board # # 镜像里只有依赖和代码,数据库/附件都在 data/,靠 bind mount 挂进来。 @@ -8,7 +8,7 @@ # # 基础镜像。国内直连 docker.io 会在 load metadata 阶段 TLS 超时,所以支持指成本地已有的镜像: # docker pull python:3.12-slim && docker build --build-arg BASE_IMAGE=python:3.12-slim . -# ./deploy.sh 会优先用本地已有的同名镜像,不会去联网试各种加速站。 +# ./scripts/deploy.sh 会优先用本地已有的同名镜像,不会去联网试各种加速站。 ARG BASE_IMAGE=python:3.12-slim FROM ${BASE_IMAGE} @@ -28,7 +28,7 @@ COPY requirements.txt ./ # pip 源:默认清华源(国内直连 pypi.org 基本超时,而且换基础镜像/代理都救不了它, # 构建容器里的请求只能靠这里换源)。境外机器或内网自建源就覆盖: # docker build --build-arg PIP_INDEX_URL=https://pypi.org/simple . -# ./deploy.sh up 会自动探测可用源并写进 .env,正常不用手工传。 +# ./scripts/deploy.sh up 会自动探测可用源并写进 .env,正常不用手工传。 ARG PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple RUN pip install --retries 5 --timeout 60 -i "$PIP_INDEX_URL" -r requirements.txt # 用 MySQL 部署时放开下面这行(与 requirements.txt 的注释一致) diff --git a/README.md b/README.md index a2cae87..4801c23 100644 --- a/README.md +++ b/README.md @@ -67,57 +67,68 @@ 历史数据的年份口径需要整体调整时: ```bash -python scripts/shift_year.py --dry-run # 先预演,看清楚了再执行 -python scripts/shift_year.py # 全部 +1 年 -python scripts/shift_year.py --years -1 # 反向回滚 +python scripts/legacy/shift_year.py --dry-run # 先预演,看清楚了再执行 +python scripts/legacy/shift_year.py # 全部 +1 年 +python scripts/legacy/shift_year.py --years -1 # 反向回滚 ``` +> 历史一次性修数脚本统一收在 `scripts/legacy/`,不参与启动流程。 + > 内部按年份从大到小更新,避免 2024→2025 撞上尚未更新的 2025;执行后会校验 sort_key 无重复,有重复则整体回滚。 > 执行前建议手动备份:`cp data/board.db data/board.db.bak` ## 快速开始 ```bash -cd /Users/jiliu/WorkSpace/unis_manager -./run.sh +cd /path/to/unis_manager +./scripts/run.sh ``` 打开 -首次运行 `run.sh` 会自动完成:选择带依赖的 Python 解释器 → 缺依赖则安装 → 建库 → 导入历史 Excel → 拆分定制项目,然后启动并打开浏览器。 +首次运行 `scripts/run.sh` 会自动完成:检查 Python 3.10+ → 建项目内 `.venv` → 缺依赖自动安装(默认源失败会依次切国内镜像)→ 缺 `.env` 时从 `.env.example` 生成 → 建库 → 启动并打开浏览器。已有 `data/board.db` 时直接复用,不会覆盖数据。 ### 启动方式与排错 | 场景 | 命令 | |---|---| -| 正常启动 | `./run.sh` | -| 报 `permission denied` | `chmod +x run.sh` 后重试(**不要用 sudo**) | -| 不想改权限 | `bash run.sh` | -| 换端口 | `PORT=8771 ./run.sh` | -| 关闭热加载 | `DEV=0 ./run.sh`(默认是开着的) | -| 不自动开浏览器 | `NO_OPEN=1 ./run.sh` | +| 正常启动 | `./scripts/run.sh` | +| 报 `permission denied` | `chmod +x scripts/run.sh` 后重试(**不要用 sudo**) | +| 不想改权限 | `bash scripts/run.sh` | +| 缺 Python / 依赖 | 脚本自动安装;不想自动装就设 `AUTO_INSTALL=0`,脚本只打印命令 | +| 换端口 | `PORT=8771 ./scripts/run.sh` | +| 关闭热加载 | `DEV=0 ./scripts/run.sh`(默认是开着的) | +| 不自动开浏览器 | `NO_OPEN=1 ./scripts/run.sh` | | 提示"端口已被占用" | 原窗口 `Ctrl+C`,或 `lsof -ti:8770 \| xargs kill` 后重跑 | -| 用 Docker 部署(不装 Python) | `./deploy.sh up`,见下面「Docker 部署」 | +| 用 Docker 部署(不装 Python) | `./scripts/deploy.sh up`,见下面「Docker 部署」 | > ⚠️ 不要用 `sudo` 启动:数据库文件会变成 root 属主,后续写入会失败。 > **热更新(默认开启)**:uvicorn 除 `*.py` 外还会监听 `web/**` 的 js/css/html 与 `.env`,改动即重启; > 页面里的 `web/livereload.js` 每秒读一次 `/health` 的启动代际,发现服务重启后自动刷新浏览器。 -> 也就是说改完代码**不用手动重启、也不用手动刷新**。`DEV=0 ./run.sh` 可关掉(关闭后该脚本首轮即自行停止)。 +> 也就是说改完代码**不用手动重启、也不用手动刷新**。`DEV=0 ./scripts/run.sh` 可关掉(关闭后该脚本首轮即自行停止)。 > `data/*.db` 的写入不会触发重启。 -### 手动分步执行(等价于 run.sh 干的事) +### 手动分步执行(等价于 scripts/run.sh 干的事) ```bash -pip install -r requirements.txt -python scripts/init_db.py -python scripts/import_excel.py "/Users/jiliu/WorkSpace/定开管理/软件开发部管理工作执行表.xlsx" -python scripts/migrate_custom.py -python -m uvicorn app.main:app --port 8770 +python3 -m venv .venv +./.venv/bin/pip install -r requirements.txt +./.venv/bin/python scripts/init_db.py +./.venv/bin/python -m uvicorn app.main:app --port 8770 ``` -> 重新导入:`python scripts/import_excel.py --reset` 之后再跑一次 `python scripts/migrate_custom.py` -> (迁移脚本会删除常规表里的「定制开发」容器,重复执行前请先 reset) +> Windows 把 `.venv/bin/` 换成 `.venv/Scripts/`。 + +**从旧 Excel 还原历史数据**(一次性,相关脚本已归档到 `scripts/legacy/`): + +```bash +./.venv/bin/python scripts/import_excel.py "<软件开发部管理工作执行表.xlsx>" --reset +./.venv/bin/python scripts/legacy/migrate_custom.py +./.venv/bin/python scripts/import_staff.py "<软件开发部人员名单.xlsx>" +``` + +> 现在 `scripts/run.sh` 首次启动**只建空库**,不再自动导入 Excel。已有数据库的机器直接把 `data/board.db` 带过去即可。 ### Docker 部署(换机器 / 上服务器) @@ -125,7 +136,7 @@ python -m uvicorn app.main:app --port 8770 ```bash cd /path/to/unis_manager -./deploy.sh up # 构建镜像 + 后台启动 + 等健康检查 +./scripts/deploy.sh up # 构建镜像 + 后台启动 + 等健康检查 ``` 打开 。首次启动自动建表、预置分类,并创建内置角色与 `admin` 账号(密码见 `.env`)。 @@ -134,20 +145,20 @@ cd /path/to/unis_manager |---|---| | `Dockerfile` | 运行镜像:装依赖 + 拷 `app/ web/ scripts/`;启动时先跑 `init_db.py`(幂等)再起 uvicorn | | `docker-compose.yml` | 编排:`./data` 挂进容器存数据库、`HOST_PORT` 控对外端口、`restart: unless-stopped` 随 Docker 自启 | -| `deploy.sh` | 命令封装:`up` / `update` / `restart` / `down` / `logs` / `status` / `backup` / `mirror`,顺带检查 docker 是否在跑、`.env` 与 `data/` 是否存在,并在构建前定好基础镜像与 pip 源 | +| `scripts/deploy.sh` | 命令封装:`up` / `update` / `restart` / `down` / `logs` / `status` / `backup` / `mirror`,顺带检查 docker 是否在跑、`.env` 与 `data/` 是否存在,并在构建前定好基础镜像与 pip 源 | | `.dockerignore` | 保证 `data/`、`.env`、`.git` 不会被烤进镜像 | | 场景 | 命令 | |---|---| -| 改完代码上线 | `./deploy.sh update`(重建镜像并替换容器) | -| 改了 `.env`(AI Key / 端口) | `./deploy.sh restart` | -| 看日志排错 | `./deploy.sh logs` | -| 看状态与健康检查 | `./deploy.sh status` | -| 停止(数据保留) | `./deploy.sh down` | -| 换对外端口 | `.env` 里 `HOST_PORT=8080`,再 `./deploy.sh up` | +| 改完代码上线 | `./scripts/deploy.sh update`(重建镜像并替换容器) | +| 改了 `.env`(AI Key / 端口) | `./scripts/deploy.sh restart` | +| 看日志排错 | `./scripts/deploy.sh logs` | +| 看状态与健康检查 | `./scripts/deploy.sh status` | +| 停止(数据保留) | `./scripts/deploy.sh down` | +| 换对外端口 | `.env` 里 `HOST_PORT=8080`,再 `./scripts/deploy.sh up` | | 裸 compose 命令 | `docker compose up -d --build` / `docker compose down` | -| 构建时基础镜像 / pip 下载超时 | `./deploy.sh mirror` 重探,或手工指定 `PIP_INDEX_URL=... BASE_IMAGE=... ./deploy.sh up`(见下「国内网络加速」) | -| 把现有数据带到新机器 | `./deploy.sh backup` → 拷到目标机 `data/board.db` → `./deploy.sh up` | +| 构建时基础镜像 / pip 下载超时 | `./scripts/deploy.sh mirror` 重探,或手工指定 `PIP_INDEX_URL=... BASE_IMAGE=... ./scripts/deploy.sh up`(见下「国内网络加速」) | +| 把现有数据带到新机器 | `./scripts/deploy.sh backup` → 拷到目标机 `data/board.db` → `./scripts/deploy.sh up` | #### 国内网络加速(docker.io / pypi.org 连不上时) @@ -158,15 +169,15 @@ cd /path/to/unis_manager | ① 守护进程拉基础镜像 | `failed to resolve source metadata for docker.io/library/python:3.12-slim: ... TLS handshake timeout` | 用本地已有的镜像(`BASE_IMAGE=` 指定),或先 `docker pull` / 给守护进程配 registry-mirrors | | ② 构建容器里装依赖 | `[4/8] RUN pip install ... -i https://pypi.org/simple` 非零退出 | 换 pip 源 `PIP_INDEX_URL`(清华 / 阿里 / 腾讯) | -`./deploy.sh up` 构建前把这两道都定下来,原则是**能本地解决就不联网**: +`./scripts/deploy.sh up` 构建前把这两道都定下来,原则是**能本地解决就不联网**: - 基础镜像只看本地有没有:`BASE_IMAGE` 指定的镜像在本地 → 直接用;只有同名 tag(如 `python:3.12-slim`)→ 也用(仓库前缀只是当初从哪儿拉的,镜像是同一份)。本地确实没有才试拉一次(守护进程配的 registry-mirrors 在这一步生效),还拉不到就**直接报错停下**并打印补救命令——不去逐个试加速站,那种循环只会白等几分钟。 - pip 源:在构建用的容器里真 `urlopen` 一次逐个试(容器网络 = 构建网络,比宿主机 curl 准),默认清华源。 - 定下来的值只 export 给本次构建,**不写回 `.env`**(`.env` 在 git 里,把某台机器的地址带到另一台机器正是故障源)。 ```bash -./deploy.sh up # 定源(本地有镜像就不联网)→ 构建 → 等健康检查 -./deploy.sh mirror # 重探一次 pip 源,并打印可写进 .env 的两行 +./scripts/deploy.sh up # 定源(本地有镜像就不联网)→ 构建 → 等健康检查 +./scripts/deploy.sh mirror # 重探一次 pip 源,并打印可写进 .env 的两行 ``` > **别把某台机器上的 `BASE_IMAGE` 前缀提交进仓库。** 换机器后那个前缀对应的镜像本地不存在,构建就会卡在 `load metadata`;这行留空或写裸 `python:3.12-slim`,让每台机器自己的镜像说了算。 @@ -184,32 +195,32 @@ docker compose up -d - **基础镜像拉成功 ≠ 构建能过**:`docker pull` 只治①,容器里的 `pip install` 照旧撞 pypi.org,必须另外给②换源。 - **shell 里的 `HTTP(S)_PROXY` 对构建没用**:Docker 守护进程和构建容器都不读宿主机的代理变量。要走代理得在 Docker Desktop → Settings → Resources → Proxies 里配 `http://host.docker.internal:7897`(端口换成你本机代理的)。 -- **境外机器 / 内网有自建源**:`CN_MIRROR=0 ./deploy.sh up` 跳过 pip 探测,源完全由 `.env` 说了算。 -- **目标机完全不能上网**:走离线路。`docker save -o unis-board.tar unis-board:latest` → 拷过去 `docker load -i unis-board.tar` → `NO_BUILD=1 ./deploy.sh up`(跳过构建直接用本地镜像)。 -- 构建失败时脚本会自己打印一份排查清单(`deploy.sh` 的 `build_hint`),照抄命令即可。 +- **境外机器 / 内网有自建源**:`CN_MIRROR=0 ./scripts/deploy.sh up` 跳过 pip 探测,源完全由 `.env` 说了算。 +- **目标机完全不能上网**:走离线路。`docker save -o unis-board.tar unis-board:latest` → 拷过去 `docker load -i unis-board.tar` → `NO_BUILD=1 ./scripts/deploy.sh up`(跳过构建直接用本地镜像)。 +- 构建失败时脚本会自己打印一份排查清单(`scripts/deploy.sh` 的 `build_hint`),照抄命令即可。 几个坑: - **数据只落在 `./data`**:重建镜像、`down` 再 `up` 都不动数据;备份依旧是拷走 `data/board.db`。 - **时区必须设**:容器默认 UTC,而周期/周次/入库时间都按本地日期算,所以 compose 固定传 `TZ=Asia/Shanghai`,别删。 -- **容器内端口固定 8770**:`.env` 的 `PORT` 是本机 `run.sh` 用的,compose 里覆盖成 8770;要换端口只改 `HOST_PORT`。 -- **别和 `run.sh` 同时跑**:一是 SQLite 是文件库,同一份 `board.db` 不要同时被本机进程和容器读写;二是本机进程绑的是 `127.0.0.1:8770`,比 Docker 发布的 `*:8770` 更精确,浏览器和 `curl 127.0.0.1:8770` 会全打到本机服务上(症状:`/health` 里 `dev` 是 `true`,而容器是 `false`)。两者要共存就给容器换端口:`HOST_PORT=8899 ./deploy.sh up`。 +- **容器内端口固定 8770**:`.env` 的 `PORT` 是本机 `scripts/run.sh` 用的,compose 里覆盖成 8770;要换端口只改 `HOST_PORT`。 +- **别和 `scripts/run.sh` 同时跑**:一是 SQLite 是文件库,同一份 `board.db` 不要同时被本机进程和容器读写;二是本机进程绑的是 `127.0.0.1:8770`,比 Docker 发布的 `*:8770` 更精确,浏览器和 `curl 127.0.0.1:8770` 会全打到本机服务上(症状:`/health` 里 `dev` 是 `true`,而容器是 `false`)。两者要共存就给容器换端口:`HOST_PORT=8899 ./scripts/deploy.sh up`。 - **换 MySQL**:放开 `Dockerfile` 里 `pymysql` 那行重新 build,再把 `.env` 的 `DATABASE_URL` 指过去(见「迁移到 MySQL」)。 ### 带着现有数据部署 镜像里**故意不含数据**(`.dockerignore` 排除了 `data/`),容器读的是宿主机挂载进来的 `./data/board.db`,所以: -- **就在本机这个目录部署** → 什么都不用做,`./deploy.sh up` 起来读的就是当前这份库;连 `user_sessions` 里的登录态都延续,别人不用重新登录。 +- **就在本机这个目录部署** → 什么都不用做,`./scripts/deploy.sh up` 起来读的就是当前这份库;连 `user_sessions` 里的登录态都延续,别人不用重新登录。 - **换一台机器部署** → 先把数据取出来,落到目标机的 `./data/board.db`: ```bash -./deploy.sh backup # 一致性快照 → data/backups/board-YYYYmmdd_HHMMSS.db +./scripts/deploy.sh backup # 一致性快照 → data/backups/board-YYYYmmdd_HHMMSS.db scp data/backups/board-*.db user@host:/srv/unis_manager/data/board.db -ssh user@host 'cd /srv/unis_manager && ./deploy.sh up' +ssh user@host 'cd /srv/unis_manager && ./scripts/deploy.sh up' ``` -> - `data/board.db` 本身在 git 里,`git clone` 也会带一份,但那是**最后一次提交**的状态;要「当前最新」请用 `./deploy.sh backup` 的快照(走 SQLite 备份 API,本机服务正在写也能拿到一致的库)。 +> - 数据库不在 git 里(`data/` 已忽略),`git clone` 不会带数据;要迁移请用 `./scripts/deploy.sh backup` 的快照(走 SQLite 备份 API,本机服务正在写也能拿到一致的库)。 > - 启动时的 `init_db.py` 和 `ensure_seed` 只会**补**缺失的表 / 分类 / 内置角色,`users` 非空就不再创建 `admin`,不会覆盖或清空任何数据。实测:拿当前生产库快照起容器,启动前后逐表行数完全一致,123 个定制项目、22 名人员、老 token 全部照常可用。 > - 目标机上的 `./data` 属主要和运行容器的人对得上(compose 以 root 跑则无此顾虑);SQLite 是文件库,同一份库别让两个实例同时写。 @@ -255,8 +266,8 @@ ssh user@host 'cd /srv/unis_manager && ./deploy.sh up' 把两个项目合并成一个(例如把「智空无人机平台」并入「智飞无人机平台」): ```bash -python scripts/merge_project.py --from "智空无人机平台" --to "智飞无人机平台" --dry-run -python scripts/merge_project.py --from "智空无人机平台" --to "智飞无人机平台" +python scripts/legacy/merge_project.py --from "智空无人机平台" --to "智飞无人机平台" --dry-run +python scripts/legacy/merge_project.py --from "智空无人机平台" --to "智飞无人机平台" ``` - 子任务同名 → 归并到目标项目的同名子任务,执行记录一并转挂 @@ -321,9 +332,11 @@ python scripts/merge_project.py --from "智空无人机平台" --to "智飞无 python scripts/import_staff.py --dry-run # 只看解析结果 python scripts/import_staff.py # 增量导入(同名跳过,不覆盖页面上的编辑) python scripts/import_staff.py --reset # 清空后重新导入 -python scripts/import_staff.py # 指定别的文件;首次运行 ./run.sh 会自动导入 +python scripts/import_staff.py # 指定别的文件(不会随启动自动导入) ``` +> 不传路径时默认读 `data/import/软件开发部人员名单.xlsx`,也可以用 `STAFF_XLSX` 环境变量指定。 + **负责人下拉**(`ownerSelectHtml`)在项目新建/详情、定制项目新建/详情、工作看板等位置统一使用,选项来自花名册: 已归档的人不再作为可选项出现,只有他本来就是这条记录的负责人时才带「(已归档)」标注出现一次; 历史数据里花名册没有的人名同样补一个「(不在花名册)」选项,保证打开老项目不会把负责人改没。 @@ -343,9 +356,9 @@ python scripts/import_staff.py # 指定别的文件;首次运行 . 字段可在明细表中直接改,也可在抽屉里改;重新计算用: ```bash -python scripts/add_entry_date.py --dry-run # 预演 -python scripts/add_entry_date.py # 回填(跳过已有值) -python scripts/add_entry_date.py --force # 全部重算 +python scripts/legacy/add_entry_date.py --dry-run # 预演 +python scripts/legacy/add_entry_date.py # 回填(跳过已有值) +python scripts/legacy/add_entry_date.py --force # 全部重算 ``` ### 区域(省级行政区) @@ -534,7 +547,7 @@ AuditLog(用户, 动作 create|update|delete|login|logout|deny, 菜单, 方法, ``` DATABASE_URL=mysql+pymysql://user:password@127.0.0.1:3306/unis_board?charset=utf8mb4 ``` -3. 重启服务(表结构自动创建),再依次执行 `import_excel.py --reset` 与 `migrate_custom.py`。 +3. 重启服务(表结构自动创建)。全新库如果要从旧 Excel 还原历史数据,再依次执行 `scripts/import_excel.py --reset` 与 `scripts/legacy/migrate_custom.py`。 数据访问层全部使用 SQLAlchemy ORM,无原生 SQL、无 SQLite 专有语法,切换方言无需改业务代码。 @@ -556,12 +569,18 @@ app/ projects · custom(定制项目 + 财务) · focus · staff · ai · export web/ index.html · styles.css · app.js · icons.js(零依赖,无构建步骤) tests/ pytest 接口测试(conftest 用临时库,绝不碰 data/board.db) -scripts/ init_db.py · import_excel.py · import_custom_ledger.py · migrate_custom.py · import_staff.py - add_entry_date.py · fix_period_split.py · merge_project.py · shift_year.py +scripts/ + run.sh 本地启动:Python / venv / 依赖 / .env / 建库自动兜底 + deploy.sh Docker 部署命令封装:up / update / restart / down / logs / status / backup / mirror + init_db.py 建表 + 预置分类(启动时幂等) + import_excel.py 历史 Excel(周工作情况总结 / 项目明细表)导入 + import_staff.py 人员名单导入 + import_custom_ledger.py 定开项目市场台账导入 + legacy/ 一次性历史修数脚本(shift_year · merge_project · migrate_custom · + add_entry_date · fix_period_split),不参与启动流程 data/board.db SQLite 数据库 Dockerfile 运行镜像(依赖 + 代码,启动时自动补表/预置分类) docker-compose.yml 部署编排(./data 持久化、HOST_PORT、健康检查) -deploy.sh 部署命令封装:up / update / restart / down / logs / status .dockerignore 排除 data/ 与 .env,不把数据和密钥打进镜像 ``` diff --git a/docker-compose.yml b/docker-compose.yml index 45f3875..88ebb69 100644 --- a/docker-compose.yml +++ b/docker-compose.yml @@ -1,10 +1,10 @@ # 部门关键任务追踪看板 · 部署编排 # # 常用命令(推荐用封装脚本,会顺带检查 docker/.env/data 目录并等健康检查): -# ./deploy.sh up 构建 + 后台启动 -# ./deploy.sh update 改完代码重建并替换容器 -# ./deploy.sh logs # 看日志 -# ./deploy.sh down # 停止(数据留在 ./data) +# ./scripts/deploy.sh up 构建 + 后台启动 +# ./scripts/deploy.sh update 改完代码重建并替换容器 +# ./scripts/deploy.sh logs # 看日志 +# ./scripts/deploy.sh down # 停止(数据留在 ./data) # # 等价的裸 compose 命令:docker compose up -d --build @@ -13,7 +13,7 @@ services: build: context: . args: - # 基础镜像仓库前缀 + pip 源,都由 deploy.sh 探测后写进 .env(也可手工在 .env 里钉死) + # 基础镜像仓库前缀 + pip 源,都由 scripts/deploy.sh 探测后写进 .env(也可手工在 .env 里钉死) BASE_IMAGE: "${BASE_IMAGE:-python:3.12-slim}" PIP_INDEX_URL: "${PIP_INDEX_URL:-https://pypi.tuna.tsinghua.edu.cn/simple}" image: unis-board:latest diff --git a/run.sh b/run.sh deleted file mode 100755 index 18c5d8c..0000000 --- a/run.sh +++ /dev/null @@ -1,100 +0,0 @@ -#!/usr/bin/env bash -# DMS管理平台 · 启动脚本 -# 用法: ./run.sh 正常启动(默认开热更新) -# PORT=8771 ./run.sh 换端口启动 -# DEV=0 ./run.sh 关闭热更新(改代码不自动重启、页面不自动刷新) -# NO_OPEN=1 ./run.sh 启动后不自动打开浏览器 -set -euo pipefail -cd "$(dirname "$0")" - -# 热更新默认开启:改 Python / 前端 / .env 自动重启服务,页面发现重启后自动刷新。 -# 需要 DEV 也传给 app.config(/health 的 dev 标记决定页面是否轮询),所以这里 export 出去。 -DEV="${DEV:-1}" -export DEV - -PORT="${PORT:-8770}" -XLSX="${XLSX:-/Users/jiliu/WorkSpace/定开管理/软件开发部管理工作执行表.xlsx}" -STAFF_XLSX="${STAFF_XLSX:-/Users/jiliu/WorkSpace/unissense/部门管理/软件开发部人员名单.xlsx}" - -echo "==> DMS管理平台" - -# ---------- 1. 选择带依赖的 Python 解释器 ---------- -CANDIDATES=( - "./.venv/bin/python" - "/Users/jiliu/.workbuddy/binaries/python/envs/default/bin/python" - "$(command -v python3 2>/dev/null || true)" - "/usr/bin/python3" -) -PY="" -FALLBACK="" -for c in "${CANDIDATES[@]}"; do - [ -n "$c" ] && [ -x "$c" ] || continue - [ -z "$FALLBACK" ] && FALLBACK="$c" - if "$c" -c "import fastapi, uvicorn, sqlalchemy" >/dev/null 2>&1; then - PY="$c"; break - fi -done - -if [ -z "$PY" ]; then - PY="$FALLBACK" - if [ -z "$PY" ]; then - echo "!! 没有找到 Python 3,请先安装后再运行。" >&2 - exit 1 - fi - echo "==> 缺少依赖,正在安装到 $PY" - "$PY" -m pip install -r requirements.txt || { - echo "!! 依赖安装失败,请手动执行:" >&2 - echo " $PY -m pip install -r requirements.txt" >&2 - exit 1 - } -fi -echo " 使用解释器:$PY" - -# ---------- 2. 端口占用检查(已在运行就直接给出地址) ---------- -if curl -s -o /dev/null --max-time 2 "http://127.0.0.1:${PORT}/health" 2>/dev/null; then - echo "==> 端口 ${PORT} 上已有服务在运行" - echo " 看板地址: http://127.0.0.1:${PORT}" - echo " (要重启请先在原窗口按 Ctrl+C,或执行:lsof -ti:${PORT} | xargs kill)" - exit 0 -fi - -# ---------- 3. 首次运行:建库 + 导入历史数据 ---------- -if [ ! -f data/board.db ]; then - echo "==> 首次运行,初始化数据库" - "$PY" scripts/init_db.py - if [ -f "$XLSX" ]; then - echo "==> 导入历史数据:$XLSX" - "$PY" scripts/import_excel.py "$XLSX" - echo "==> 拆分定开项目" - "$PY" scripts/migrate_custom.py - else - echo " (未找到 Excel 源文件,跳过历史数据导入:$XLSX)" - fi - if [ -f "$STAFF_XLSX" ]; then - echo "==> 导入人员名单:$STAFF_XLSX" - "$PY" scripts/import_staff.py "$STAFF_XLSX" - else - echo " (未找到人员名单,跳过人力库导入:$STAFF_XLSX)" - fi -fi - -# ---------- 4. 启动 ---------- -# uvicorn 默认只监听 *.py,这里补上前端文件与 .env -RELOAD_ARGS=() -if [ "$DEV" = "1" ]; then - RELOAD_ARGS=(--reload - --reload-include "*.js" --reload-include "*.css" --reload-include "*.html" - --reload-include ".env") -fi - -URL="http://127.0.0.1:${PORT}" -echo "==> 启动服务: $URL" -echo " API 文档: $URL/api/docs" -echo " 停止服务: Ctrl+C" -echo - -if [ "${NO_OPEN:-0}" != "1" ]; then - ( sleep 3; open "$URL" >/dev/null 2>&1 || true ) & -fi - -exec "$PY" -m uvicorn app.main:app --host 127.0.0.1 --port "$PORT" ${RELOAD_ARGS[@]+"${RELOAD_ARGS[@]}"} diff --git a/scripts/README.md b/scripts/README.md new file mode 100644 index 0000000..dfc3eee --- /dev/null +++ b/scripts/README.md @@ -0,0 +1,36 @@ +# scripts/ 目录说明 + +运维 / 启动脚本统一收在这里。所有脚本都自带 `cd 项目根目录`,在哪个目录执行都可以。 + +## 启动与部署 + +| 文件 | 用途 | +|---|---| +| `run.sh` | 本地启动。自动检查 Python 3.10+、创建 `.venv`、缺依赖自动 `pip install`(默认源失败会切国内镜像)、缺 `.env` 从 `.env.example` 生成、首次运行建库,然后起 uvicorn | +| `deploy.sh` | Docker 部署。`up` / `update` / `restart` / `down` / `logs` / `status` / `backup` / `mirror`;缺 docker / compose 时按 `AUTO_INSTALL=1` 尝试安装并拉起守护进程 | + +```bash +./scripts/run.sh # 本地启动(默认热更新) +PORT=8771 ./scripts/run.sh # 换端口 +AUTO_INSTALL=0 ./scripts/run.sh # 只检查环境,不自动安装 + +./scripts/deploy.sh up # Docker 构建 + 后台启动 +./scripts/deploy.sh logs # 跟踪日志 +``` + +## 数据导入(按需手动执行) + +| 文件 | 用途 | +|---|---| +| `init_db.py` | 建表 + 预置分类(幂等,`run.sh` / 容器启动会自动调用) | +| `import_excel.py` | 导入《软件开发部管理工作执行表.xlsx》 | +| `import_staff.py` | 导入《软件开发部人员名单.xlsx》 | +| `import_custom_ledger.py` | 导入《定开项目.xlsx》市场台账(`--dry-run` 预演) | + +> 导入脚本不传路径时,默认读 `data/import/` 下的同名文件; +> 也可以用 `XLSX` / `STAFF_XLSX` / `CUSTOM_LEDGER_XLSX` 环境变量或命令行参数指定。 + +## legacy/(历史一次性脚本) + +旧数据修复 / 迁移脚本,**不参与启动流程**,也不需要放进 Docker 镜像。 +只有遇到对应的历史数据问题时才手动执行,详见 [`legacy/README.md`](legacy/README.md)。 diff --git a/deploy.sh b/scripts/deploy.sh similarity index 64% rename from deploy.sh rename to scripts/deploy.sh index f92efbd..7f12bda 100755 --- a/deploy.sh +++ b/scripts/deploy.sh @@ -1,30 +1,132 @@ #!/usr/bin/env bash # 部门关键任务追踪看板 · Docker 部署脚本 -# 用法: ./deploy.sh up 构建镜像并后台启动(默认命令) -# ./deploy.sh update 改完代码后重建镜像并替换容器 -# ./deploy.sh restart 重启容器(不换镜像) -# ./deploy.sh down 停止并删除容器,数据留在 ./data -# ./deploy.sh logs 跟踪日志(Ctrl+C 退出) -# ./deploy.sh backup 导出数据库快照(部署到新机器时带走数据) -# ./deploy.sh status 容器状态 + 健康检查 + 访问地址 -# ./deploy.sh mirror 重新探测可用的 pip 源(基础镜像只认本地已有的,不去试加速站) -# 环境变量:CN_MIRROR=0 跳过加速探测;NO_BUILD=1 不构建、直接用本地镜像 +# 用法: ./scripts/deploy.sh up 构建镜像并后台启动(默认命令) +# ./scripts/deploy.sh update 改完代码后重建镜像并替换容器 +# ./scripts/deploy.sh restart 重启容器(不换镜像) +# ./scripts/deploy.sh down 停止并删除容器,数据留在 ./data +# ./scripts/deploy.sh logs 跟踪日志(Ctrl+C 退出) +# ./scripts/deploy.sh backup 导出数据库快照(部署到新机器时带走数据) +# ./scripts/deploy.sh status 容器状态 + 健康检查 + 访问地址 +# ./scripts/deploy.sh mirror 重新探测可用的 pip 源(基础镜像只认本地已有的,不去试加速站) +# 环境变量:CN_MIRROR=0 跳过加速探测;NO_BUILD=1 不构建、直接用本地镜像; +# AUTO_INSTALL=0 缺 docker / compose 时不尝试自动安装,只打印安装命令 set -euo pipefail -cd "$(dirname "$0")" + +ROOT="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)" +cd "$ROOT" CONTAINER=unis-board +AUTO_INSTALL="${AUTO_INSTALL:-1}" -# ---------- 0. 前置检查 ---------- -command -v docker >/dev/null 2>&1 || { echo "!! 没有 docker 命令,请先安装 Docker / Docker Desktop" >&2; exit 1; } -docker info >/dev/null 2>&1 || { echo "!! docker 守护进程没起来(Docker Desktop 是否没运行?)" >&2; exit 1; } +log() { printf '%s\n' "$*"; } +warn() { printf '!! %s\n' "$*" >&2; } + +run_root() { + if [ "$(id -u)" = "0" ]; then + "$@" + elif command -v sudo >/dev/null 2>&1; then + # 交互式终端允许 sudo 提示密码;非交互时不要卡住等密码 + if [ -t 0 ] || sudo -n true 2>/dev/null; then + sudo "$@" + else + return 1 + fi + else + return 1 + fi +} + +# 装 docker:优先系统包管理器,再退回官方安装脚本(仅 Linux;macOS 需 Docker Desktop) +install_docker() { + [ "$AUTO_INSTALL" = "1" ] || return 1 + [ "$(uname -s)" = "Linux" ] || return 1 + log "==> 未找到 docker,尝试自动安装" + if command -v dnf >/dev/null 2>&1; then + run_root dnf install -y docker docker-compose-plugin 2>/dev/null || + run_root dnf install -y docker docker-compose 2>/dev/null || true + elif command -v yum >/dev/null 2>&1; then + run_root yum install -y docker docker-compose-plugin 2>/dev/null || + run_root yum install -y docker docker-compose 2>/dev/null || true + elif command -v apt-get >/dev/null 2>&1; then + run_root apt-get update 2>/dev/null || true + run_root apt-get install -y docker.io docker-compose-plugin 2>/dev/null || + run_root apt-get install -y docker.io docker-compose 2>/dev/null || true + elif command -v apk >/dev/null 2>&1; then + run_root apk add --no-cache docker docker-cli-compose 2>/dev/null || true + fi + if ! command -v docker >/dev/null 2>&1 && command -v curl >/dev/null 2>&1; then + log "==> 系统包管理器没装上,改用 Docker 官方脚本(get.docker.com)" + curl -fsSL https://get.docker.com | run_root sh || true + fi + command -v docker >/dev/null 2>&1 +} + +# 守护进程没起来时尝试拉起(Linux systemd / macOS Docker Desktop) +start_docker_daemon() { + if command -v systemctl >/dev/null 2>&1; then + log "==> 尝试启动 docker 服务" + run_root systemctl enable --now docker 2>/dev/null || run_root systemctl start docker 2>/dev/null || true + elif [ "$(uname -s)" = "Darwin" ] && [ -d "/Applications/Docker.app" ]; then + log "==> 尝试启动 Docker Desktop" + open -a Docker >/dev/null 2>&1 || true + fi + local i + for i in $(seq 1 30); do + docker info >/dev/null 2>&1 && return 0 + sleep 2 + done + return 1 +} + +# 装 compose 插件(docker compose / 独立 docker-compose 二选一) +install_compose() { + [ "$AUTO_INSTALL" = "1" ] || return 1 + [ "$(uname -s)" = "Linux" ] || return 1 + log "==> 未找到 docker compose,尝试自动安装" + if command -v dnf >/dev/null 2>&1; then + run_root dnf install -y docker-compose-plugin 2>/dev/null || run_root dnf install -y docker-compose 2>/dev/null || true + elif command -v yum >/dev/null 2>&1; then + run_root yum install -y docker-compose-plugin 2>/dev/null || run_root yum install -y docker-compose 2>/dev/null || true + elif command -v apt-get >/dev/null 2>&1; then + run_root apt-get install -y docker-compose-plugin 2>/dev/null || run_root apt-get install -y docker-compose 2>/dev/null || true + elif command -v apk >/dev/null 2>&1; then + run_root apk add --no-cache docker-cli-compose 2>/dev/null || true + fi + return 0 +} + +# ---------- 0. 前置检查(缺什么补什么) ---------- +if ! command -v docker >/dev/null 2>&1; then + if ! install_docker; then + warn "没有 docker 命令。请先安装 Docker / Docker Desktop: + macOS : 安装 Docker Desktop https://www.docker.com/products/docker-desktop/ + Ubuntu/Debian : sudo apt install -y docker.io docker-compose-plugin + RHEL/openEuler : sudo dnf install -y docker docker-compose-plugin + (脚本默认已尝试自动安装;设了 AUTO_INSTALL=0 时可去掉该变量重试)" + exit 1 + fi +fi +if ! docker info >/dev/null 2>&1; then + if ! start_docker_daemon; then + warn "docker 守护进程没起来(Docker Desktop 是否没运行?)" + exit 1 + fi +fi if docker compose version >/dev/null 2>&1; then COMPOSE=(docker compose) elif command -v docker-compose >/dev/null 2>&1; then COMPOSE=(docker-compose) else - echo "!! 没找到 docker compose,也没找到 docker-compose" >&2 - exit 1 + install_compose + if docker compose version >/dev/null 2>&1; then + COMPOSE=(docker compose) + elif command -v docker-compose >/dev/null 2>&1; then + COMPOSE=(docker-compose) + else + warn "没找到 docker compose,也没找到 docker-compose。请安装 docker-compose-plugin 后重试。" + exit 1 + fi fi # 对外端口:命令行环境变量 > .env 里的 HOST_PORT > 8770 @@ -92,10 +194,10 @@ configure_mirror() { echo "==> 基础镜像已从当前配置的源拉取:$BASE_IMAGE" else echo "!! 本地没有 ${BASE_IMAGE},25 秒内也没拉到;这一步过不去,构建必然失败,先解决基础镜像:" >&2 - echo " 1) 本地有别的 python 镜像 → 指定它:BASE_IMAGE=$(docker images --format '{{.Repository}}:{{.Tag}}' | grep -m1 python || echo python:3.12-slim) ./deploy.sh up" >&2 + echo " 1) 本地有别的 python 镜像 → 指定它:BASE_IMAGE=$(docker images --format '{{.Repository}}:{{.Tag}}' | grep -m1 python || echo python:3.12-slim) ./scripts/deploy.sh up" >&2 echo " 2) 手工拉一次(守护进程配的 registry-mirrors 在这一步生效):docker pull $tag" >&2 echo " 3) 机器不能上网 → 从别处拷:docker save -o py.tar $tag && scp py.tar 目标机 && docker load -i py.tar" >&2 - echo " 4) 已经构建过本项目镜像 → 跳过构建直接起:NO_BUILD=1 ./deploy.sh up" >&2 + echo " 4) 已经构建过本项目镜像 → 跳过构建直接起:NO_BUILD=1 ./scripts/deploy.sh up" >&2 return 1 fi @@ -113,7 +215,7 @@ configure_mirror() { if [ -z "${PIP_INDEX_URL:-}" ]; then PIP_INDEX_URL="https://pypi.org/simple" echo "!! 构建容器里访问不到任何国内 pip 源,先用官方源;超时就手工指定:" >&2 - echo " PIP_INDEX_URL=https://mirrors.aliyun.com/pypi/simple ./deploy.sh up" >&2 + echo " PIP_INDEX_URL=https://mirrors.aliyun.com/pypi/simple ./scripts/deploy.sh up" >&2 fi fi @@ -135,16 +237,16 @@ build_hint() { !! 构建失败。国内环境最常见的两个原因: 1) 基础镜像拉不到(failed to resolve source metadata / TLS handshake timeout) docker images | grep python # 看看本地有哪个可用 - BASE_IMAGE=python:3.12-slim ./deploy.sh up # 显式指定本地已有的镜像 + BASE_IMAGE=python:3.12-slim ./scripts/deploy.sh up # 显式指定本地已有的镜像 docker pull python:3.12-slim # 或手工拉一次 也可以给 Docker 守护进程配 registry-mirrors(服务器改 /etc/docker/daemon.json, - 桌面端 Settings → Docker Engine),保存并重启 Docker 后再 ./deploy.sh up + 桌面端 Settings → Docker Engine),保存并重启 Docker 后再 ./scripts/deploy.sh up 2) pip 装依赖超时 - PIP_INDEX_URL=https://mirrors.aliyun.com/pypi/simple ./deploy.sh up + PIP_INDEX_URL=https://mirrors.aliyun.com/pypi/simple ./scripts/deploy.sh up 完全不能上网的机器:在能上网的机器上构建后拷镜像过去 docker save -o unis-board.tar unis-board:latest && scp unis-board.tar host:/srv/unis_manager/ ssh host 'docker load -i /srv/unis_manager/unis-board.tar' - 然后在目标机 NO_BUILD=1 ./deploy.sh up + 然后在目标机 NO_BUILD=1 ./scripts/deploy.sh up HINT } @@ -165,12 +267,12 @@ wait_ready() { state="$(docker inspect -f '{{if .State.Health}}{{.State.Health.Status}}{{else}}{{.State.Status}}{{end}}' "$CONTAINER" 2>/dev/null || echo missing)" case "$state" in healthy) echo; echo "==> 已就绪:$URL"; return 0 ;; - unhealthy) echo; echo "!! 容器不健康,执行 ./deploy.sh logs 看原因" >&2; return 1 ;; + unhealthy) echo; echo "!! 容器不健康,执行 ./scripts/deploy.sh logs 看原因" >&2; return 1 ;; esac echo -n "." sleep 2 done - echo; echo "!! 等待超时(当前状态:${state}),执行 ./deploy.sh logs 看原因" >&2 + echo; echo "!! 等待超时(当前状态:${state}),执行 ./scripts/deploy.sh logs 看原因" >&2 return 1 } @@ -234,7 +336,7 @@ with dst: src.backup(dst) print(f"[ok] 已导出 {sys.argv[1]}({os.path.getsize(sys.argv[1]) // 1024} KB)") PYEOF - echo "==> 部署到新机器:把这个文件放到目标机的 data/board.db,再执行 ./deploy.sh up" + echo "==> 部署到新机器:把这个文件放到目标机的 data/board.db,再执行 ./scripts/deploy.sh up" ;; mirror) prepare @@ -246,7 +348,7 @@ PYEOF status) "${COMPOSE[@]}" ps echo -n "==> /health:" - curl -s --max-time 3 "$URL/health" 2>/dev/null || echo " 无响应(容器未启动?./deploy.sh up)" + curl -s --max-time 3 "$URL/health" 2>/dev/null || echo " 无响应(容器未启动?./scripts/deploy.sh up)" echo echo "==> 访问地址:$URL" ;; diff --git a/scripts/import_custom_ledger.py b/scripts/import_custom_ledger.py index 25506e2..a6aa29b 100644 --- a/scripts/import_custom_ledger.py +++ b/scripts/import_custom_ledger.py @@ -36,10 +36,13 @@ python scripts/import_custom_ledger.py # 实际写入 python scripts/import_custom_ledger.py --date 2026-09-17 # 指定「更新时间」 python scripts/import_custom_ledger.py --xlsx "D:/定开项目.xlsx" + +不传 --xlsx 时依次取:环境变量 CUSTOM_LEDGER_XLSX → data/import/定开项目.xlsx。 """ from __future__ import annotations import argparse +import os import re import sys from datetime import date, datetime @@ -53,7 +56,9 @@ from app.constants import normalize_region # noqa: E402 from app.db import SessionLocal # noqa: E402 from app.models import CustomProject # noqa: E402 -DEFAULT_XLSX = str(Path.home() / "Desktop" / "定开项目.xlsx") +DEFAULT_XLSX = os.environ.get("CUSTOM_LEDGER_XLSX") or str( + Path(__file__).resolve().parent.parent / "data" / "import" / "定开项目.xlsx" +) # 表格列名 → 数据库字段 COLMAP = { @@ -184,8 +189,12 @@ def main() -> None: args = ap.parse_args() xlsx = Path(args.xlsx) - if not xlsx.exists(): - raise SystemExit(f"[x] 找不到文件:{xlsx}") + if not xlsx.is_file(): + raise SystemExit( + f"[x] 找不到文件:{xlsx}\n" + " 用法:python scripts/import_custom_ledger.py [--xlsx ] [--dry-run]\n" + " 也可以把文件放到 data/import/定开项目.xlsx,或设置环境变量 CUSTOM_LEDGER_XLSX" + ) rows = read_rows(str(xlsx)) print(f"==> 读取 {xlsx}") diff --git a/scripts/import_excel.py b/scripts/import_excel.py index 7bfe427..50e6108 100644 --- a/scripts/import_excel.py +++ b/scripts/import_excel.py @@ -3,6 +3,8 @@ 用法: python scripts/import_excel.py [excel路径] [--reset] +不传路径时依次取:环境变量 XLSX → data/import/软件开发部管理工作执行表.xlsx。 + 解析规则: - 「周工作情况总结」:时间(周期) → 工作内容(项目) → 内容说明(子任务) → 完成情况(执行记录) * 三列均为稀疏填充,逐级向下继承(forward fill) @@ -11,6 +13,7 @@ """ from __future__ import annotations +import os import re import sys from pathlib import Path @@ -34,7 +37,9 @@ from app.models import ( # noqa: E402 Update, ) -DEFAULT_XLSX = "/Users/jiliu/WorkSpace/定开管理/软件开发部管理工作执行表.xlsx" +DEFAULT_XLSX = os.environ.get("XLSX") or str( + Path(__file__).resolve().parent.parent / "data" / "import" / "软件开发部管理工作执行表.xlsx" +) # 重点工作流(自动打上重点标记) KEY_PROJECTS = {"NEX云桌面", "AI Agent", "智飞无人机平台", "定制开发", "云屏"} @@ -61,6 +66,14 @@ def main(): ap.add_argument("--reset", action="store_true", help="清空业务表后重新导入") args = ap.parse_args() + xlsx = Path(args.xlsx) + if not xlsx.is_file(): + raise SystemExit( + f"[x] 找不到 Excel:{xlsx}\n" + " 用法:python scripts/import_excel.py [--reset]\n" + " 也可以把文件放到 data/import/软件开发部管理工作执行表.xlsx,或设置环境变量 XLSX" + ) + Base.metadata.create_all(bind=engine) db = SessionLocal() @@ -72,7 +85,7 @@ def main(): cats = {c.name: c for c in db.query(Category).all()} - wb = openpyxl.load_workbook(args.xlsx, data_only=True, read_only=True) + wb = openpyxl.load_workbook(xlsx, data_only=True, read_only=True) # ---------------------------------------------------------- 周工作情况总结 ws = wb["周工作情况总结"] diff --git a/scripts/import_staff.py b/scripts/import_staff.py index e1e4152..3b70373 100644 --- a/scripts/import_staff.py +++ b/scripts/import_staff.py @@ -6,12 +6,15 @@ python scripts/import_staff.py --reset # 清空后重新导入 python scripts/import_staff.py --dry-run # 只看解析结果,不落库 +不传路径时依次取:环境变量 STAFF_XLSX → data/import/软件开发部人员名单.xlsx。 + 表头按名称匹配:序号 / 姓名 / 归属小组 / 人员归属 / 说明。 同名人员默认跳过(不动已有记录,避免覆盖页面上的后续编辑)。 """ from __future__ import annotations import argparse +import os import sys from pathlib import Path @@ -22,7 +25,9 @@ from app.db import Base, engine, SessionLocal # noqa: E402 from app.models import Staff # noqa: E402 from app.schema_patch import ensure_columns # noqa: E402 -DEFAULT_XLSX = "/Users/jiliu/WorkSpace/unissense/部门管理/软件开发部人员名单.xlsx" +DEFAULT_XLSX = os.environ.get("STAFF_XLSX") or str( + Path(__file__).resolve().parent.parent / "data" / "import" / "软件开发部人员名单.xlsx" +) COLUMNS = {"序号": "sort_order", "姓名": "name", "归属小组": "group", "人员归属": "affiliation", "说明": "note"} @@ -76,8 +81,12 @@ def main(): args = ap.parse_args() path = Path(args.xlsx) - if not path.exists(): - raise SystemExit(f"文件不存在:{path}") + if not path.is_file(): + raise SystemExit( + f"[x] 文件不存在:{path}\n" + " 用法:python scripts/import_staff.py [--reset] [--dry-run]\n" + " 也可以把文件放到 data/import/软件开发部人员名单.xlsx,或设置环境变量 STAFF_XLSX" + ) Base.metadata.create_all(bind=engine) ensure_columns(engine, Base.metadata) diff --git a/scripts/legacy/README.md b/scripts/legacy/README.md new file mode 100644 index 0000000..c87cec4 --- /dev/null +++ b/scripts/legacy/README.md @@ -0,0 +1,22 @@ +# scripts/legacy/ 历史一次性脚本 + +这些脚本只服务于**过去某次**数据迁移或修复,不参与启动、不被应用调用,也不打进 Docker 镜像。 +保留它们是为了历史可追溯、需要时还能复现;日常部署不需要执行。 + +> 执行前先备份:`cp data/board.db data/board.db.bak-$(date +%Y%m%d_%H%M%S)` +> 大多数脚本支持 `--dry-run`,务必先预演。 + +| 文件 | 用途 | 用法 | +|---|---|---| +| `migrate_custom.py` | 把旧「定制开发」从通用项目表拆成独立的 `custom_projects` / `custom_updates` | `python scripts/legacy/migrate_custom.py --dry-run` | +| `add_entry_date.py` | 回填定开项目的「入库时间」字段 | `python scripts/legacy/add_entry_date.py --dry-run` | +| `fix_period_split.py` | 修复「8月第4周 / 9月第1周」内容粘连的周期错位 | `python scripts/legacy/fix_period_split.py --dry-run` | +| `merge_project.py` | 把项目 A 的全部数据合并到项目 B 后删除 A | `python scripts/legacy/merge_project.py --from A --to B` | +| `shift_year.py` | 全部周期年份整体平移(默认 +1 年) | `python scripts/legacy/shift_year.py --dry-run` | + +## 与当前流程的关系 + +- 全新库默认**只建空表**,不再自动导入旧 Excel;已有数据请直接带 `data/board.db`。 +- 确实要从旧 Excel 全量还原时,顺序是: + `import_excel.py --reset` → `legacy/migrate_custom.py` → `import_staff.py`。 +- 迁移到 MySQL 时同样先建表,再按需执行上面的还原链路。 diff --git a/scripts/add_entry_date.py b/scripts/legacy/add_entry_date.py similarity index 95% rename from scripts/add_entry_date.py rename to scripts/legacy/add_entry_date.py index c642f24..5a6b691 100644 --- a/scripts/add_entry_date.py +++ b/scripts/legacy/add_entry_date.py @@ -13,18 +13,19 @@ - Excel 里是平移前的年份,这里按 (月, 周) 匹配现有周期并取最早的一年,避免年份口径耦合。 用法: - python scripts/add_entry_date.py --dry-run - python scripts/add_entry_date.py - python scripts/add_entry_date.py --force + python scripts/legacy/add_entry_date.py --dry-run + python scripts/legacy/add_entry_date.py + python scripts/legacy/add_entry_date.py --force """ from __future__ import annotations import argparse +import os import sys from collections import defaultdict from pathlib import Path -sys.path.insert(0, str(Path(__file__).resolve().parent.parent)) +sys.path.insert(0, str(Path(__file__).resolve().parents[2])) import openpyxl # noqa: E402 from sqlalchemy import inspect, text # noqa: E402 @@ -38,7 +39,9 @@ from app.models import ( # noqa: E402 Period, ) -DEFAULT_XLSX = "/Users/jiliu/WorkSpace/定开管理/软件开发部管理工作执行表.xlsx" +DEFAULT_XLSX = os.environ.get("XLSX") or str( + Path(__file__).resolve().parents[2] / "data" / "import" / "软件开发部管理工作执行表.xlsx" +) COLUMN = "entry_date" diff --git a/scripts/fix_period_split.py b/scripts/legacy/fix_period_split.py similarity index 97% rename from scripts/fix_period_split.py rename to scripts/legacy/fix_period_split.py index 04b4431..a562f82 100644 --- a/scripts/fix_period_split.py +++ b/scripts/legacy/fix_period_split.py @@ -18,19 +18,20 @@ 用法 ---- - python scripts/fix_period_split.py --dry-run # 预演 - python scripts/fix_period_split.py # 执行 + python scripts/legacy/fix_period_split.py --dry-run # 预演 + python scripts/legacy/fix_period_split.py # 执行 """ from __future__ import annotations import argparse +import os import shutil import sys from datetime import datetime from pathlib import Path -ROOT = Path(__file__).resolve().parents[1] +ROOT = Path(__file__).resolve().parents[2] sys.path.insert(0, str(ROOT)) import openpyxl # noqa: E402 @@ -46,7 +47,7 @@ from app.models import ( # noqa: E402 Update, ) -XLSX = "/Users/jiliu/WorkSpace/定开管理/软件开发部管理工作执行表.xlsx" +XLSX = os.environ.get("XLSX") or str(ROOT / "data" / "import" / "软件开发部管理工作执行表.xlsx") # --------------------------------------------------------------------------- # diff --git a/scripts/merge_project.py b/scripts/legacy/merge_project.py similarity index 96% rename from scripts/merge_project.py rename to scripts/legacy/merge_project.py index 93ec031..eade6d5 100644 --- a/scripts/merge_project.py +++ b/scripts/legacy/merge_project.py @@ -13,8 +13,8 @@ - 删除源项目前要 expire_all(),避免 identity map 里的旧关系对象被级联误删。 用法: - python scripts/merge_project.py --from "智空无人机平台" --to "智飞无人机平台" --dry-run - python scripts/merge_project.py --from "智空无人机平台" --to "智飞无人机平台" + python scripts/legacy/merge_project.py --from "智空无人机平台" --to "智飞无人机平台" --dry-run + python scripts/legacy/merge_project.py --from "智空无人机平台" --to "智飞无人机平台" """ from __future__ import annotations @@ -22,7 +22,7 @@ import argparse import sys from pathlib import Path -sys.path.insert(0, str(Path(__file__).resolve().parent.parent)) +sys.path.insert(0, str(Path(__file__).resolve().parents[2])) from app.db import SessionLocal # noqa: E402 from app.models import Project, Task, Update # noqa: E402 diff --git a/scripts/migrate_custom.py b/scripts/legacy/migrate_custom.py similarity index 97% rename from scripts/migrate_custom.py rename to scripts/legacy/migrate_custom.py index 7c1f05e..724f95f 100644 --- a/scripts/migrate_custom.py +++ b/scripts/legacy/migrate_custom.py @@ -7,14 +7,14 @@ 产出:custom_projects + custom_updates 两张独立表; 原 projects / tasks / updates 中的「定制开发」整体移除,常规看板只留平台产品类项目。 -用法:python scripts/migrate_custom.py [--dry-run] +用法:python scripts/legacy/migrate_custom.py [--dry-run] """ from __future__ import annotations import sys from pathlib import Path -sys.path.insert(0, str(Path(__file__).resolve().parent.parent)) +sys.path.insert(0, str(Path(__file__).resolve().parents[2])) import argparse # noqa: E402 diff --git a/scripts/shift_year.py b/scripts/legacy/shift_year.py similarity index 91% rename from scripts/shift_year.py rename to scripts/legacy/shift_year.py index 66754b6..10831f2 100644 --- a/scripts/shift_year.py +++ b/scripts/legacy/shift_year.py @@ -10,9 +10,9 @@ - 执行前会校验 sort_key 是否出现重复,有重复则整体回滚。 用法: - python scripts/shift_year.py --dry-run # 预演 - python scripts/shift_year.py # 全部 +1 年 - python scripts/shift_year.py --years -1 # 反向:全部 -1 年 + python scripts/legacy/shift_year.py --dry-run # 预演 + python scripts/legacy/shift_year.py # 全部 +1 年 + python scripts/legacy/shift_year.py --years -1 # 反向:全部 -1 年 """ from __future__ import annotations @@ -21,7 +21,7 @@ import re import sys from pathlib import Path -sys.path.insert(0, str(Path(__file__).resolve().parent.parent)) +sys.path.insert(0, str(Path(__file__).resolve().parents[2])) from app.db import SessionLocal # noqa: E402 from app.models import CustomProject, Period # noqa: E402 @@ -101,7 +101,7 @@ def main(): print(f"[ok] 已平移 {changed} 个周期({args.years:+d} 年),日期字段 {date_changed} 个") latest = db.query(Period).order_by(Period.sort_key.desc()).first() print(f"[ok] 当前最新周期:{latest.year}年{latest.month}月第{latest.week}周") - print(" 提示:如需回滚,执行 python scripts/shift_year.py --years " + f"{-args.years}") + print(" 提示:如需回滚,执行 python scripts/legacy/shift_year.py --years " + f"{-args.years}") finally: db.close() diff --git a/scripts/run.sh b/scripts/run.sh new file mode 100755 index 0000000..344e2ac --- /dev/null +++ b/scripts/run.sh @@ -0,0 +1,305 @@ +#!/usr/bin/env bash +# DMS管理平台 · 本地启动脚本(macOS / Linux / Windows Git Bash 均可) +# +# 用法: +# ./scripts/run.sh 正常启动(默认开热更新) +# PORT=8771 ./scripts/run.sh 换端口 +# DEV=0 ./scripts/run.sh 关闭热更新 +# NO_OPEN=1 ./scripts/run.sh 启动后不打开浏览器 +# AUTO_INSTALL=0 ./scripts/run.sh 缺环境时不尝试自动安装,只打印安装命令 +# +# 环境要求由脚本自动兜底: +# 1. 找 Python 3.10+(找不到时按 AUTO_INSTALL=1 尝试用系统包管理器安装) +# 2. 建项目内 .venv,缺依赖时自动 pip install -r requirements.txt(多源重试) +# 3. 缺 .env 时从 .env.example 生成,建好 data/ 目录,首次运行自动建库 +# 4. 端口已被占用时直接提示访问地址,不重复起进程 +set -euo pipefail + +ROOT="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)" +cd "$ROOT" + +log() { printf '%s\n' "$*"; } +warn() { printf '!! %s\n' "$*" >&2; } +die() { printf '!! %s\n' "$*" >&2; exit 1; } + +# 读取 .env 里的单值配置(不 source,避免特殊字符被执行) +env_get() { + [ -f .env ] || return 0 + sed -n "s/^[[:space:]]*$1[[:space:]]*=//p" .env | tail -1 | sed 's/[[:space:]]*$//' +} + +is_windows() { + case "$(uname -s)" in + MINGW*|MSYS*|CYGWIN*) return 0 ;; + *) return 1 ;; + esac +} + +run_root() { + if [ "$(id -u)" = "0" ]; then + "$@" + elif command -v sudo >/dev/null 2>&1; then + # 交互式终端允许 sudo 提示密码;非交互(systemd / CI)时不要卡住等密码 + if [ -t 0 ] || sudo -n true 2>/dev/null; then + sudo "$@" + else + return 1 + fi + else + return 1 + fi +} + +# ---------- 配置 ---------- +PORT="${PORT:-$(env_get PORT)}" +PORT="${PORT:-8770}" +DEV="${DEV:-$(env_get DEV)}" +DEV="${DEV:-1}" +export DEV +NO_OPEN="${NO_OPEN:-0}" +AUTO_INSTALL="${AUTO_INSTALL:-1}" +PIP_INDEX_URL="${PIP_INDEX_URL:-$(env_get PIP_INDEX_URL)}" + +echo "==> DMS管理平台" + +# ---------- 1. 找一个可用的 Python 3.10+ ---------- +PY_SYS="" +find_python() { + local c + for c in "${PYTHON:-}" python3 python; do + [ -n "$c" ] || continue + command -v "$c" >/dev/null 2>&1 || continue + if "$c" -c 'import sys; raise SystemExit(0 if sys.version_info >= (3, 10) else 1)' >/dev/null 2>&1; then + PY_SYS="$(command -v "$c")" + return 0 + fi + done + return 1 +} + +# 自动装 Python:只在明确缺解释器时触发,且需要包管理器 / 管理员权限 +install_python() { + [ "$AUTO_INSTALL" = "1" ] || return 1 + log "==> 未找到 Python 3.10+,尝试自动安装" + case "$(uname -s)" in + Darwin) + if command -v brew >/dev/null 2>&1; then + brew install python@3.12 && return 0 + fi + warn "macOS 需要先装 Homebrew(https://brew.sh)或从 python.org 安装 Python 3.10+" + ;; + Linux) + if command -v dnf >/dev/null 2>&1; then + run_root dnf install -y python3 python3-pip && return 0 + elif command -v yum >/dev/null 2>&1; then + run_root yum install -y python3 python3-pip && return 0 + elif command -v apt-get >/dev/null 2>&1; then + run_root apt-get update && run_root apt-get install -y python3 python3-venv python3-pip && return 0 + elif command -v apk >/dev/null 2>&1; then + run_root apk add --no-cache python3 py3-pip && return 0 + fi + ;; + *) + ;; + esac + return 1 +} + +if ! find_python; then + if install_python; then + find_python || die "Python 安装后仍不可用,请手动安装 Python 3.10+ 后重试" + else + die "没有找到 Python 3.10+。请先安装: + macOS : brew install python@3.12 或 https://www.python.org/downloads/ + Ubuntu/Debian : sudo apt install -y python3 python3-venv python3-pip + RHEL/openEuler : sudo dnf install -y python3 python3-pip + 然后重新执行:./scripts/run.sh" + fi +fi +log " 系统 Python:$PY_SYS ($("$PY_SYS" -V 2>&1))" + +# ---------- 2. 端口占用检查(已在运行就直接给地址,省得重复启动) ---------- +port_busy() { + "$PY_SYS" - "$PORT" <<'PY' >/dev/null 2>&1 +import socket, sys +s = socket.socket() +s.settimeout(1.5) +sys.exit(0 if s.connect_ex(("127.0.0.1", int(sys.argv[1]))) == 0 else 1) +PY +} + +health_url="http://127.0.0.1:${PORT}/health" +if port_busy; then + if command -v curl >/dev/null 2>&1 && curl -fsS --max-time 2 "$health_url" >/dev/null 2>&1; then + echo "==> 端口 ${PORT} 上已有 DMS 服务在运行" + echo " 看板地址: http://127.0.0.1:${PORT}" + echo " (要重启请先在原窗口按 Ctrl+C,或执行:lsof -ti:${PORT} | xargs kill)" + exit 0 + fi + die "端口 ${PORT} 已被其他程序占用。换一个端口:PORT=8771 ./scripts/run.sh + 或找出占用进程:lsof -ti:${PORT} | xargs kill" +fi + +# ---------- 3. .env 与数据目录 ---------- +if [ ! -f .env ]; then + cp .env.example .env + log "==> 已从 .env.example 生成 .env(AI Key、管理员密码按需修改)" +fi +mkdir -p data/uploads data/exports data/import + +# ---------- 4. 项目内虚拟环境(缺依赖自动安装) ---------- +VENV_DIR="$ROOT/.venv" +if is_windows; then + VENV_PY="$VENV_DIR/Scripts/python.exe" +else + VENV_PY="$VENV_DIR/bin/python" +fi +# 兼容在另一种 shell 下建好的 .venv +if [ ! -x "$VENV_PY" ]; then + for cand in "$VENV_DIR/bin/python" "$VENV_DIR/Scripts/python.exe"; do + if [ -x "$cand" ]; then VENV_PY="$cand"; break; fi + done +fi + +install_venv_support() { + [ "$AUTO_INSTALL" = "1" ] || return 1 + case "$(uname -s)" in + Linux) + if command -v apt-get >/dev/null 2>&1; then + run_root apt-get update && run_root apt-get install -y python3-venv + elif command -v dnf >/dev/null 2>&1; then + run_root dnf install -y python3-pip + elif command -v yum >/dev/null 2>&1; then + run_root yum install -y python3-pip + elif command -v apk >/dev/null 2>&1; then + run_root apk add --no-cache python3 py3-pip + else + return 1 + fi + ;; + *) return 1 ;; + esac +} + +if [ ! -x "$VENV_PY" ]; then + log "==> 创建虚拟环境:.venv" + if ! "$PY_SYS" -m venv "$VENV_DIR" >/tmp/dms_venv.log 2>&1; then + warn "创建虚拟环境失败,尝试补齐 python3-venv ..." + install_venv_support || true + # 删掉半成品再重试,否则 venv 会认为目录已存在但不可用 + case "$VENV_DIR" in + */.venv) + if [ -d "$VENV_DIR" ]; then rm -rf "$VENV_DIR"; fi + ;; + esac + if ! "$PY_SYS" -m venv "$VENV_DIR"; then + warn "虚拟环境创建失败,日志见 /tmp/dms_venv.log" + die "请手动安装 venv 支持后重试: + Ubuntu/Debian : sudo apt install -y python3-venv + RHEL/openEuler : sudo dnf install -y python3-pip + 或者删掉 .venv 后重跑 ./scripts/run.sh" + fi + fi + if is_windows; then VENV_PY="$VENV_DIR/Scripts/python.exe"; else VENV_PY="$VENV_DIR/bin/python"; fi +fi +log " 虚拟环境:$VENV_PY" + +DEPS_CHECK='import fastapi, uvicorn, sqlalchemy, pydantic, httpx, openpyxl, multipart' +deps_ok() { "$VENV_PY" -c "$DEPS_CHECK" >/dev/null 2>&1; } + +install_deps() { + local indexes=() idx args + if ! "$VENV_PY" -m pip --version >/dev/null 2>&1; then + log "==> 虚拟环境里没有 pip,尝试 ensurepip 补齐" + "$VENV_PY" -m ensurepip --upgrade >/dev/null 2>&1 || + die "虚拟环境缺少 pip,请删掉 .venv 后重跑 ./scripts/run.sh" + fi + if [ -n "$PIP_INDEX_URL" ]; then + indexes=("$PIP_INDEX_URL") + else + # 先尊重本机 pip 配置,失败再换国内镜像 + indexes=("" "https://pypi.tuna.tsinghua.edu.cn/simple" "https://mirrors.aliyun.com/pypi/simple") + fi + for idx in "${indexes[@]}"; do + args=(install --disable-pip-version-check --timeout 20 --retries 2 -r requirements.txt) + if [ -n "$idx" ]; then + args+=(-i "$idx") + log "==> 安装依赖:$idx" + else + log "==> 安装依赖(pip 默认源)" + fi + if "$VENV_PY" -m pip "${args[@]}"; then + return 0 + fi + warn "该源安装失败,换下一个源重试" + done + return 1 +} + +REQ_HASH="$(cksum requirements.txt 2>/dev/null | awk '{print $1 "-" $2}')" +DEPS_STAMP="$VENV_DIR/.requirements.cksum" +NEED_INSTALL=0 +if ! deps_ok; then + NEED_INSTALL=1 +elif [ ! -f "$DEPS_STAMP" ] || [ "$(cat "$DEPS_STAMP" 2>/dev/null)" != "$REQ_HASH" ]; then + # requirements.txt 变过(新增/升级依赖)时重装一次;pip 本身是幂等的 + NEED_INSTALL=1 +fi + +if [ "$NEED_INSTALL" = "1" ]; then + log "==> 安装/更新运行依赖(首次约 1~2 分钟)" + if ! install_deps; then + die "依赖安装失败。可以手动执行: + $VENV_PY -m pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple + 或指定镜像:PIP_INDEX_URL=https://mirrors.aliyun.com/pypi/simple ./scripts/run.sh" + fi + deps_ok || die "依赖装完仍无法 import,请检查 requirements.txt 与 Python 版本" + printf '%s\n' "$REQ_HASH" > "$DEPS_STAMP" +fi +log " 依赖检查:OK" + +# ---------- 5. 首次运行:建表 + 预置分类 ---------- +if [ ! -f data/board.db ]; then + log "==> 首次运行,初始化数据库" + "$VENV_PY" scripts/init_db.py +fi + +# ---------- 6. 启动 ---------- +RELOAD_ARGS=() +if [ "$DEV" = "1" ]; then + RELOAD_ARGS=(--reload + --reload-include "*.js" --reload-include "*.css" --reload-include "*.html" + --reload-include ".env") +fi + +open_url() { + local url="$1" + [ "$NO_OPEN" = "1" ] && return 0 + case "$(uname -s)" in + Darwin) + open "$url" >/dev/null 2>&1 || true + ;; + Linux) + if [ -n "${DISPLAY:-}${WAYLAND_DISPLAY:-}" ] && command -v xdg-open >/dev/null 2>&1; then + xdg-open "$url" >/dev/null 2>&1 || true + fi + ;; + MINGW*|MSYS*|CYGWIN*) + cmd.exe /c start "" "$url" >/dev/null 2>&1 || true + ;; + esac +} + +URL="http://127.0.0.1:${PORT}" +echo "==> 启动服务: $URL" +echo " API 文档: $URL/api/docs" +echo " 热更新: $([ "$DEV" = "1" ] && echo 开启 || echo 关闭)" +echo " 停止服务: Ctrl+C" +echo + +if [ "$NO_OPEN" != "1" ]; then + ( sleep 3; open_url "$URL" ) & +fi + +exec "$VENV_PY" -m uvicorn app.main:app --host 127.0.0.1 --port "$PORT" \ + ${RELOAD_ARGS[@]+"${RELOAD_ARGS[@]}"}