同步所有部署配置和构建脚本中的镜像仓库地址,将原 docker.llm.unissense.tech 替换为新的 docker.oa.unissense.tech,确保部署流程和镜像拉取使用正确的仓库。 |
||
|---|---|---|
| .. | ||
| all-in-one | ||
| README.md | ||
| build-and-push.sh | ||
| check-manifests.py | ||
| k3s-unis-scc-allinone.min.yaml | ||
| k3s-unis-scc-allinone.yaml | ||
| k3s-unis-scc.yaml | ||
README.md
unis_scc 镜像构建与 k3s 部署
两种打包形态
| 形态 | 镜像 | 清单文件 | 说明 |
|---|---|---|---|
| all-in-one(默认) | public/unis_scc |
k3s-unis-scc-allinone.yaml |
一个镜像一个 Pod:nginx 托管两个前端 + 同容器跑 Spring Boot |
| 分体 | public/unis_scc-backend / -frontend / -system |
k3s-unis-scc.yaml |
三个镜像三个 Deployment,可独立升级回滚 |
all-in-one 容器内端口:80 CRM 前端、8090 系统管理前端、8080 后端 API。任一子进程退出,容器整体退出,由 k8s 重启。
构建并推送
docker login docker.oa.unissense.tech -u admin
./deploy/build-and-push.sh # all-in-one,镜像名 unis_scc
./deploy/build-and-push.sh app
./deploy/build-and-push.sh backend frontend system # 分体三镜像
TAG=202610291500 ./deploy/build-and-push.sh # 指定 tag(默认取当前时间 + latest)
PUSH=0 ./deploy/build-and-push.sh # 本地验证,不推送
脚本会先用 JDK 17 执行 mvn -DskipTests package。后端依赖 com.unisbase,是只装在本地 ~/.m2 的内部包,所以 jar 必须在宿主机打好,再由镜像 COPY。Apple Silicon 上走 amd64 模拟,前端构建约需几分钟。
all-in-one 的构建上下文是仓库根目录(-f deploy/all-in-one/Dockerfile .),根 .dockerignore 控制上下文体积。
k3s 部署
# 节点可直连 Harbor:public 项目允许匿名拉取
kubectl apply -f deploy/k3s-unis-scc-allinone.yaml
kubectl -n unis-scc rollout status deploy/unis-scc
# 节点访问不了 Harbor:离线导入
docker save -o /tmp/unis_scc.tar docker.oa.unissense.tech/public/unis_scc:latest
scp /tmp/unis_scc.tar node:/tmp/ && ssh node 'k3s ctr images import /tmp/unis_scc.tar'
访问入口(NodePort):CRM 前端 :30092、系统管理前端 :30093、后端 API :30091。
配置说明
数据库与 Redis 走镜像内置的 application-prod.yml(PG 10.100.51.227:30532/unis_scc、Redis 10.100.51.227:30379 db10)。需要覆盖时在 Deployment 的 env 里加 SPRING_DATASOURCE_URL、SPRING_DATA_REDIS_HOST、WECOM_* 等变量,JAVA_OPTS 可改 JVM 参数。
分体形态下两个前端容器靠 BACKEND_HOST / BACKEND_PORT 渲染 nginx 反代配置;all-in-one 反代目标是 127.0.0.1:8080,不需要这俩变量。
项目没有引入 spring-boot-actuator,探活不能用 /actuator/health。all-in-one 用镜像内的 /usr/local/bin/healthcheck.sh 同时检查三个端口,分体形态的后端用 TCP 探活。
可选配置
Harbor 私有项目的拉取凭证
public 项目允许匿名拉取,不需要下面这个。若把镜像挪到私有项目,再取消注释并打开 Deployment 里的 imagePullSecrets:
apiVersion: v1
kind: Secret
metadata:
name: harbor-regcred
namespace: unis-scc
type: kubernetes.io/dockerconfigjson
stringData:
.dockerconfigjson: '{"auths":{"docker.oa.unissense.tech":{"username":"admin","password":"unix@1234"}}}'
Ingress(k3s 自带 Traefik)
两个前端是各自独立的 SPA、都按 / 为根构建,所以按域名拆比按路径拆省事:
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: unis-scc
namespace: unis-scc
spec:
rules:
- host: crm.unissense.top
http:
paths:
- { path: /, pathType: Prefix, backend: { service: { name: unis-scc, port: { name: crm } } } }
- host: scc-admin.unissense.top
http:
paths:
- { path: /, pathType: Prefix, backend: { service: { name: unis-scc, port: { name: sys } } } }
导入报错排查
TypeError: Cannot read properties of null (reading 'metadata')
原因:清单里存在"空文档"——--- 之后整段都是注释,YAML 解析出一个 null,按数组逐个取 metadata 就炸。kubectl 会忽略空文档,所以命令行正常、GUI 导入失败。现已把所有示例注释移出 YAML(改放本 README),并加了校验:
./deploy/check-manifests.py # 检查同目录全部清单,报出空文档/缺字段的文档序号
仍失败就用无注释等价版 k3s-unis-scc-allinone.min.yaml(与主文件解析结果逐字段一致,绕开注释相关的解析差异)。
离线导入后 ErrImagePull:imagePullPolicy 必须是 IfNotPresent,否则 kubelet 仍会去 Harbor 拉取。
改完 YAML 记得重新生成 min 版:
python3 - <<'PY'
import yaml
src, dst = 'k3s-unis-scc-allinone.yaml', 'k3s-unis-scc-allinone.min.yaml'
docs = [d for d in yaml.safe_load_all(open(src, encoding='utf-8')) if d is not None]
open(dst, 'w', encoding='utf-8').write(
"---\n".join(yaml.dump(d, sort_keys=False, default_flow_style=False, allow_unicode=True) for d in docs))
PY
升级镜像后接口还是 404 / 401
latest + imagePullPolicy: IfNotPresent 组合下,重新导入或重新推送 latest 不会让已在跑的 Pod 换镜像,必须重建 Pod。清单已把镜像钉成具体时间戳 tag(如 202610301521)来避免这类"改了没生效",出新版时改这一行或执行:
kubectl -n unis-scc set image deploy/unis-scc unis-scc=docker.oa.unissense.tech/public/unis_scc:<新TAG>
kubectl -n unis-scc rollout status deploy/unis-scc
判断线上跑的是哪一版,不用进容器,比较两个 401 的文案即可:
H='X-Internal-Secret: <secret>'
curl -s -o /dev/null -w '旧接口 -> %{http_code}\n' -H "$H" http://<节点IP>:30092/api/opportunities/all
curl -s -o /dev/null -w '新接口 -> %{http_code}\n' -H "$H" http://<节点IP>:30092/api/opportunities/projects
旧接口 200 + 新接口 401(Missing authorization header) = 线上是旧构建,缺新接口的 permit-all-urls 配置;401(内部接口鉴权失败) 才是密钥不对;新接口返回和一个不存在路径相同的表现,说明这个构建里压根没有该路由。
分体清单 k3s-unis-scc.yaml 用的是另一组端口(前端 30082/30083、后端 30181),与 all-in-one 已占用的 30091/30092/30093 不冲突,两套只在需要时二选一部署。
MCP 调用返回 405 Not Allowed
MCP 的 JSON-RPC 入口在后端是 POST /mcp(com.unisbase.llm.McpController,鉴权头 X-Bot-Id / X-Bot-Secret,凭证在系统管理前端「个人主页 → Bot 凭证」里生成),但前端 nginx 原本只反代 /api/、/sys/,/mcp 会落进 SPA 的 location / { try_files $uri $uri/ /index.html; }:
| 请求 | 结果 | 说明 |
|---|---|---|
POST /mcp 走前端端口(30092 / 30093) |
405 Not Allowed,响应体是 nginx 默认 HTML 错误页 |
nginx 不允许对静态文件执行 POST |
GET /mcp 走前端端口 |
200 text/html,返回的是 index.html |
更迷惑:看着像通了,其实拿到前端包 |
POST /mcp 走后端端口(30091) |
401 {"error":"invalid_request","error_description":"X-Bot-Id and X-Bot-Secret are required"} |
后端路由本身没问题 |
判别口诀:响应是 Server: nginx + HTML 错误页 = 请求压根没到后端;返回 JSON 报错(哪怕是 401)= 已经到后端了。
已在三处 nginx 配置补 location = /mcp 反代:all-in-one 的 80 / 8090 两个站点(deploy/all-in-one/nginx/unis-scc.conf),以及分体形态的两套前端模板(frontend/nginx/default.conf.template、frontend1/nginx/default.conf.template)。这些配置是打进镜像的,改完必须重新构建镜像并换 tag,kubectl exec 进去改会被下次重启覆盖。
验证:
curl -s -o - -w '\nHTTP %{http_code}\n' -X POST http://<节点IP>:30092/mcp \
-H 'Content-Type: application/json' \
-H 'X-Bot-Id: <botId>' -H 'X-Bot-Secret: <botSecret>' \
-d '{"jsonrpc":"2.0","id":1,"method":"tools/list"}'
# 期望:不再出现 405 的 HTML 页;鉴权正确时返回 JSON-RPC 结果
镜像没重建前的临时绕法:直接打后端端口 http://<节点IP>:30091/mcp。
公网走的是 crm.unissense.top(111.10.202.195 上的 openresty)→ 节点 :30092 → 容器内 nginx 这条链路。openresty 只把 Server 改成了 openresty,但路径和 POST 方法都原样转了进来(405 的 HTML 正文就是容器内 nginx 产生的),X-Bot-* 头是否透传等上线后再验一次,所以边缘层不用改,只要 Pod 换成含 location = /mcp 的镜像即可。判断是哪一层没通,分别打两个地址对比:
curl -s -o /dev/null -w '域名 -> %{http_code}\n' -X POST https://crm.unissense.top/mcp -H 'Content-Type: application/json' -d '{}'
curl -s -o /dev/null -w '节点 -> %{http_code}\n' -X POST http://<节点IP>:30092/mcp -H 'Content-Type: application/json' -d '{}'
# 两边都从 405 变 401 = 修复生效;节点通了但域名还是 405 = 去查 openresty 的 location 配置