nex_docus/docs/sdd/specs/DV-0008-llm-model-config/design.md

628 B
Raw Blame History

DV-0008:LLM 模型配置 – 设计(Design)

上下文

llm_model_configs.py、llm_provider_service.py、模型 llm_model_config.py。

数据模型

  • llm_model_config(model_code/model_type/provider/endpoint/api_key/llm_model_name/llm_timeout/type_config/is_active/is_default)。

type_config 差异字段

  • chat:temperature/top_p/max_tokens/system_prompt
  • embedding:dimension/chunk_size/chunk_overlap

接口设计

  • /api/v1/llm-model-configs/*(CRUD、status、default、test、providers)

默认选择

  • embedding 默认取 is_active 且 model_type=embedding,is_default 优先。