私有化部署的成本由三部分构成：硬件一次性投入、机房与运维的持续性支出、以及人力。 其中硬件投入最容易算错，因为大多数人只用「参数量」去估显存，忽略了精度、上下文长度与并发带来的放大效应。
一、显存估算公式
一个可用的粗略公式是：
显存 ≈ 参数量 × 每参数字节数 + KV Cache + 激活与框架开销
- 每参数字节数：FP16 约 2 字节，INT8 约 1 字节，INT4 约 0.5 字节。
- KV Cache：与并发数、上下文长度成正比，长上下文场景下这部分可能超过模型本身。
- 框架开销：通常再预留 15%–25%，用于激活值、临时缓冲与碎片。
举一个具体的例子：一个 70B 参数的模型用 INT4 量化，权重约 35 GB； 若按 8 路并发、8K 上下文估算，KV Cache 大约需要 20–30 GB； 再加上框架开销，单机实际需要 80 GB 以上显存，通常落在两到四张 48G/80G 卡的区间。
二、三种典型规模的成本对照
| 规模 | 适用场景 | 典型配置 | 并发能力 |
|---|---|---|---|
| 试点级 | 1–3 个场景，百人以内使用 | 单机 1–2 卡，7B–14B 模型 | 5–10 路 |
| 部门级 | 单业务线，千人规模 | 2 机 4–8 卡，32B 级模型 | 20–40 路 |
| 企业级 | 多业务线共用，含高峰波动 | 集群部署，70B 级或多模型并存 | 100 路以上 |
需要强调的是：绝大多数企业第一个生产场景，用试点级配置就够。 我们见过太多项目在立项时按企业级预算采购，结果半年内利用率不到 15%， 剩下的钱本可以用来做数据治理和场景扩展。
三、五个降本手段
- 模型分级：简单任务走小模型，复杂任务才路由到大模型，成本差异往往是十倍量级。
- 提示词缓存：系统提示与固定知识片段做前缀缓存，可显著减少重复计算。
- 结果缓存：高频重复问题直接返回缓存答案，配合语义相似度做命中判断。
- 上下文压缩：检索后做重排与截断，只把真正相关的片段送进窗口。
- 量化部署：在效果可接受的前提下使用 INT8/INT4，显存需求直接减半。
这五条里，前两条的性价比最高，通常不需要动模型就能拿到 30%–50% 的成本下降。
四、容易被漏算的隐性成本
- 数据治理人力：文档清洗、术语统一、知识结构梳理，通常占总投入的 30% 以上。
- 评测与标注：建评测集、标注标准答案、人工抽检，是持续支出而非一次性。
- 运维值班：GPU 集群需要监控、扩容、故障处理，需要专人或有 SLA 的服务商。
- 迭代成本：上线后每月优化提示词与检索策略的人力投入。
我们在给客户做预算表时，会把硬件与人力分开列示。经验值是： 硬件占总投入的 40%–55%，人力与服务占 45%–60%。 只算硬件的预算表，通常会在第二年超支。