Scoring Methodology

RAG vs Fine-Tuning Decision Engine 在您用例的九个维度上对四种架构类别 — RAG、Fine-Tuning、Long-Context 和 Hybrid — 进行评分。本页解释了每个维度如何加权，成本估算如何得出，以及如何报告置信度和风险。

1. 九个评分维度

每个维度对一个或多个架构类别贡献正面或负面分数。分数不是百分比 — 它们是加性信号。总分最高的类别获胜。第一名和第二名之间的差距决定置信度。

  • 数据新鲜度

    您的源数据变化频率。实时数据（1）强烈倾向于 RAG，因为微调模型在没有重新训练周期的情况下无法纳入新信息。静态数据（5）消除了 RAG 的关键优势。

  • 文档容量

    您的知识语料库的大小。微小语料库（<10K 文档，分数 1）可能适合 long-context 窗口。大规模语料库（>10M 文档，分数 5）排除了 long-context 并强烈倾向于基于向量的检索。

  • 每月查询量

    每月推理调用总数。在非常高的容量（>1M/月）下，每查询检索成本累积，可以使 fine-tuning 更具成本效益。在低容量（<10K/月）下，基础设施开销将平衡推向 long-context。

  • 引用准确性

    您的用例是否需要可验证的来源参考。审计级引用（4）强烈倾向于 RAG 或 hybrid，因为微调模型会幻觉来源 — 它们无法引用在训练时没有看到的来源。

  • 延迟 SLA

    您的端到端延迟预算（毫秒）。RAG 增加了 100–400 毫秒的检索跳。如果您的 SLA 低于 500 毫秒，可能需要 fine-tuning（无检索）。Long-context 在大 token 计数下增加 TTFT 开销。

  • 数据敏感性

    您数据的监管和保密分类。高敏感性（4–5）限制了您可以用于检索的托管 API 提供商，并且可能需要自托管的嵌入和推理基础设施。

  • 领域特异性

    您的领域词汇和输出格式有多专业。具有专有术语、输出架构或品牌声音的高度专业化领域（4–5）从 fine-tuning 的权重级别适配中获得的好处比单纯的检索更多。

  • ML 能力

    您的内部 ML 工程成熟度（1 = 没有 ML 团队，5 = 世界级）。Fine-tuning 和 hybrid 架构需要 ML 专业知识来设计、训练、评估和维护。低能力团队应默认使用 RAG 或 long-context。

  • 预算上限

    最大月支出。如果领先方法的估计成本超过您上限的 120%，引擎应用惩罚。预算 < $2K 通常排除 hybrid；<$5K 在训练摊销时可能排除 fine-tuning。

2. 复合信号

除了单个维度分数外，引擎还应用捕获维度间相互作用的复合信号：

  • 高容量 + 严格引用：如果月查询 ≥ 1M 且引用 = 4，Hybrid 获得额外 +20，因为 RAFT 在保持引用准确性的同时摊销训练成本。
  • 低容量 + 低预算 + 非气隙：Long-context 获得 +15，因为搭建向量基础设施在经济上不合理。
  • 本地部署或气隙：Fine-Tuning 和 Hybrid 获得 +15/+10，因为它们可以自托管部署，而 long-context（需要托管 API 调用）被惩罚 −20。
  • 预算惩罚：如果某种方法的估计月成本超过您声明上限的 120%，该方法获得 −15 分。

3. 成本估算方法论

成本估算来自您的月查询量、平均 token 计数和从我们模型数据库获取的实时 LLM 定价数据。每个类别的公式：

RAG（每月）

嵌入一次性成本（在 6 个月内摊销）+ 向量数据库费用（按语料库容量分级）+ 检索 token（生成模型输入价格）+ 生成输入和输出 token + 15% 运营开销。

Fine-Tuning（每月）

训练运行成本（$1,200–$25,000，由特异性驱动）在 6 个月内摊销 + 1.2 倍基本模型价格的微调推理 + 重新训练储备（每年 2 倍初始成本）。

Long-Context（每月）

每查询文档 token × 生成模型输入价格 + 输出 token × 输出价格，减去提示缓存节省（您的缓存命中率 × 70% 折扣）和批处理 API 节省（您的批处理符合率 × 50% 折扣）。

Hybrid / RAFT（每月）

所有 RAG 成本 + 60% 的 Fine-Tuning 成本（反映了 RAFT 既需要检索基础设施又需要训练运行，但查询时推理比纯 RAG 更高效的现实）。

向量数据库定价按语料库容量分级（1–5 比例映射到 $70–$3,000/月），基于 2026 年第一季度从 pgvector、Pinecone、Weaviate 和 Qdrant 观察到的定价。LLM token 价格从我们的模型数据库实时获取，如果数据库不可用，则回退到保守的默认值（$3/1M 输入，$12/1M 输出）。

4. 置信度边际

置信度由获胜类别和亚军之间的分数差距决定：

  • 高置信度：差距 ≥ 25 分 — 一种方法明显占主导。
  • 中等置信度：差距 10–24 分 — 明确的领先者，但亚军仍然可行。
  • 低置信度：差距 < 10 分 — 多种方法紧密匹敌；建议两者都进行概念验证。

如果获胜分数低于 40，引擎还会设置「重新界定标志」，表明没有单一方法占主导 — 通常表明在承诺基础设施之前应缩小用例范围。

5. 风险登记册

引擎根据您的输入和获胜推荐评估七个风险触发器。每个风险都有严重等级（高、中或低）和缓解建议：

  • 幻觉引用风险（高）：推荐 Fine-Tuning + 引用 ≥ 3。
  • 预算上限风险（中）：估计成本 > 您声明上限的 90%。
  • 数据驻留违反风险（高）：EU 驻留或高敏感性 + 推荐 Long-Context。
  • ML 能力差距（中）：能力 ≤ 2 + 推荐 Fine-Tuning 或 Hybrid。
  • 过时定价数据（低）：向量数据库定价数据超过 90 天。
  • 语料库漂移风险（中）：新鲜度 ≤ 2 + 推荐 Fine-Tuning。
  • 延迟预算风险（高）：延迟 SLA < 500 ms + 推荐 RAG 或 Hybrid。

6. 限制和假设

  • 成本估算仅供参考。实际成本取决于供应商、模型大小、基础设施配置和谈判价格。
  • 评分模型故意带有立场，基于截至 2026 年第一季度在 Buzzi 客户处观察到的生产模式。它不能替代经验丰富的 ML 工程师的架构审查。
  • 引擎不模拟多租户、A/B 测试开销、评估管道成本或 fine-tuning 的数据标记成本。
  • Hybrid / RAFT 成本假设每 6 个月窗口一个重新训练周期。需要更频繁重新训练的团队应增加训练摊销除数。
Run the decision engineTalk to an architect