Scoring Methodology

RAG vs Fine-Tuning Decision Engine은 사용 사례의 9개 차원에 대해 4가지 아키텍처 클래스 — RAG, Fine-Tuning, Long-Context 및 Hybrid — 를 평가합니다. 이 페이지는 각 차원이 어떻게 가중치가 부여되는지, 비용 추정이 어떻게 도출되는지, 신뢰도와 위험이 어떻게 보고되는지 설명합니다.

1. 9개 점수 차원

각 차원은 하나 이상의 아키텍처 클래스에 양수 또는 음수 점수를 기여합니다. 점수는 백분율이 아닙니다 — 가산 신호입니다. 총 점수가 가장 높은 클래스가 승리합니다. 1위와 2위 클래스 사이의 마진이 신뢰도를 결정합니다.

• 데이터 신선도

  소스 데이터가 변경되는 빈도. 실시간 데이터(1)는 미세 조정된 모델이 재훈련 주기 없이 새로운 정보를 통합할 수 없으므로 RAG를 강력히 선호합니다. 정적 데이터(5)는 RAG의 핵심 이점을 제거합니다.

• 문서 볼륨

  지식 코퍼스의 크기. 작은 코퍼스(<10K 문서, 점수 1)는 long-context 창에 들어갈 수 있습니다. 대규모 코퍼스(>10M 문서, 점수 5)는 long-context를 배제하고 벡터 기반 검색을 강력히 선호합니다.

• 월간 쿼리 볼륨

  월별 추론 호출 총수. 매우 높은 볼륨(>1M/월)에서 쿼리당 검색 비용이 누적되어 fine-tuning이 더 비용 효율적이 될 수 있습니다. 낮은 볼륨(<10K/월)에서 인프라 오버헤드가 long-context로 균형을 기울입니다.

• 인용 정확성

  사용 사례가 검증 가능한 출처 참조를 필요로 하는지 여부. 감사 등급 인용(4)은 미세 조정된 모델이 출처를 환각하기 때문에 RAG 또는 hybrid를 강력히 선호합니다 — 훈련 시점에 보지 못한 출처를 인용할 수 없습니다.

• 지연 시간 SLA

  엔드 투 엔드 지연 시간 예산(밀리초). RAG는 100–400 ms의 검색 홉을 추가합니다. SLA가 500 ms 미만인 경우, fine-tuning(검색 없음)이 필요할 수 있습니다. Long-context는 큰 토큰 수에서 TTFT 오버헤드를 추가합니다.

• 데이터 민감도

  데이터의 규제 및 기밀 분류. 높은 민감도(4–5)는 검색에 사용할 수 있는 호스팅 API 공급자를 제한하며, 자체 호스팅 임베딩 및 추론 인프라가 필요할 수 있습니다.

• 도메인 특이성

  도메인 어휘 및 출력 형식의 전문화 정도. 독점 전문 용어, 출력 스키마 또는 브랜드 음성을 가진 매우 전문화된 도메인(4–5)은 검색만으로는 얻을 수 없는 fine-tuning의 가중치 수준 적응에서 더 많은 이점을 얻습니다.

• ML 능력

  사내 ML 엔지니어링 성숙도(1 = ML 팀 없음, 5 = 세계적 수준). Fine-tuning 및 hybrid 아키텍처는 설계, 훈련, 평가 및 유지를 위한 ML 전문 지식이 필요합니다. 낮은 능력 팀은 RAG 또는 long-context를 기본값으로 사용해야 합니다.

• 예산 상한

  최대 월 지출. 선두 접근 방식의 추정 비용이 상한의 120%를 초과하면 엔진은 처벌을 적용합니다. 예산 < $2K는 일반적으로 hybrid를 배제합니다. <$5K는 훈련이 상각될 때 fine-tuning을 배제할 수 있습니다.

2. 복합 신호

개별 차원 점수를 넘어 엔진은 차원 간 상호 작용을 포착하는 복합 신호를 적용합니다:

• 높은 볼륨 + 엄격한 인용: 월간 쿼리 ≥ 1M이고 인용 = 4인 경우, RAFT가 인용 정확성을 유지하면서 훈련 비용을 상각하므로 Hybrid는 추가로 +20을 받습니다.
• 낮은 볼륨 + 낮은 예산 + 비에어갭: 벡터 인프라를 구축하는 것이 경제적으로 정당화되지 않으므로 Long-context는 +15를 받습니다.
• 온프레미스 또는 에어갭: Fine-Tuning과 Hybrid는 자체 호스팅 배포가 가능하므로 +15/+10을 받습니다. 반면 long-context(호스팅 API 호출 필요)는 −20으로 처벌됩니다.
• 예산 처벌: 접근 방식의 추정 월 비용이 명시된 상한선의 120%를 초과하면 해당 접근 방식은 −15점을 받습니다.

3. 비용 추정 방법론

비용 추정은 월간 쿼리 볼륨, 평균 토큰 수 및 모델 데이터베이스에서 가져온 실시간 LLM 가격 데이터에서 도출됩니다. 각 클래스의 공식:

벡터 DB 가격은 코퍼스 볼륨별로 계층화됩니다(1–5 척도가 $70–$3,000/월에 매핑), 2026년 1분기 기준 pgvector, Pinecone, Weaviate 및 Qdrant에서 관찰된 가격을 기반으로 합니다. LLM 토큰 가격은 모델 데이터베이스에서 실시간으로 가져오고, 데이터베이스를 사용할 수 없는 경우 보수적인 기본값($3/1M 입력, $12/1M 출력)으로 폴백됩니다.

4. 신뢰도 마진

신뢰도는 우승 클래스와 차순위 클래스 사이의 점수 마진에 의해 결정됩니다:

• 높은 신뢰도: 마진 ≥ 25점 — 한 가지 접근 방식이 명확히 우세합니다.
• 중간 신뢰도: 마진 10–24점 — 명확한 리더이지만 차순위도 실행 가능합니다.
• 낮은 신뢰도: 마진 < 10점 — 여러 접근 방식이 밀접하게 일치합니다. 둘 다와의 개념 증명을 권장합니다.

우승 점수가 40 미만인 경우, 엔진은 단일 접근 방식이 우세하지 않음을 나타내는 "재범위 플래그"도 설정합니다 — 일반적으로 인프라에 약속하기 전에 사용 사례 범위를 좁혀야 한다는 신호입니다.

5. 위험 등록부

엔진은 입력과 우승 추천에 대해 7개의 위험 트리거를 평가합니다. 각 위험에는 심각도 레벨(높음, 중간 또는 낮음)과 완화 권장사항이 있습니다:

• 환각 인용 위험(높음): Fine-Tuning 권장 + 인용 ≥ 3.
• 예산 상한 위험(중간): 추정 비용 > 명시된 상한선의 90%.
• 데이터 거주 위반 위험(높음): EU 거주 또는 높은 민감도 + Long-Context 권장.
• ML 능력 격차(중간): 능력 ≤ 2 + Fine-Tuning 또는 Hybrid 권장.
• 오래된 가격 데이터(낮음): 벡터 DB 가격 데이터가 90일 이상.
• 코퍼스 드리프트 위험(중간): 신선도 ≤ 2 + Fine-Tuning 권장.
• 지연 시간 예산 위험(높음): 지연 시간 SLA < 500 ms + RAG 또는 Hybrid 권장.

6. 제한사항 및 가정

• 비용 추정은 표시적일 뿐입니다. 실제 비용은 공급자, 모델 크기, 인프라 구성 및 협상된 가격에 따라 달라집니다.
• 점수 모델은 의도적으로 의견이 있으며 2026년 1분기 기준 Buzzi 클라이언트에서 관찰된 프로덕션 패턴을 기반으로 합니다. 경험 많은 ML 엔지니어의 아키텍처 검토를 대체하지 않습니다.
• 엔진은 멀티 테넌시, A/B 테스트 오버헤드, 평가 파이프라인 비용 또는 fine-tuning을 위한 데이터 라벨링 비용을 모델링하지 않습니다.
• Hybrid / RAFT 비용은 6개월 창당 단일 재훈련 주기를 가정합니다. 더 빈번한 재훈련 요구사항이 있는 팀은 훈련 상각 분모를 늘려야 합니다.