1. 시험지가 준비되었다면, 이제 채점 인프라를 가동할 시간

7편과 8편에 걸친 철저한 1축(물리 대조) 및 2축(논리 정합성) 검증 프레임워크를 관통하여, 마침내 환각 확률 0%의 완벽하게 정제된 마스터 정답지(Golden Set)를 손에 쥐었다.
이 정답지는 인공지능 지식 엔진의 성능을 칼같이 판정할 기준자가 된다. 그러나 아무리 벼려진 시험지가 존재하더라도, 이를 실제 구동 중인 시스템에 투입하여 자동으로 점수를 산출해 주는 공학적인 ‘채점 인프라’가 없다면 RAG의 성능을 숫자로 정량화할 길이 열리지 않는다.

RAG 시스템의 API 인프라에 정답지를 투입하여 채점 단계를 가동할 때, 단순히 “맞았다”, “틀렸다” 식의 일차원적인 합격 점수만 내는 것은 시스템 고도화 관점에서 완전히 무가치하다. 성능 저하(과락)가 발생했을 때 파이프라인의 어느 구간이 고장 났는지 정확하게 짚어내지 못하기 때문이다.

이번 9편에서는 골든셋 마스터 포맷을 자동 채점기인 eval-runner 시스템에 탑재하고, 채점 레이어를 검색(Retrieval)과 생성(Generation) 두 가지 축으로 완벽하게 수술실처럼 분리하여 진단하는 2레이어 자동화 채점 파이프라인의 완성 공정을 상세히 분석한다.

2. 외과수술식 진단을 위한 2레이어 분리 측정법과 세부 메트릭

시스템 성능 채점 자동화의 대원칙은 파이프라인 전반부인 ‘문서 검색 엔진’의 성능과, 후반부인 ‘AI 모델의 답변 생성 능값’을 완전히 격리하여 다차원 수학적 메트릭으로 추출하는 것이다. 그래야만 오답이 터졌을 때 원인을 명확하게 역추적할 수 있다.

ㄱ.검색(Retrieval) 평가 레이어: 올바른 재료를 찾아왔는가?

RAG 시스템의 전반부 모듈이 데이터베이스에서 정답을 맞추기 위한 필수 지식 조각을 정상적으로 검색해 왔는가 판정하는 단계이다.

Context Recall (문맥 재현율): 우리가 골든셋에 정밀하게 적어놓은 ‘근거 원문 발췌(정답지)’ 데이터가 시스템 RAG 검색 결과(Top-K 청크) 내에 실제로 유실 없이 포함되어 올라왔는지를 측정한다. 골든셋의 발췌문이 바로 이 Recall을 계산하는 절대적인 정답지가 된다.

Context Precision (문맥 정밀도): 검색 엔진이 긁어온 여러 개의 청크들 중에서 질문과 진짜 관련이 있는 유용한 정보가 상위 순위에 밀도 있게 정렬되어 올라왔는가 측정한다.

ㄴ. 생성(Generation) 평가 레이어: 재료를 가지고 요리를 잘했는가?

검색 엔진이 재료를 잘 찾아왔다는 전제하에, 후반부인 LLM이 그 재료에 기반하여 사용자에게 왜곡 없는 답변을 만들었는가 판정하는 단계이다.

Faithfulness (충실도 — 환각 여부): 시스템이 출력한 최종 답변이, RAG가 검색해 온 청크 내용에만 철저하게 기반하고 있는가 측정한다. 가져온 문서에 없는 내용을 모델이 제멋대로 상상해서 지어내면 점수가 폭락한다. 기획자가 세워둔 Faithfulness ≥ 4 합격 기준이 이 지표를 감시한다.

Answer Correctness / Relevancy (정확성 및 연관성): 시스템 답변이 사용자의 질문 의도에 정면으로 부합하며, 골든셋 정답 칸에 명시된 필수 포함 요소와 타 운영체제 혼동 시 즉시 0점 처리하는 엄격한 Knock-out 조항을 완벽하게 충족했는가 측정한다. 기획자가 세워둔 Correctness ≥ 4 합격 기준이 이 지표를 감시한다.

3. 자동 채점기 eval-runner 구동 및 아키텍처적 효과

준비된 골든셋 시험지를 탑재한 자동 채점 가동 도구인 eval-runner는 사람의 반복 작업을 명령 한 줄로 완전히 대체한다.

실전 eval-runner 구동 및 자동 채점 실행 명령어 예시

$ eval-runner –goldenset ./master_goldenset.xlsx –target-api https://rag.api.internal –output ./report.xlsx

현재 단계에서 실제 시스템 API 인프라가 빌드 중인 상황이라면, 인프라 내부에 탑재된
--mock 가짜 응답 플래그를 활성화하여 파이프라인의 통신 루프가 정상적으로 회전하는지 모의 연습을 수행하면 된다. 엔지니어들이 실제 API 연동을 완료해 내는 시점이 오면, 이 가짜 플래그를 걷어내고 실전 HTTP 통신 모드로 변환하여 가동한다.

eval-runner가 채점 실행을 종료하면 결과 데이터를 요약(Summary), 유형별, 문항별의 3개 시트로 분할된 정형 엑셀 보고서로 자동으로 출력해 준다.
이 시스템을 구축해 두면, “틀린 답”이 발견되었을 때 “클라우드 팀의 검색 모듈이 문서를 못 찾아와서 틀린 건지(검색 실패), 아니면 문서는 잘 찾아왔는데 AI 모델이 프롬프트 해석을 못 해서 헛소리를 한 건지(생성 실패)” 외과수술처럼 명확하게 원인을 진단하고 고칠 수 있게 된다.

4. 숫자로 증명되는 AI 성능 리더보드

검증이 완료된 골든셋과 eval-runner 인프라의 결합은 프로젝트 팀에게 강력한 무기가 된다.
매 패치나 코드 수정이 일어날 때마다 이 마스터 문항들을 자동으로 쏴서 시스템 성능 리더보드 점수판을 실시간으로 갱신하는 과학적인 파이프라인이 비로소 완성되기 때문이다. 주관적인 감정을 배제하고 오직 차가운 숫자로 인공지능의 지식 능력을 증명할 수 있는 채점 환경이 확립된 것이다.

이렇게 채점 레이어를 분리하여 성능 지표를 확보하는 공정은 지속 가능한 RAG 관리 체계의 핵심 기반 레이어가 된다.

9편 채점 인프라 가동을 통해 RAG 시스템 성능의 정확한 점수판을 추출해 냈다면, 이제 이 숫자를 바탕으로 시스템의 체질을 개선하는 최적화 공정으로 나아가야 한다.
다음 이어지는 시리즈의 10편에서는 산출된 수학적 지표 중 점수가 낮게 터진 취약 구간을 역추적하여 청킹 사양, 임베딩 모델, 프롬프트 규칙을 수정하고 성능 향상을 무한 반복 검증하는 ‘STAGE 6: 분석 및 개선 회귀 루프(Optimization Loop)’의 선순환 아키텍처를 상세히 파헤쳐 보겠다.