1. 왜 다채롭고 날카로운 시험 문제가 필요한가
인공지능 지식 엔진의 망라성을 보장하는 커버리지 맵 설계와 표 데이터의 파라메트릭 전처리가 완료되었다면,
이제 그 사실 체크리스트의 행들을 기반으로 시스템의 뼈를 사정없이 때리는 날카로운 시험 문제를 출제할 단계이다.
많은 기업 프로젝트에서 저지르는 치명적인 실수는 “A 제품의 지원 사양은 무엇인가요?”와 같이 문서에 일직선으로 적혀 있는 기초적인 사실만 단순하게 물어보는 것이다. 이러한 단편적 질문들로만 시험지를 도배하면, 실제 사용자들이 온갖 복잡하고 꼬아진 형태로 질문을 던지는 실전 환경에서 시스템의 분기 알고리즘과 검색 파이프라인이 처참하게 무너지는 현상을 절대로 잡아낼 수 없다.
에이전트의 경로 판단력(Routing)과 검색(Retrieval) 성능을 다각도로 정밀 측정하기 위해서는 문제를 출제하는 방식 자체를 고도화해야 한다.
단순 조회를 넘어 시스템의 한계선을 시험하는 입체적인 문항 설계가 선행되어야 함을 뜻한다. 이번 4편에서는 RAG 평가의 변별력을 극대화하는 6+1 문항 유형 분류 체계의 세부 스펙과 함께, 문서 성향별 평가 가치 축의 올바른 바인딩 가이드라인을 냉정하게 해부한다.
2. RAG와 AI 에이전트의 한계를 시험하는 6+1 문항 유형 체계
ㄱ. 에이전트 라우팅과 RAG 성능을 뒤흔드는 유형별 스펙
골든셋의 평가 변별력을 확보하기 위해 기획자는 자의적인 판단을 멈추고, 아래 정의된 7가지 분류 코드의 정의와 규칙을 철저하게 준수하여 질문을 생성해야 한다. 단순 문서 조회에 해당하는 A유형의 비율은 전체 배치의 최대 60%를 넘지 않도록 강제 통제하는 것이 대전제이다.
- A형 (단순 문서 조회): 매뉴얼이나 가이드라인 소스 문서에 명시된 사실을 그대로 매칭하여 대답하는 문항이다.
- B형 (통계/수치 집계): 사양 비교 테이블이나 수치 집계 등 DB 조회가 필요한 통계성 문항이다. 단, 현재 인프라 구조상 사내 DB 명세가 확보되지 않았다면
가이드라인에 따라 일시적 PASS 처리한다. - C형 (복합 질문): 한 문장에 2개 이상의 독립된 질문을 결합하여 에이전트가 질문을 하위 질의로 잘 분할하는지 검증한다.
- D형 (멀티홉, Multi-hop): 단서 A를 먼저 찾고, 그 결과값을 바탕으로 단서 B를 찾아내 연쇄 추론해야 답이 나오는 고난도 문항이다.
- E형 (무응답 함정): 원본 지식 문서에 존재하지 않는 외부 정보를 질문하여, 에이전트가 억지로 답변을 지어내지 않고 정확히 거절 경로로 라우팅하는지
테스트하는 함정 카드이다. - F형 (권한/거버넌스): 질문자의 역할과 보안 직급에 따라 답변을 제한하거나 노출 여부를 제어하는지 검증한다.
- G형 (경계/예외): OS, 버전, 에디션별로 다르게 동작하는 비대칭적 경계 지점을 자극하는 질문이다.
3. 문서 특성 기반의 문항 가치 추출 가이드라인
골든셋은 청킹 메커니즘과 완전히 독립되어 운영되지만, 원본 문서가 지닌 고유한 특성과 성향을 날카롭게 읽어내어 문항에 반영해야 한다. 지식 문서의 도메인이 무엇이냐에 따라, 집중적으로 파고들어야 할 평가 가치 축이 완전히 다르게 설계되어야 정답지의 변별력이 살아나기 때문이다.
ㄱ. 사내 정책 및 규정 문서
- 핵심 평가 가치 축: 조건·예외·경계(G형), 권한·금지·의무(F형), 정보부재·미규정(E형), 중첩 참조(D형)가 핵심 주력 축으로 등판한다.
- 설계 규칙: “정규직은 지급 대상이나 계약직은 제외한다”와 같이 조건과 예외 조항의 분별력을 찔러야 한다. 또한 “누가 전결권자인가”라는 거버넌스(F형)와 규정에 명시되지 않은 항목을 물었을 때 챗봇이 지어내지 않고 거절하는 무응답 함정(E형)을 조밀하게 배치해야 한다. 조항 간 서로 참조가 얽혀 있는 특성상 멀티홉(D형) 소재가 가장 풍부하게 나오는 핵심 구간이다.
ㄴ. 제품 사양서 및 에디션 호환성 매트릭스 표
- 핵심 평가 가치 축: 비대칭 옵션 경계(G형), 다중 조건 결합(C형), Exact 수치 일치(A형)가 주력 축이 된다.
- 설계 규칙: 버전이나 에디션에 따라 지원 가부가 엇갈리는 비대칭 경계선을 집요하게 찔러야 한다. 유사한 사양서 사이에서 낚시 청크에 당하지 않는 리랭킹(Reranking) 변별력을 유도한다.
ㄷ. 절차 가이드 및 매뉴얼 문서
- 핵심 평가 가치 축: 단계별 선후 관계(D형), 문제 해결 시나리오(C형)가 주력 축이 된다.
- 설계 규칙: 행동의 순서와 조건부 액션 단계를 추적하는 연쇄 단서 중심의 멀티홉 구조를 촘촘하게 빌드한다.
4. 골든셋 질문 및 필수 ‘근거 발췌’ 생성 기법
ㄱ. 발췌 3원칙의 수호와 Ctrl+C의 철학
커버리지 맵의 ‘미검토’ 행을 타겟팅하여 AI에게 문항 생성을 명령할 때, 기획자가 감독관으로서 타협 없이 수호해야 하는 공학적 족쇄는 ‘근거 원문 발췌’의 무결성이다. AI 모델에게 문항을 추출하라고 지시하면, 질문과 정답은 제법 그럴듯하게 만들면서도 근거 발췌문 칸에는 본문 내용을 자기 마음대로 요약하거나 문장 어순을 바꾸어 출력하는 고질적인 나쁜 버릇을 부리기 때문이다.
이러한 오염된 발췌문을 그대로 방치하여 마스터 엑셀에 적재하면 절대 안 된다. 다음 단계에서 가동할 자동 문자 대조 검증기(Verifier)가 원본 문서 전체를 검색한 뒤 “이 정확한 문자열은 원문에 존재하지 않는다”라며 해당 문항을 가차 없이 탈락시켜 버리기 때문이다.
따라서 발췌문은 무조건 원본 문서에서 토시 하나 틀리지 않고 글자 그대로 복사(Ctrl+C)해 온 연속된 순수 문장 자체여야 한다. 질문은 실제 인간 사용자가 쓸 법한 다채로운 구어체나 오타 섞인 표현을 허용하되, 그 질문이 딛고 서 있는 근거 발췌문은 철저하게 차가운 물리적 텍스트 그대로 보존해야 정답지의 권위가 확립된다.
5. 질문 완성이 끝이 아닌 이유
SOP 가이드라인에 따라 커버리지 맵의 미검토 행들을 배치 단위로 쪼개어 질문과 발췌문으로 전환하고, 마스터 체크리스트의 미검토 잔여 개수가 마침내 ‘제로(0)’로 뚝 떨어지는 순간 골든셋 초안 생성이 일차적으로 종료된다. 드디어 우리 시스템만의 고유한 지식 자산 시험지가 형태를 드러낸 것이다.
그러나 완성된 질문 리스트는 어디까지나 AI들이 만들어낸 ‘초안 시험지’일 뿐이다.
이 초안을 단일 모델로 대량 양산하게 되면 심각한 품질 저하와 환각 결함이 발생한다. 다음 이어지는 시리즈의 5편에서는 이러한 한계를 극복하기 위해 비용 효율성과 다양성을 동시에 확보하는 ‘하이브리드 LLM 앙상블 라우팅’ 전략을 상세히 고찰하며, 저렴한 모델과 최고급 모델을 조합하는 현실적인 아키텍처 노하우를 공개하겠다.