RAG 골든셋 구축 방법 14부작 마스터 가이드: 6편 점진적 배치(Batch) 추출 공정

1. 대량 생성의 유혹과 프롬프트 오염의 대참사

가성비 모델과 최고급 모델의 역할을 분비하는 하이브리드 LLM 앙상블 라우팅 아키텍처를 정립했다. 효율적인 구조가 설계되었다면,
이제 실제로 커버리지 맵에 등록된 지식 단위들을 시험 문제와 정답으로 바꾸어 내는 본격적인 ‘출제 공정’을 가동할 시간이다.
이때 많은 초보 기획자들과 개발자들이 빠지는 치명적인 유혹이 존재한다. 바로 “아키텍처도 완성되었으니 수백, 수천 페이지에 달하는 문서 전체를 AI에게 한 번에 던져서 수백 개의 골든셋을 동시에 뽑아내자”는 대량 생성(Bulk Generation)의 유혹이다.

결론부터 냉정하게 말하자면, 이러한 일괄 양산 방식은 RAG 평가셋 프로젝트를 통째로 폐기하게 만드는 대참사로 이어진다.
AI에게 한 번에 너무 많은 컨텍스트와 출제 임무를 부여하면 프롬프트 명령에 오염이 발생하기 때문이다.
문서를 오해해 교묘한 가짜 문제(환각)를 잔뜩 만들어내거나 , 실제 사용자의 변별력을 측정할 수 없는 아주 단순하고 뻔한 단답형 질문으로 정답지를 도배해 버리는 심각한 품질 저하가 실측된다. 만약 이 상태로 1,000개의 문항을 한 번에 뽑았다가 결함이 발견되면, API 비용은 비용대로 날리고 인간이 수천 행의 데이터를 일일이 눈으로 보며 수정해야 하는 끔찍한 사후 수습 비용을 감수해야 한다.

이러한 리스크를 원천 차단하고 정답지의 무결성을 98% 이상 수호하기 위해, 철저하게 30~50개 단위로 소량 생산하고 정제하는 ‘점진적 배치(Batch) 추출 공정’의 실무 프로토콜을 명확하게 해부한다.

2. 점진적 배치 추출 공정의 핵심: 유기적인 피드백 루프

RAG 골든셋 구축 방법을 완성하는 점진적 배치 공정은 한 번에 찍어내는 공산품 생산 방식이 아니다. 이는 AI라는 신입 사원에게 업무 인수인계를 하듯 피드백을 주며 기준을 완벽하게 길들여 나가는 유기적 프로세스이다.

실전 구축 시 기획자가 고수해야 할 정석 순환 루프 4단계는 다음과 같다.

ㄱ. 1단계: 최초 소량 배치 추출 (30~50개 단위)

커버리지 맵 인벤토리에서 ‘미검토’ 상태인 상위 지식 단위를 딱 30~50개만 잘라내어 1선 출제 AI에게 전달한다. 3편과 4편에서 선언한 규칙서와 6+1 문항 가이드라인을 주입한 뒤, 오직 이 30~50개 단위에 대해서만 질문과 정답, 근거 발췌문 초안을 생성하도록 통제한다.

ㄴ. 2단계: 인간 기획자의 정밀 검수 및 오류 패턴 분석

출력된 첫 번째 배치(Batch 1) 데이터를 인간 기획자가 현미경 검수한다. 이 단계에서 AI가 범한 치명적인 나쁜 버릇을 적발해 내야 한다. 예를 들어 “단순 조회(A형) 문항의 비율이 너무 높다”, “근거 발췌문의 문장 어순을 지멋대로 요약했다”, “특정 에디션의 미지원 사양 경계선을 뭉뚱그렸다” 등의 구체적인 결함 패턴을 리스트업한다.

ㄷ. 3단계: 프롬프트 가이드라인 보정 및 족쇄 강화

적발된 오류 패턴을 바탕으로, AI에게 던질 표준 프롬프트 명령어를 즉시 수정한다
. 만약 발췌문 오염이 발생했다면 “근거 원문 발췌 칸에는 절대로 네 생각을 섞어 요약하지 말고, 원본 문서에서 토시 하나 틀리지 않게 글자 그대로 복사(Ctrl+C)하여 미러링하라” 와 같이 더욱 강력한 공학적 족쇄 규칙을 프롬프트에 추가하는 방식이다.

ㄹ. 4단계: 완벽한 예시(Few-shot) 주입 후 다음 배치 가동

가이드라인을 고도화한 뒤, 다음 30~50개 단위의 신규 배치를 가동한다. 이때 가장 결정적인 팁은, 방금 1~2단계에서 인간의 검수를 통과한 ‘가장 완벽하게 작성된 모범 문항 2~3개’를 템플릿 예시(Few-shot)로 프롬프트 하단에 함께 주입하는 것이다
. AI는 이 정제된 실전 예시를 보는 순간 출제 의도와 입도(Granularity)를 기가 막히게 이해하며, 두 번째 배치(Batch 2)부터는 사람의 손을 거의 타지 않는 압도적인 고품질 데이터를 스스로 뱉어내기 시작한다.

3. 실측 사례가 증명하는 ‘질(Quality) > 양(Quantity)’의 원칙

실제 대규모 지식 플랫폼 RAG 검증 프로젝트를 수행할 당시, 인사팀 규정과 제품 사양서 소스를 기반으로 이 배치 추출 공정을 엄격하게 적용한 실측 데이터가 존재한다.

당시 인사 규정의 복잡한 조문들을 한 번에 처리하지 않고 30개 단위 배치로 쪼개어 가동했다. 첫 번째 배치 검수 시 특정 조문들이 통째로 임의 누락되거나 왜곡되는 현상이 드러났으나, 즉시 피드백을 반영하여 “있는 사실은 전부 누락 없이 만든다”로 기준을 교정하고 프롬프트를 보정했다.
그 결과, 이후 차례로 누적된 60개, 90개, 수백 개의 마스터 데이터셋에서는 원문에 존재하지 않는 가짜 근거를 날조하는 환각 현상이 단 0건도 발생하지 않는 완벽한 데이터 무결성을 달성할 수 있었다.

처음부터 대량으로 뽑아낸 1,000개는 쓰레기 데이터(Garbage)가 되어 평가 전체를 무효로 만들지만, 점진적으로 길들여 가며 정교하게 깎아낸 배치 데이터는 시스템의 결함을 칼같이 잡아내는 강력한 자산이 된다는 사실을 명심해야 한다.

4. 점진적 확장의 마일스톤

커버리지 맵의 미검토 체크리스트 행들을 30개, 60개, 120개씩 릴레이식으로 클리어해 나가며 마스터 데이터베이스의 잔여 미검토 개수가 마침내 ‘제로(0)’를 향해 감소하는 순간, 골든셋 초안 생성이 종료된다. 이 점진적 배치 공정은 무결한 정답지 빌드를 위한 필수적인 통제선이다.

그러나 수석 출제위원으로서 기획자의 임무는 여기서 완결되지 않는다. 배치 공정을 거쳐 AI들이 아무리 완벽한 초안 시험지를 뱉어냈다고 한들, 그것은 어디까지나 AI 세션 내부의 결과물일 뿐이다. 이제 이 정답지 내부에 숨어있을지 모르는 미세한 글자 왜곡이나 가짜 근거를 컴퓨터의 눈으로 냉정하게 솎아내는 철저한 검증 파이프라인을 관통시켜야 한다.