1. 유창하게 틀리는 AI와 정답지 오염의 공포
점진적 배치 공정을 통해 수집된 질문과 정답, 그리고 근거 원문 발췌 데이터는 우리 시스템의 성능을 판가름할 ‘수능 기출문제집’의 초안이 된다.
하지만 이 단계에서 절대 잊지 말아야 할 머신러닝 검증 공학의 명제가 존재한다. 바로 “LLM(거대언어모델)은 대단히 유창하게 틀린다”는 사실이다.
문제를 출제한 AI 세션들은 문장 구조나 어순이 대충 비슷하면 원문에 없는 허황된 가짜 근거를 마치 실제 존재하는 것처럼 속여 정답지에 교묘하게 심어놓는 고질적인 한계를 지닌다.
이러한 환각(Hallucination) 현상이 섞인 오염된 정답지를 검증 없이 그대로 마스터 엑셀에 적재하는 것은 RAG 평가 프로젝트 전체를 파멸로 이끄는 대참사를 낳는다.
정답지 자체가 오염되어 있으면, 향후 우리가 공들여 만든 RAG 엔진이 실전에서 아무리 정확하게 정답을 맞추어도 “기준자와 문자가 다르다”라며 멀쩡한 시스템의 점수를 깎아버리는 치명적인 채점 오류가 발생하기 때문이다. 틀린 정답지로 채점하는 순간, 점수 자체의 신뢰성이 붕괴되어 평가 결과 전체가 무효화된다.
AI가 지어낸 그럴듯한 거짓말을 칼같이 잡아내고 정답지의 물리적 무결성을 확보하기 위해, 인간의 주관이나 AI의 판단을 완전히 배제하고 오직 컴퓨터의 눈으로 냉정하게 솎아내는 ‘1축(물리 발췌 진위) 검증 파이프라인’의 자동화 설계 노하우를 냉정하게 해부한다.
2. 1축 검증의 핵심 명제: “판단하지 말고, 오직 사실만 확인하라”
1축 검증 레이어가 수행하는 임무는 매우 단순하고 명확하다.
“골든셋에 적힌 근거 발췌문이 진짜 원본 문서 코퍼스(Corpus)에 토시 하나 틀리지 않고 실재하는가?”를 검사하는 것이다.
인공지능 프로젝트를 이론으로만 접한 초보 기획자들은 이 검증조차 AI 모델에게 “이 발췌문이 원문에 있는 내용이 맞니?”라고 물어보며 통과시키는 오류를 범하곤 한다. 그러나 AI는 언어적 관대함을 가지고 있기 때문에 공백이 다르거나 어순이 살짝 뒤바뀐 근사 일치 문장도 “내용이 일치하므로 맞다”라며 관대하게 패스 도장을 찍어버린다.
따라서 1축 검증의 절대 원칙은 ‘기계가 잘하는 것은 스크립트 기반 자동화에 전적으로 위임한다’는 대전제이다. 1축 검증은 별도의 LLM API 비용이 전혀 발생하지 않는 전용 자동화 검증 도구인 goldenset-verifier 스크립트를 가동하여 수행해야 한다.
검증 매커니즘: 시스템 인프라 내부에서 골든셋 초안의 발췌문 전체를 수집한 뒤, 원본 문서 코퍼스 전체를 대상으로 물리적인 문자열 일치 검사(Ctrl+F 자동화 코드)를 수행한다.
철벽 방어선: 조사 하나, 공백 한 칸, 줄바꿈(Enter) 기호 하나라도 원본 소스와 다르면 가차 없이 ‘빨간 깃발(의심 플래그)’을 꽂아 격리 시트로 분류해 낸다.
이 과정은 순수 기계적 대조이므로 즉시 실행 가능하며 무료이고, AI의 환각이 정답지에 잔류하는 사고를 원천 차단하는 강력한 철벽 방어선 역할을 담당한다.
3. 실제 프로젝트 실측 현실이 증명하는 1축 검증의 변별력
실제 제품 사양서와 규정 문서를 기반으로 RAG 평가 프로젝트를 수행할 당시, 이 1축 검증 파이프라인을 가동하여 데이터 오염을 적발해 낸 구체적인 실측 데이터가 존재한다.
당시 1선 출제 AI가 생성해 낸 수백 개의 골든셋 초안을 대상으로 goldenset-verifier를 구동한 결과, 근거 발췌가 원문에 존재하지 않는 환각 의심 문항 18건을 기계적으로 정확하게 적발해 낼 수 있었다. 만약 단일 AI 체제로 검증을 분리하지 않고 그대로 통과시켰다면, 이 18건의 가짜 정답지는 그대로 표준이 되어 시스템 전반으로 에러를 확산시켰을 것이다.
또한, 한글 PDF 문서를 크롤링하고 추출하는 전처리 과정에서 단어 중간에 강제 줄바꿈이 주입되어 발생한 멀쩡한 발췌 대조 실패 건 38건 역시 1축 검증 레이어에서 정확하게 필터링되었다. 기계적 대조를 통해 1차 관문에서 이러한 텍스트 정합성 오류를 완전히 솎아내야만, 비로소 정답지로서의 권위와 채점 인프라의 신뢰성이 확립된다.
4. 사람의 시간을 판단에만 쓰기 위한 빌딩 블록
1축 검증 파이프라인의 종착지는 인간의 노가다를 없애는 것에 있다. 기계가 할 수 있는 100% 단순 대조 및 집계 작업을 스크립트 한 줄로 자동화 완료해 두어야만, 인간 기획자는 전체 문항을 전수 검토하는 비효율에서 벗어날 수 있다. 오직 1축 기계 대조에서 빨간 깃발이 꽂혀 ‘의심·반려’로 추려진 핵심 데이터만 육안으로 확인하면 되기 때문이다.
판단이 필요 없는 사실 확인은 컴퓨터에게 맡기고, 사람의 시간은 오직 가치 있는 비즈니스 판단에만 집중시키는 구조, 이것이 공학적인 RAG 평가셋 설계의 정석이다.
1축 대조를 통해 발췌문의 물리적 실재성이 완벽하게 증명되었다면, 이제 다음 관문인 논리적 채점 단계로 진입해야 한다.
이어지는 시리즈의 8편에서는 “진짜 원문에 있는 발췌문이 맞는데, 그 발췌문이 질문에 대한 정답을 왜곡 없이 논리적으로 뒷받침하는가?”를 심사하는 ‘2축(논리 정합성) 교차 검증’ 프레임워크와 자기검증 금지의 절대 원칙에 대해 상세히 다루어 보겠다.