1. 물리적 실재성 단계를 넘어 논리의 관문으로
7편에서 가동한 1축 기계 대조 파이프라인을 통해, 골든셋 초안에 적힌 모든 근거 발췌문이 진짜 원본 문서에 실재하는 문자열이라는 물리적 무결성을 확보했다. 조사 하나, 공백 한 칸의 불일치까지 완벽하게 정제해 낸 것이다.
그러나 1차 방어선을 통과했다고 해서 정답지가 완전히 무결하다고 선언할 수는 없다. 아직 한 단계 더 깊은 수준의 언어적, 논리적 관문이 남아있기 때문이다.
1축 대조를 통해 발췌문의 물리적 존재가 증명되었다면, 이제 “그 진짜 발췌문이 질문에 대한 정답을 과장이나 왜곡 없이 논리적으로 완벽하게 뒷받침하는가?”를 심사하는 ‘2축(논리 정합성) 검증 레이어’를 통과시켜야 한다.
문자 자체는 원문에 있는 게 맞지만, AI가 질문과 정답을 매칭하는 과정에서 본문에 없는 제약 조건을 슬쩍 얹어 선언하거나 교묘하게 말을 바꾸는 환각을 부렸을 가능성이 여전히 존재한다.
이번 8편에서는 이러한 논리적 균열을 칼같이 잡아내기 위한 2축 교차 검증 프레임워크의 설계 규칙과 실전 적발 사례를 생생하게 해부한다.
2. 2축 검증의 절대 원칙: “자기검증 금지(이해충돌 제거)”
2축 검증 프레임워크를 아키텍처적으로 설계할 때 수 수석 기획자가 절대로 타협해서는 안 되는 절대 원칙이 있다. 바로 ‘자신이 출제한 시험지는 자신이 채점할 수 없다(생성 ≠ 검증 ≠ 확정 분리)’는 대전제이다.
만약 4편과 6편의 공정을 거쳐 문제를 출제하고 골든셋 초안을 만든 주체가 Claude 3였다면, 2축 판단은 반드시 완전히 독립된 세션의 GPT Pro나 가성비 엔진인 Kimi를 심사관으로 가동하여 수행해야 한다.
만든 AI는 자기가 문제를 만들 때 했던 착각이나 문맥적 오해를 검증할 때도 똑같이 범하기 때문이다. 심판을 선수와 완벽하게 분리하여 이해충돌을 제거해야만 비로소 정밀한 교차 검증이 작동한다.
검증 매커니즘: 검수관 AI(AI-2)에게 원본 발췌 데이터와 질문, 정답 데이터를 입력한다. 검수관 AI는 정답을 원자 단위의 주장 조각으로 쪼갠 뒤, 발췌문에 명시되지 않은 임의의 조건이 정답 칸에 슬쩍 얹혀 선언되지 않았는지 현미경 검수를 수행한다.
환각 플래그 가동: 만약 발췌문에는 “macOS 환경 지원”만 적혀있는데, 정답 칸에 “단, macOS 최신 에디션은 제외된다”라는 근거 없는 주관적 제약 조건이 붙어 있다면, 즉시 환각 플래그(
Hallucination = True)를 세워 해당 문항을 반려 시트로 격리 분류한다.
3. 실제 프로젝트가 증명하는 2축 검증의 변별력과 적발 사례
실제 제품 사양서 및 매뉴얼 검증 프로젝트를 수행할 당시, 이 2축 교차 검증 레이어를 가동하여 한 AI 체제였다면 ‘검증 완료’로 둔갑하여 정답지를 오염시켰을 치명적인 사고들을 성공적으로 적발해 낸 실측 데이터가 존재한다.
대표적으로 “질문에 정답이 노출된 무변별력 문항 2건”이 2축 검수관 AI에 의해 정확하게 적발되었다.
출제 AI가 문제를 꼬아 내는 과정에서 질문 내에 은연중에 정답의 단서를 흘려버린 결함이었으며, 단일 AI 구조였다면 그대로 통과했을 문항이 분리된 심사관의 눈에 걸려 반려되었다.
또한, 2축 검증 단계에서는 동일한 구조를 가진 24개의 문항에 대해 타당성 판단이 ‘승인 11건 / 반려 13건’으로 엇갈리는 현상이 관측되기도 했다.
이처럼 서로 다른 AI 모델이 부딪히며 논리적 균열을 일으킨 데이터들은 억지로 자동화 통과시키지 않고, ‘의심/반려 목록 시트’로 격리하여 다음 단계인 인간의 3차 소스 대조 판정으로 정밀하게 유도하는 필터 역할을 훌륭하게 수행해 냈다.
4. 2차 관문을 넘어 최종 마스터 정답지로 향하는 길
2축 검증 레이어는 1축 기계 대조가 증명한 물리적 문자열 위에 ‘논리적 타당성’이라는 견고한 콘크리트벽을 얹는 공정이다.
생성과 검증의 주체를 완전히 분리해 두어야만, 평가셋의 생명인 정확성을 숫자로 보증할 수 있고, 이 채점 기준표를 바탕으로 향후 도출될 RAG 성능 점수를 경영진과 개발팀이 전적으로 신뢰할 수 있게 된다.
검수관 AI들이 모든 미정 항목의 현미경 검수를 끝내고 환각 플래그를 통과시킨 문항들을 정렬하면, 비로소 인간 수석 기획자의 최종 게이트로 넘어갈 무결한 정답지 후보군이 완성된다.
2축 논리 정합성 검증까지 통과하여 벼려진 골든셋 마스터 포맷은 이제 실제 채점 파이프라인 인프라와 결합할 준비를 마치게 된다.
다음 이어지는 시리즈의 9편에서는 검증이 완료된 고품질 정답지를 자동 채점기인 eval-runner 인프라에 탑재하고, 검색(Retrieval)과 생성(Generation)이라는 두 가지 물리적 레이어로 분리하여 시스템 성능을 숫자로 정밀 진단하는 자동화 파이프라인 완성 공정을 상세히 분석해 보겠다.