1. 왜 촘촘한 교과서 요약본이 필요한가
인공지능 프로젝트, 그중에서도 RAG 시스템의 성능을 정량화하기 위한 골든셋 구축 과정에서 가장 거대하고 지루한 장벽은 바로 ‘지식 베이스의 원천 분해’ 단계이다.
1편에서 다루었듯, 주관에 의존하여 눈에 띄는 문장만 골라 질문을 만드는 방식은 반드시 치명적인 지식 누락을 발생시키기 때문이다.
우리가 가진 원본 지식 문서라는 거대한 영토를 단 한 평도 빠짐없이 샅샅이 뒤져내기 위해서는, 수석 출제위원이 시험 문제를 출제하기 전 교과서 전체의 지식 단위를 엑셀 표로 낱낱이 파편화해 두는 정밀한 밑작업이 선행되어야 한다.
이 단계를 완벽하게 수행하기 위한 무기가 바로 커버리지 맵 설계이다.
많은 IT 기획자들이 이 작업을 단순한 노가다나 문서 정리 수준으로 치부하여 AI에게 대충 “이 문서 요약해서 체크리스트 만들어줘”라고 명령하곤 한다.
하지만 기준이 명확하지 않은 상태에서 AI가 뽑아낸 체크리스트는 문맥이 조각나거나 정작 중요한 수치 경계선이 뭉뚱그려져, 나중에 시스템 에러를 잡아내는 잣대로서의 기능을 완전히 상실하게 된다.
특히 현업의 문서 현실은 기계가 바로 읽기 어려운 비정제 데이터가 다수 혼재되어 있다.
기계가 읽을 수 없는 이미지 형태의 문서가 존재하거나, 텍스트를 추출하더라도 단어 중간에 줄바꿈이 일어나 물리적인 대조 실패를 유발하기도 한다.
매뉴얼 상당수가 목차 수준의 헤딩만 존재하여 정보의 완결성이 떨어지는 경우도 허다하다. 이번 2편에서는 원본 지식을 완벽하게 그물망으로 고정하여 골든셋의 완벽한 망라성을 보장하는 구체적인 분해 기준과 실무 노하우를 냉정하게 해부한다.
2. 설계 대전제: 청킹 방식과 골든셋의 올바른 역학 관계
ㄱ. 청킹과 골든셋의 시스템 비종속 원칙
실무단에서 시스템 엔지니어들과 협업을 하다 보면 “문서를 자르는 청킹(Chunking) 방식이 변경되었으니, 평가 기준인 골든셋과 커버리지 맵도 그에 맞춰서 새로 수정해야 하지 않나요?”라는 질문을 자주 받게 된다.
결론부터 냉정하게 말하자면 이는 완전히 틀린 설계적 연결이다.
청킹은 인프라 검색 효율과 텍스트 벡터화를 극대화하기 위한 시스템 하위 레이어의 기술적 최적화 영역이다.
반면 골든셋과 커버리지 맵은 시스템의 교체를 감시하고 성능을 정량화하는 독립적인 절대 기준자 레이어이다. 평가 기준이 시스템 구현 방식에 묶여서 흔들지게 되면, 인프라를 바꿀 때마다 점수가 왜곡되어 성능의 퇴보를 측정할 길이 영원히 사라짐을 뜻한다.
골든셋과 커버리지 맵은 철저하게 시스템 비종속 원칙을 고수해야 한다.
ㄴ. 의미 단위(Semantic Unit)의 정의와 분해 규칙
문서의 성향과 구조적 특징이 무엇이냐에 따라 질문 유형의 분포, 난이도 밸런스, 그리고 발췌를 지정하는 입도가 완전히 달라져야 한다. 데이터 과학 세계에서 커버리지 맵의 기본 빌딩 블록으로 삼는 ‘의미 단위(Semantic Unit)’는 매우 명확하고 냉정한 기준을 가진다.
의미 단위(Semantic Unit)의 정의
“실전 사용자가 던질 수 있는 독립된 질문 딱 하나를 생성했을 때, 원본 문서의 다른 단락이나 전후 문맥의 도움을 전혀 받지 않고, 그 덩어리 자체만으로 명확하고 완벽한 모범 답안을 도출할 수 있는 최소한의 지식 완결체.”이를 이해하기 쉬운 아날로그 비유로 설명하겠다.
우리가 거대한 레고 성을 조립할 때, 성벽 통째로는 하나의 부품이 될 수 없고 반대로 플라스틱 분자 하나로도 성을 쌓을 수 없다. 성을 이루는 ‘결합 가능한 최소 크기의 레고 블록 하나’가 바로 의미 단위이다. 만약 너무 잘게 쪼개어 “최대 인원은”이라는 문구와 “50명입니다”라는 문구를 각기 다른 행으로 분리해 버리면, 레고 블록의 돌기가 깎여 나가 질문을 조립할 수 없는 불량 부품이 됨을 뜻한다.
3. 데이터 무결성을 보장하는 골든셋 작성의 3대 절대 원칙
아무리 정교한 평가 프레임워크를 도입하더라도 골든셋 자체에 오류가 있다면 모든 데이터 평가 결과가 왜곡되는 결과를 초래한다.
골든셋의 절대적인 신뢰성을 확보하고 완벽한 품질을 유지하기 위해 수작업 및 AI 초안 작성 단계에서 반드시 고수해야 할 세 가지 원칙이 존재한다.
ㄱ. 외부 지식 및 추측성 답변의 원천 배제
첫 번째 규칙은 제공된 원천 기업 자료에 명시되지 않은 내용으로 정답을 작성하지 않는 것이다.
엔지니어나 도메인 전문가가 가진 일반적인 상식이나 주관적인 추측으로 빈칸을 채우는 행위는 RAG 평가의 기준을 완전히 무너뜨리는 결과를 낳는다.
근거를 원천 자료 내에서 찾아낼 수 없다면 해당 문항은 과감히 폐기하는 것이 타당하다. 억지로 문항을 생성하는 행위를 전면 금지해야만 정답지의 순수성이 유지된다.
ㄴ. 근거 원문 발췌 프로세스의 의무화
두 번째 원칙은 모든 문항에 대하여 정답의 근거가 되는 실제 문장을 원천 데이터에서 글자 하나 틀리지 않고 그대로 복사하여 입력하는 ‘근거 원문 발췌’ 조항이다.
골든셋의 무결성을 검수할 때, 사람이 일일이 수만 페이지의 매뉴얼을 다시 뒤지는 것은 불가능에 가깝다. 정답과 함께 매핑된 ‘근거 원문 발췌’ 텍스트가 존재해야만 추후 시스템 평가 엔진이나 인간 검수자가 정답의 타당성을 즉각적으로 판별할 수 있다.
ㄷ. 자료 간 정보 충돌의 격리 및 목록화
세 번째 원칙은 서로 다른 문서나 개정 버전 간의 내용이 충돌할 경우, 임의로 정답을 판정하지 않고 ‘충돌 목록’으로 격리하는 규칙이다.
예를 들어 규정이나 사양서의 버전별 수치가 상이하거나 에러 코드가 불일치한다면, 이를 개발자나 현업 부서의 공식 확정이 있기 전까지 골든셋 정답으로 확정해서는 안 된다. 충돌 목록 시트로 분리하여 통제하는 거버넌스가 필수적이다.
4. 3대 AI(Claude 3)를 활용한 커버리지 맵 초안 고속 생성 프로토콜
원본 지식 문서가 수십 수백 페이지에 달하는 대규모 인프라 환경에서, 인간 기획자가 스프레드시트를 켜고 이 촘촘한 사실 체크리스트 행을 손으로 직접 타이핑하고 있는 것은 극도로 비효율적인 자원 낭비이다.
이 정형화되고 지루한 구조화 작업이야말로 텍스트 맥락 파악 및 정보 추출 능력이 가장 뛰어난 Claude 3 웹 세션을 가동하기에 가장 완벽한 무대이다.
기획자가 취해야 할 실무 액션 프로토콜은 매우 명확하다.
사내 FAQ나 제품 매뉴얼의 순수 텍스트 본문을 복사하여 Claude 3 창에 업로드한 뒤, 앞서 선언한 ‘의미 단위 분해 규칙’을 콘텍스트 족쇄로 채워놓은 표준 프롬프트를 던져 초안을 찍어내게 만드는 것이다. AI는 인간과 달리 집중력이 흐려지지 않으므로, 규칙의 범위를 명확하게 통제해 주기만 하면 문서 전체를 이 잡듯 샅샅이 뒤져 수십 수백 개의 사실 행으로 이루어진 고품질 커버리지 맵 초안 표를 단 몇 초 만에 완벽하게 뱉어낸다.
> 실전 커버리지 맵 추출용 복붙 프롬프트 스크립트의 경우는, 완성 되고 난 다음에 따로 프롬프트 영역으로 묶어서 올려야겠다 [프롬프트-런북 참고]
5. 모델 교집합의 함정을 부수는 절대 잣대 대조법
Claude 3가 엑셀이나 마크다운 표 형태로 커버리지 맵 초안을 출력해 주면, 기획자는 프로젝트의 수석 감독관으로서 최종 정합성 검수를 진행해야 한다.
이때 인공지능 프로젝트를 이론으로만 배운 초보자들이 흔히 저지르는 치명적인 실수가 있다. “더 완벽한 맵을 만들기 위해 GPT Pro와 Gemini Pro에게도 똑같이 맵을 만들게 시킨 뒤, 세 모델이 공통으로 뽑아낸 행만 남겨서 최종본으로 삼아야지”라는 교집합적 발상이다.
이러한 교집합 접근법은 커버리지 맵의 망라성을 정면으로 파괴하는 행위이다.
세 모델이 공통으로 찾아낸 지식 단위는 문서 상단에 노출된 가장 직관적이고 뻔한 목차들뿐이기 때문이다.
정작 시스템 에러를 유발하기 쉬운 부록의 시스템 사양이나 구석에 숨겨진 단 한 줄짜리 예외 조항은 특정 예리한 모델만 잡아내고 나머지 모델들은 대충 넘어가 버릴 확률이 높은데, 교집합 전략을 취하면 이 값진 핵심 구석진 데이터들이 ‘공통되지 않았다’라는 이유로 정답지에서 통째로 소멸해 버린다.
만약 멀티 모델을 활용하고 싶다면, 세 모델이 찾아낸 지식 단위를 전부 쓸어 담는 합집합(Union) 전략을 취해야 함이 마땅하다.
가장 확실하고 냉정하며 완벽한 최종 승인 노하우는 멀티 모델 투표에 의존하는 것이 아니다.
원본 문서의 전체 목차 리스트, 조항의 총 개수, 그리고 물리적 데이터의 행 개수와 AI가 출력해 준 커버리지 맵의 행들을 기획자가 1:1로 직접 매칭하며 누락 여부를 확인하는 문서 대조법이다. 마지막 부칙의 한 줄까지 리스트에 완벽하게 안착하여 ‘미검토’ 레이블을 달고 대기하고 있음을 확인했다면, 비로소 어떠한 AI 에이전트도 빠져나갈 수 없는 완벽한 그물망 정답지의 분모가 완성된 것이다.