RAG 골든셋 구축 방법 14부작 마스터 가이드: 3편 표 데이터 및 비정형 전처리

1. RAG 분해 공정의 마의 구간, 비정형과 표 데이터

2편에서 지식 베이스를 샅샅이 분해하여 지식의 영토를 확정하는 ‘커버리지 맵’의 대전제와 의미 단위 분해 규칙을 살펴보았다.
하지만 이론을 숙지한 채 실전 데이터 전처리 전선에 뛰어든 기획자와 엔지니어들이 예외 없이 마주치는 거대하고 악명 높은 장벽이 존재한다.
바로 에디션별 기능 지원 현황, 부서별 접근 권한 가부, 제품 스펙 등이 O/X나 수치로 압축되어 있는 매트릭스 표(Table) 데이터와 마케팅 배너 등의 이미지 형태 문서이다.
실측 현실에서 마케팅 문서가 이미지본으로 되어 있으면 텍스트 추출 자체가 아예 불가한 상황이 발생한다.
또한 표 내부의 기호들은 일반적인 문장 형태의 서술이 아니기 때문에, 기존에 정립한 단순 텍스트 분해 규칙을 그대로 적용하면 정보가 공중 분해되는 치명적인 에러를 범하게 된다.
AI 모델은 문맥이 소실된 파편화 데이터를 받으면 자기 추출 오류를 구분하지 못하고 심각한 할루시네이션을 일으킨다.
이번 3편에서는 RAG 골든셋 구축 방법의 신뢰성을 극대화하기 위해, 표와 비정형 데이터 안에 숨겨진 수십 가지의 경계선을 단 한 자도 놓치지 않고 낱낱이 파편화하여 고정하는 전처리 극비 노하우를 냉정하게 해부한다.

2. 악명 높은 표(Table) 데이터 분해 시의 2대 치명적 함정

데이터 엔지니어링 생태계에서 표 데이터를 커버리지 맵에 등록할 때 범하는 오류는 크게 두 가지 극단으로 나뉜다.

ㄱ. 정보의 공중 분해 함정 (유실형 전처리)

표 내부의 셀(Cell) 하나하나를 기계적으로 잘라내어 독립된 행으로 분리해 버리는 행위이다.
예를 들어, 표 내부의 특정 칸에 적힌 ‘최대 4명’ 혹은 ‘X(지원 안 함)’라는 수치와 기호 자체를 그대로 한 줄의 의미 단위로 등록하는 방식이다.
이 경우 상위 행과 열이 가지고 있던 제목(Context)이 완전히 유실된다. AI 출제자에게 이 파편화된 행을 주면 전후 문맥을 알 수 없어 질문 자체를 출제하지 못하거나 심각한 환각을 일으킨다.

ㄴ. 뭉뚱그리기 함정 (검증력 파괴형 전처리)

정보 유실을 피하겠답시고 표 전체를 통째로 캡처하여 하나의 이미지 청크로 넘기거나, 표 전체 텍스트를 단 하나의 행으로 묶어버리는 행위이다.
이 방식은 표 내부에 촘촘하게 숨겨진 수십 가지의 기능별 지원 경계선이 단 하나의 단순 질문으로 뭉뚱그려지는 대참사를 낳는다. 결과적으로 AI 에이전트가 특정 에디션의 미지원 기능을 올바르게 차단하고 라우팅하는지 테스트하는 정밀한 변별력 문항이 통째로 누락되어 평가셋의 기능을 상실하게 된다.

3. 돌파구: 문맥을 물리적으로 복원하는 ‘파라메트릭 연결’ 기법

이러한 양면의 함정을 깨부수기 위해 고안된 유일한 공학적 실무 노하우가 바로 ‘파라메트릭 연결(Parametric Linking)’ 기법이다. 표의 각 행과 열의 교차점을 숨겨진 연결 고리까지 완벽하게 복원하여 하나의 독립된 사실문으로 가공하는 전처리 공식이다.

파라메트릭 연결 구조 공식 [상위 문맥(열/에디션/직급)] + [행 이름(기능명/대상)] + [셀 값(수치/지원 가부)] = 완결된 독립 사실문

실제 데이터 전처리 과정을 직관적인 예시를 통해 대조해 보겠다.

• 최악의 전처리 예시 (정보 유실형): * 최대 4명 / 지원 안 함 (AI가 질문 출제 불가)
• 부실한 전처리 예시 (뭉뚱그리기형): * 알피스 엔진 사양 표 전체 (100가지 사양이 단 1문항으로 축소되어 시스템 스트레스 테스트 불가능)
• 완벽한 전처리 예시 (파라메트릭 연결형 분해):
  • 의미 단위 1: [무료 요금제] 환경에서 [화상회의 동시 참여 인원 사양]은 [최대 4명까지 허용]된다.
  • 의미 단위 2: [프리미엄 요금제] 환경에서 [화상회의 동시 참여 인원 사양]은 [최대 50명까지 확장]된다.

실제 복잡한 소프트웨어 제품 사양서의 매트릭스 표를 이 방식으로 전처리하여 독립된 행들로 커버리지 맵에 올렸음의 실측 데이터가 존재한다.
그 결과 일반적인 RAG 엔진들이 가장 자주 혼동하고 틀리는 ‘에디션별 미지원 기능’과 ‘버전별 한계 수치 예외’를 유도하는 칼 같은 골든셋 문항을 누락 없이 완벽하게 수집해 내는 성과를 거두었음이 증명되었다.

4. 비정형 소스(이미지·PDF) 전처리 시 수호해야 할 품질 게이트

텍스트가 서술형 문장으로 깔끔하게 정제되어 있지 않은 비정형 문서를 다룰 때는 다음과 같은 실측 위험 요소를 사전에 차단해야 한다.

• 마케팅 이미지 소스의 격리:
  기계적 텍스트 추출(OCR)이 불가능한 순수 이미지본은 억지로 AI에게 처리를 맡기지 말고, 기획자가 소스 단계에서 격리하여 수작업으로 사실을 기술하거나 목록에서 일시 제외해야 한다.
• 한글 PDF 단어 잘림 보정:
  한글 PDF 문서의 경우 기계가 긁어오는 과정에서 단어 중간에 강제 줄바꿈(Enter)이 주입되어 원문이 훼손되는 현상이 잦다. 이를 방지하기 위해 공백을 전처리 흐름에서 제거하거나 정규식으로 보정해야만, 향후 골든셋의 ‘근거 원문 발췌’ 대조 실패 오류를 방지할 수 있다.
• 단본(Single Source of Truth) 유지:
  기기별, 플랫폼별로 동일한 내용이 수백 회 중복되어 존재하거나 에러 코드가 사전과 실문서 간 불일치하는 경우가 실측된다. 이 경우 최신 개정본을 기준으로 단일 정본을 지정하고 충돌을 제거해야 한다.

5. 숲을 흔들지 않는 자산, 완결된 분모의 완성

표 데이터와 비정형 소스를 파라메트릭 연결 기법으로 낱낱이 쪼개어 커버리지 맵 인벤토리에 안착시키는 순간, 비로소 어떠한 AI 에이전트도 빠져나갈 수 없는 완벽한 그물망 정답지의 ‘분모’가 완성된다.
다시 한번 강조하지만, 이 전처리 공정은 하위 레이어의 청킹 기술에 종속되어서는 안 되며, 오직 데이터 과학의 무결성 원칙 하에 독립적으로 유지되어야 한다.
표의 각 행과 열의 교차점을 숨겨진 연결 고리까지 복원하여 낱낱이 파편화해 두어야만, 비로소 AI 엔진의 골을 울리는 날카로운 시험 문제가 탄생할 수 있다.

다음 이어지는 시리즈의 4편에서는 이렇게 완벽하게 정제된 커버리지 맵의 미검토 행들을 기반으로, 시스템의 검색과 라우팅 한계를 사정없이 시험하는 6+1 문항 유형 분류 체계와 구체적인 출제 엔지니어링 기법을 상세히 고찰해 보겠다.