정량적 평가

RAG 골든셋 구축 방법 14부작 마스터 가이드: 10편 분석 및 개선 회귀 루프

작성자:

1. 점수판 확인 이후의 진짜 여정, 자가 개선 루프 9편에서 가동한 자동 채점기 eval-runner 시스템을 통해 검색(Retrieval) 레이어와 생성(Generation) 레이어로 완전히 격리된 다차원 수학적 메트릭 지표를 손에 넣었다. 파이프라인 전반부와 후반부 중 어느 구간이 취약한지 보여주는 정밀한 점수판이 완성된 것이다. 그러나 성능 리더보드 점수를 확인하는 것은 최종 목적지가 아니다. 채점의 진짜 가치는 점수가 낮게 터진 … 더 읽기

RAG 골든셋 구축 방법 14부작 마스터 가이드: 1편 개론과 대전제

작성자:

1. 왜 내가 공들여 만든 인공지능은 결정적인 순간에 거짓말을 하는가 인공지능 기술, 그중에서도 기업 내부의 방대한 데이터를 연동하여 자연어로 답변을 도출하는 RAG(Retrieval-Augmented Generation, 검색 증강 생성) 시스템을 도입한 기업들이 공통적으로 겪는 치명적인 기술적 고통이 존재한다. 시스템 개발을 완료하고 야심 차게 현업 부서에 배포했으나, 정작 임직원들이 실전 업무에 필요한 고위험 질문을 던지면 그럴듯하게 포장된 가짜 정보를 … 더 읽기