1. RAG 시스템 최적화 실전 단계의 진입과 프롬프트 튜닝의 한계 타파 RAG 시스템 평가 자동화 루프가 인프라 레벨에서 완벽하게 구동되기 시작했다면, 이제 우리는 인공지능 어플리케이션 개발의 꽃이라고 불리는 RAG 시스템 최적화 실전 단계에 과감히 발을 들여놓아야 한다. 대다수의 초보 엔지니어들은 RAG의 답변 품질이 떨어질 때마다 시스템 프롬프트에 “제발 본문 내용에만 기반해서 친절하게 대답해줘”와 같은 애원형 … 더 읽기
1. 상태 중심 아키텍처와 루프 엔지니어링 개념의 핵심 설계원칙 루프 엔지니어링 개념을 실무 환경에 소스 코드로 구현하기 위해서는 기존의 선형적(Linear) 프로그래밍 사고방식에서 완전히 탈피해야 한다. 우리가 만드는 시스템은 입력값이 들어오면 출력을 내고 끝나는 일방통행 도로가 아니라, 조건에 따라 끊임없이 뱅글뱅글 도는 로터리 교차로와 같기 때문이다. 이 교차로의 교통정리를 안전하게 수행하기 위해 가장 먼저 이해해야 하는 … 더 읽기
1. 기획자와 디자이너의 일하는 방식 대전환 ㄱ. 세부 스펙 작성자에서 에이전트 지휘자로 거듭나는 기획자 인공지능 기술의 진화는 기획자(PM/PO)의 일하는 방식을 근본적으로 바꾸어 놓았다. 과거 기획자의 핵심 업무는 화면 단위의 세부 스토리보드를 작성하고, 1단계 버튼 클릭부터 예외 처리 팝업 노출까지 수많은 조건을 미세하게 지정하는 것이었다. 그러나 Opus 5와 Claude Code가 제시하는 인공지능 에이전트 시대에는 이러한 미세 … 더 읽기
1. 왜 현대 IT 기업은 DORA 메트릭스 다음 단계를 고심하는가 1부에서 다룬 구글 DORA(DevOps Research and Assessment)의 4대 핵심 지표와 2부에서 살펴본 DORA의 현실적 한계 및 부작용을 통해, 우리는 한 가지 명확한 진실을 깨달을 수 있었다. DORA 메트릭스는 소프트웨어 ‘전달 파이프라인’이라는 기계적 시스템의 건강 상태를 파악하는 데에는 최상의 도구이지만, 그 시스템 안에서 직접 코드를 작성하고 … 더 읽기
1. 비개발자의 AI 코딩 에이전트 Orca ADE 교로 검증 전략 비개발자가 복수의 인공지능을 활용할 때 직면하는 가장 큰 장벽은 ‘내가 코드를 읽을 줄 모른다’는 심리적 불확실성이다. 스파게티 코드를 막기 위해 마이크로 서비스 단위로 일감을 분할 지시하더라도, 에이전트가 완성해 온 코드가 진짜 안전한지 혹은 내부적인 결함을 안고 있는지 인간의 눈으로 직접 판별하기란 불가능에 가깝다. 이때 비개발자가 … 더 읽기
1. AI 코딩 에이전트 Orca ADE 등장 배경 최근 인공지능 기술의 발전 속도는 테크 업계의 예측을 뛰어넘어 소프트웨어 개발 생태계의 근본적인 틀을 바꾸고 있다. 불과 얼마 전까지만 해도 개발자들은 하나의 통합 개발 환경(IDE)에 접속하여 코드를 직접 입력하고 오타를 수정하며 버그를 잡는 것이 일반적인 일상이었다. 그러나 Codex, Claude Code, OpenCode 등과 같은 뛰어난 성능의 인공지능 도구들이 … 더 읽기
1. 유창하게 틀리는 AI와 정답지 오염의 공포 점진적 배치 공정을 통해 수집된 질문과 정답, 그리고 근거 원문 발췌 데이터는 우리 시스템의 성능을 판가름할 ‘수능 기출문제집’의 초안이 된다. 하지만 이 단계에서 절대 잊지 말아야 할 머신러닝 검증 공학의 명제가 존재한다. 바로 “LLM(거대언어모델)은 대단히 유창하게 틀린다”는 사실이다. 문제를 출제한 AI 세션들은 문장 구조나 어순이 대충 비슷하면 원문에 … 더 읽기
1. 왜 다채롭고 날카로운 시험 문제가 필요한가 인공지능 지식 엔진의 망라성을 보장하는 커버리지 맵 설계와 표 데이터의 파라메트릭 전처리가 완료되었다면, 이제 그 사실 체크리스트의 행들을 기반으로 시스템의 뼈를 사정없이 때리는 날카로운 시험 문제를 출제할 단계이다. 많은 기업 프로젝트에서 저지르는 치명적인 실수는 “A 제품의 지원 사양은 무엇인가요?”와 같이 문서에 일직선으로 적혀 있는 기초적인 사실만 단순하게 물어보는 … 더 읽기
1. RAG 분해 공정의 마의 구간, 비정형과 표 데이터 2편에서 지식 베이스를 샅샅이 분해하여 지식의 영토를 확정하는 ‘커버리지 맵’의 대전제와 의미 단위 분해 규칙을 살펴보았다. 하지만 이론을 숙지한 채 실전 데이터 전처리 전선에 뛰어든 기획자와 엔지니어들이 예외 없이 마주치는 거대하고 악명 높은 장벽이 존재한다. 바로 에디션별 기능 지원 현황, 부서별 접근 권한 가부, 제품 스펙 … 더 읽기
1. 왜 촘촘한 교과서 요약본이 필요한가 인공지능 프로젝트, 그중에서도 RAG 시스템의 성능을 정량화하기 위한 골든셋 구축 과정에서 가장 거대하고 지루한 장벽은 바로 ‘지식 베이스의 원천 분해’ 단계이다. 1편에서 다루었듯, 주관에 의존하여 눈에 띄는 문장만 골라 질문을 만드는 방식은 반드시 치명적인 지식 누락을 발생시키기 때문이다. 우리가 가진 원본 지식 문서라는 거대한 영토를 단 한 평도 빠짐없이 … 더 읽기
