당신의 AI 비서는 혹시 금붕어인가?
“챗GPT나 클로드에 수백 페이지짜리 우리 회사 사내 업무 매뉴얼과 규정집을 올려두고 질문하는데, 왜 물어볼 때마다 대답이 묘하게 달라지고 속도가 느려질까요? 분명히 파일을 똑바로 업로드했고 완벽하게 학습을 시켰다고 생각했는데, 인공지능은 왜 자꾸 엉뚱한 소리를 하거나 한참을 머뭇거리며 로딩 바만 띄우고 있을까요?”
최근 인공지능을 실무 및 사내 시스템에 도입해 본 수많은 기업의 경영진과 직장인들이 공통으로 토로하는 가장 큰 불만이자 고질적인 통증입니다.
많은 사람이 대형 IT 기업들의 거대언어모델(LLM)이 발달하면 이 문제가 저절로 해결될 것이라 믿었지만, 실상은 그렇지 않았습니다. 결론부터 말씀드리면, 현재 전 세계가 표준처럼 쓰고 있는 인공지능 지식 관리 방식 자체에 치명적인 구조적 모순이 존재하기 때문입니다.
인공지능이 매번 공부를 까먹고 회사에 청구서 폭탄을 안기는 진짜 이유와 함께, 전 세계 탑티어 엔지니어가 제시한 소름 돋는 해결책 ‘LLM 위키’의 실체를 이야기 해보고자 한다.
2. 우리가 철석같이 신뢰했던 RAG(오픈북 테스트)의 숨겨진 배신
현재 시중에서 판매되거나 기업들이 자체적으로 구축하는 거의 모든 인공지능 문서 학습 솔루션은 백엔드에서 RAG(Retrieval-Augmented Generation, 검색 증강 생성)라는 기술로 구동됩니다. 어려운 기술 용어에 주눅 들 필요 전혀 없습니다.
RAG의 작동 원리는 고등학교 시절 시험을 볼 때 책상 위에 수십 권의 전공 참고서 더미를 얹어두고 시험을 치르는 ‘오픈북 테스트’와 완벽하게 똑같습니다. 인공지능 모델 자체의 뇌 용량(파라미터)에 사내 보안 문서나 방대한 데이터를 억지로 암기시키는 대신, 인공지능의 손이 닿는 디지털 책장에 문서를 꽂아두는 방식입니다.
사용자가 “우리 회사 출장비 정산 규칙이 어떻게 돼?”라고 질문을 던지면, 검색 엔진이 서재에서 출장비와 관련된 문서 조각들을 번개처럼 찾아내어 AI 앞에 펼쳐줍니다.
그러면 AI는 그 펼쳐진 페이지를 실시간으로 읽고 요약하여 우리에게 답변을 조리 있게 만들어 줍니다. 이 기술 덕분에 인공지능이 지식이 없으면서 말을 그럴싸하게 지어내는 치명적인 오류인 ‘환각 현상(Hallucination)’을 획기적으로 줄여줄 수 있었고, 전 세계 AI 시장은 RAG 열풍에 휩싸였습니다.
그러나 이 아름다워 보이는 솔루션은 현업 실무라는 혹독한 링 위에 올라오자마자 치명적인 구조적 약점을 드러내며 배신을 시작했습니다.
RAG의 가장 본질적인 결함은 바로 “인공지능의 머릿속에 지식이 누적되지 않으며, 질문이 들어올 때마다 매번 새로 처음부터 독서를 시작해야 한다”는 점입니다.
구체적인 업무 시나리오를 통해 이해해 보겠습니다.
어떤 기업의 기획팀 직원이 AI 비서에게 “지난달 마케팅 가이드라인 문서와 재무팀의 지출 규정, 그리고 지난주 진행된 프로젝트 회의록 3가지를 종합해서 이번 하반기 프로모션 예산안의 초안을 작성해 줘”라고 복잡한 명령을 내렸다고 가정해 봅시다.
RAG 방식의 아키텍처 환경에서 인공지능은 다음과 같이 작동합니다.
- 문맥에서 키워드를 추출해 서재(데이터베이스)를 뒤집니다.
- 마케팅 문서 조각, 재무 규정 조각, 회의록 텍스트 조각을 수십 개 찾아냅니다.
- 이 파편화된 원본 데이터 조각들을 한데 모아 인공지능(LLM)의 뇌 속(컨텍스트 윈도우)으로 한꺼번에 밀어 넣습니다.
- 인공지능은 그제야 그 수천, 수만 줄의 글자들을 처음부터 꼼꼼히 읽어 내려가며 맥락을 파악하고 답변을 생성합니다.
여기까지는 문제가 없어 보인다.
그러나, 진짜 비극은 바로 다음 질문에서 시작됩니다.
기획팀 직원이 답변을 보고 “방금 작성해 준 예산안 중에서 마케팅 비용 부문만 10% 삭감해서 다시 계산해 줘”라고 추가 질문을 던지면 어떻게 될까요? 인공지능은 조금 전 읽었던 문서를 기억하고 있을까요? 놀랍게도 전혀 기억하지 못합니다.
공지능은 직전 질문의 대화 기록과 함께 조금 전 찾았던 마케팅 문서, 재무 규정, 회의록 조각을 또다시 처음부터 서재에서 검색해 와서, 처음부터 글자를 다시 전부 읽어 내려갑니다.
이러한 밑 빠진 독에 물 붓기 식의 작동 방식은 기업 경영진에게 두 가지 거대한 재앙을 안겨줍니다.
첫 번째는 극심한 속도 저하(Latency)입니다.
회사의 데이터와 아카이브 문서가 쌓이면 쌓일수록, AI가 실시간으로 뒤져야 하는 문서의 양과 조합해야 하는 파편의 수가 기하급수적으로 늘어납니다. 질문을 던지고 커피 한 잔을 타고 올 때까지 로딩 바만 띄우고 있는 AI 비서를 보며 직원들은 결국 속 터져서 스스로 문서를 뒤적이기 시작합니다.
두 번째는 더 치명적인 비용 폭탄(Token Cost)입니다.
상용 LLM 서비스들은 인공지능이 읽고 뱉는 글자 수(토큰) 단위로 요금을 청구합니다.
RAG 시스템은 매 질문마다 수만 자에 달하는 원본 문서 조각들을 인공지능에게 끊임없이 반복해서 읽히기 때문에, 질문 몇 번 나누지 않았음에도 하루 서버 이용료가 수십만 원씩 청구되는 기현상이 발생합니다. 매번 시험을 볼 때마다 참고서 첫 페이지부터 마지막 페이지까지 처음부터 정독을 시키는 무책임하고 비효율적인 시스템, 이것이 바로 현재 우리가 마주한 RAG의 거대한 배신입니다.
3. 안드레 카파시의 위대한 통찰, “AI에게 스스로 지식을 적는 전용 위키 공책을 쥐어줘라”
이러한 RAG 시스템의 태생적 한계와 비효율성을 정면으로 응시하며, 전 세계 인공지능 아키텍처의 패러다임을 송두리째 뒤흔든 인물이 나타났습니다.
바로 챗GPT의 창조주인 오픈AI(OpenAI)의 창립 멤버이자 수석 과학자였고, 테슬라의 자율주행 AI 부문을 총괄했던 인류 최정점의 엔지니어, 안드레 카파시(Andrej Karpathy)입니다.
그는 기술 업계에 조용한 파란을 일으킨 자신의 깃허브 에세이를 통해 ‘LLM 위키(LLM-Wiki)’라는 혁신적인 대안 아키텍처를 전격 제안했습니다. 카파시가 던진 문제의식의 핵심은 아주 단순하면서도 묵직합니다.
“왜 인공지능에게 지저분한 날것의 데이터를 그대로 던져주고 매번 알아서 찾아 읽으라고 시키는가? 인공지능이 새로운 지식을 접할 때마다 스스로 이해한 내용을 일목요연하게 정리해 두는 ‘살아 숨 쉬는 백과사전 공책’을 인공지능과 인간 사이에 하나 마련해 두면 되지 않는가?”
안드레 카파시가 설계한 ‘LLM 위키’ 패턴의 작동 원리는 기존 RAG와 완전히 궤를 달리합니다.
이 시스템에서는 새로운 사내 문서, 매뉴얼, 이메일, 혹은 팀원들 간의 슬랙 대화 기록이 시스템에 유입되는 순간, 인공지능이 즉각적으로 가동됩니다. AI는 이 데이터를 구석에 그냥 저장하는 것이 아니라, 현 시점에 인공지능과 인간이 공유하고 있는 ‘사내 위키백과 폴더’를 엽니다.
그리고 새로운 문서를 정독한 뒤 다음과 같은 고차원적인 지식 편집 작업을 백엔드에서 조용히 수행합니다.
- 지식의 컴파일 및 정제: 새로 들어온 정보의 핵심 요약본을 작성합니다.
- 기존 노트의 점진적 수정: 만약 새로운 문서에 “2026년부터 출장비 가이드라인이 전면 수정되었다”라는 내용이 있다면, AI는 과거에 작성해 두었던 ‘출장비 규정’ 노트를 찾아가서 옛날 내용을 지우고 최신 정보로 업데이트합니다.
- 상호 참조 링크의 연결: 새로운 프로젝트 문서에 등장하는 담당자 이름, 관련 기술 용어들을 기존에 존재하던 ‘직원 명부’ 노트나 ‘기술 용어 사전’ 노트와 하이퍼링크로 촘촘하게 연결합니다.
이 과정이 완료되면, 지식은 컴퓨터 폴더 어딘가에 죽어 있는 텍스트 더미가 아니라, 새로운 정보가 들어올 때마다 스스로 덩치를 불리고 살을 붙여 나가는 살아 움직이는 눈사람처럼 진화합니다.
이 상태에서 기획팀 직원이 조금 전과 똑같이 복잡한 예산안 질문을 던지면 어떻게 될까요? AI는 더 이상 무겁고 지저분한 원본 파일들을 처음부터 읽지 않습니다.
대신 자신이 그동안 정성스럽게 빌드업하고 링크를 걸어둔 깔끔한 ‘위키백과 노트’만 슥 열어서 단 0.1초 만에 완벽하게 정제된 정답을 도출해 냅니다.
검색 속도는 수십 배 빨라지고, 인공지능이 읽어야 하는 글자 수는 수백분의 일로 줄어들어 토큰 비용이 획기적으로 절감됩니다. RAG가 가진 고비용 저효율의 족쇄를 완벽하게 끊어낸 것입니다.
4. 인간의 노동력 0%, 전처리의 주객전도가 만드는 기적
“위키백과나 노션이 좋은 걸 몰라서 안 쓰나? 그거 업무 바빠 죽겠는데 직원들이 일일이 페이지 만들고, 카테고리 분류하고, 태그 달고, 링크 연결하는 것 자체가 엄청난 업무 스트레스이자 중노동이다. 결국 일주일 지나면 아무도 안 써서 먼지만 쌓이는 폐가가 될 게 뻔하다.”
정확한 지적입니다. 인류의 지식 관리 역사가 매번 실패했던 원인이 바로 여기에 있습니다. 인간은 기록하고 정리하는 본능적인 귀찮음을 이겨내지 못합니다.
그러나 안드레 카파시가 제안한 LLM 위키 체제의 진짜 소름 돋는 마법은 이 모든 귀찮은 문서 정리와 하이퍼링크 연결, 카테고리 분류 작업을 인간이 아니라 인공지능(LLM)이 100% 독박을 쓰고 전담한다는 사실에 있습니다.
데이터 관리의 주객전도가 일어나는 것입니다.
인간은 그저 평소처럼 업무를 보며 발생한 가공되지 않은 러프한 데이터(영수증 스캔본, 개발자들의 대충 적은 코드 주석, 고객과의 통화 녹취록)를 시스템 폴더에 툭 던져놓기만 하면 됩니다.
그러면 인공지능이 밤새도록 백엔드에서 빗자루를 들고 지식 창고를 깨끗하게 청소합니다. 지저분한 노이즈를 걷어내고, 내용을 분석하고 요약하여, 완벽한 규격의 문서로 만드는 ‘AI 기반 지식 전처리 파이프라인’이 작동하는 것입니다.
쉽게 비유하자면, 코딩을 할 때 개발자가 날것의 소스코드를 작성하면 컴퓨터가 실행 가능한 가벼운 프로그램으로 바꾸는 ‘컴파일(Compile)’ 과정을 거치듯, AI가 사내의 지저분한 문서들을 인공지능이 가장 이해하기 좋은 최적의 지식 형태로 ‘지식 컴파일’을 해두는 것입니다.
우리는 그저 모니터 한쪽에서 평소처럼 비즈니스에 집중하고, 다른 쪽 모니터에서는 AI가 스스로 지식 노트를 생성하고 거미줄처럼 링크를 엮어 나가는 경이로운 광경을 실시간으로 편안하게 지켜보기만 하면 됩니다. ㅋ
지식을 예쁘게 꾸미고 정리하는 시대는 완전히 끝났습니다. 이제는 인공지능이 스스로 일하기 가장 좋은 데이터 환경을 직접 청소하고 가꾸는 조직만이 미래 AI 업무 자동화 생태계에서 압도적인 생산성 격차를 만들어내며 승리할 것입니다.
실무자를 위한 대기업형 꿀팁 박스
Q. 우리 회사는 전통적인 대기업이라 이미 기존 사내 인트라넷과 ERP 시스템에 수백만 개의 문서가 쌓여 있습니다. 이 방대한 날것의 데이터를 한꺼번에 LLM 위키로 바꾸려면 인공지능이 터지지 않을까요? 현실적인 도입 전략이 궁금합니다.
A. 매우 날카로운 실무적 질문입니다. 수백만 개의 문서를 아무런 대책 없이 한 번에 AI에게 먹이면 서버 가동 비용 감당이 안 되거나 데이터 과부하로 환각 현상이 일어납니다. 따라서 현업에서는 **’단계별 마이그레이션 전략’**을 취해야 합니다.
처음부터 모든 문서를 위키화하지 마시고, 직원들이 하루에 가장 많이 조회하는 **’탑 5%의 핵심 핵심 가이드라인 및 규정집’**만 먼저 추려내어 인공지능에게 1차로 학습시킵니다. 인공지능이 이 핵심 노트를 기반으로 기초 뼈대 위키를 형성하게 만든 뒤, 나머지 수백만 개의 방대한 아카이브 데이터는 기존 RAG 검색 엔진으로 묶어둡니다.
그러다 직원이 과거 문서를 검색해 열람할 때마다, 해당 문서를 실시간으로 가로채어 AI가 위키 노트를 한 장씩 점진적으로 생성하고 기존 뼈대에 이어 붙이게 만드는 ‘온디맨드(On-Demand) 지식 컴파일’ 아키텍처를 도입해야 합니다. 이렇게 하면 인프라 비용을 최소화하면서도 시간이 흐를수록 사내 지식 창고가 저절로 완벽해지는 기적을 경험하실 수 있습니다.
1편 최종 요약 및 핵심 결론
- RAG 시스템의 태생적 배신: 질문할 때마다 수많은 원본 문서를 처음부터 반복 정독해야 하므로 속도가 느려지고 토큰 서버 비용이 폭탄처럼 청구됨.
- 안드레 카파시 LLM 위키의 혁신: 문서가 들어오는 즉시 AI가 백엔드에서 스스로 읽고 정제한 ‘살아 숨 쉬는 위키 노트’를 작성하고 상호 링크를 걸어둠.
- 완전 자동화 전처리: 인간이 타이핑하고 분류할 필요 없이, 인공지능이 100% 스스로 지식을 컴파일하고 청소하므로 관리 실패율이 0%에 수렴함.
- 최종 결론: 미래 비즈니스의 승패는 ‘얼마나 최신형 인공지능 모델을 도입했는가’가 아니라, ‘인공지능이 스스로 지식을 축적하고 전처리할 수 있는 WIKI 기반의 데이터 인프라를 구축했는가’에서 갈릴 것입니다.