1. 트랜스포머 논문 공동저자 노암 샤지어의 위대한 시작
인류의 기술 발전 역사는 특정 논문 한 편이 발표되기 전과 후로 나뉜다.
현재 전 세계를 뒤흔들고 있는 생성형 인공지능(AI) 혁명의 뿌리를 거슬러 올라가면 2017년 구글 연구진이 발표한 하나의 기념비적인 논문을 만나게 된다.
그 논문의 이름은 바로 〈Attention Is All You Need〉이다. 이 논문은 ChatGPT, Claude, Gemini 등 현재 지구상에 존재하는 모든 대형 언어 모델(LLM)의 핵심 뼈대인 ‘트랜스포머(Transformer) 아키텍처’를 세상에 처음으로 제안했다. 그리고 이 위대한 논문의 공동 저자이자, 논문 속 복잡한 이론을 최초로 실제 작동하는 코드로 구현해 낸 천재 엔지니어가 바로 노암 샤지어(Noam Shazeer)이다.
최근 그가 구글을 떠나 경쟁사인 오픈AI(OpenAI)로 전격 이적했다는 소식은 실리콘밸리를 넘어 전 세계 테크 업계를 큰 충격에 빠뜨렸다. 구글이 그를 붙잡기 위해 무려 27억 달러(약 3조 6,000억 원)라는 천문학적인 자금을 쏟아부은 지 채 1년도 되지 않아 벌어진 일이기 때문이다. 대중에게는 다소 낯설 수 있는 인물인 노암 샤지어가 왜 이토록 거대한 가치를 지니는지, 그리고 그가 쓴 트랜스포머 논문이 어떻게 인류의 운명을 바꾸었는지 객관적인 사실을 바탕으로 상세하게 파헤쳐 본다.
2. 인류의 역사를 바꾼 트랜스포머 논문의 혁신성
2017년 이전까지의 인공지능, 특히 인간의 언어를 처리하는 자연어 처리(NLP) 모델들은 치명적인 한계를 지니고 있었다.
당시 주류를 이루던 순환신경망(RNN)이나 롱숏텀메모리(LSTM) 방식은 문장을 읽을 때 단어를 앞에서부터 순차적으로 하나씩 입력받아 처리하는 구조였다.
예를 들어 “인간의 역사를 바꾼 천재 과학자가 구글을 떠나 오픈AI로 이적했다”라는 문장이 있다면, 인공지능은 ‘인간의’, ‘역사를’, ‘바꾼’이라는 단어를 순서대로 학습해야만 했다. 이러한 방식은 문장이 조금만 길어져도 맨 앞에 나왔던 단어의 맥락을 잊어버리는 ‘장기 의존성(Long-Term Dependency)’ 문제를 발생시켰다. 게다가 순서대로만 처리해야 하므로 수많은 컴퓨터를 동시에 돌려 연산을 빠르게 만드는 ‘병렬 연산’이 원천적으로 불가능했다. 속도가 느리니 대규모 데이터를 학습시키는 것은 꿈도 꿀 수 없었던 시절이었다.
트랜스포머 논문은 이러한 패러다임을 완전히 뒤엎었다. 논문의 핵심 기술인 ‘셀프 어텐션(Self-Attention)’은 문장 속의 모든 단어를 동시에 입력받은 뒤, 각각의 단어가 서로 어떤 연관성을 지니고 있는지를 한 번에 계산한다.
컴퓨터에게 문장 전체를 한눈에 조망할 수 있는 시각을 부여한 것과 같다. 이로 인해 인공지능은 아무리 긴 텍스트라도 문맥의 흐름을 정확하게 파악할 수 있게 되었으며, 수천 대의 그래픽 처리 장치(GPU)를 동시에 동원해 초고속으로 대량의 데이터를 학습하는 병렬 연산이 가능해졌다. 대형 언어 모델의 탄생은 이 트랜스포머 논문 한 편으로 시작된 것이다.
3. 구글 초창기 천재 개발자 노암 샤지어는 누구인가
노암 샤지어는 인공지능 시대가 열리기 아주 오랜 전부터 이미 구글 내부에서 전설적인 엔지니어로 통했다.
그는 2000년 구글에 입사한 초창기 멤버 중 한 명이다. 당시 구글은 지금처럼 거대한 빅테크 기업이 아니라, 이제 막 성장을 시작한 벤처기업에 불과했다.
샤지어는 입사 직후 구글의 핵심 검색 품질을 비약적으로 끌어올리는 성과를 냈다. 전 세계 구글 사용자가 매일 마주하는 시스템인 “혹시 이 단어를 찾으셨나요? (Did you mean?)”라는 오타 교정 시스템의 초기 알고리즘을 단 몇 주 만에 혼자서 설계하고 구현해 낸 인물이 바로 그이다. 컴퓨터가 인간의 오타를 문맥적으로 파악하여 올바른 단어를 제안하는 이 기술은 당시로서는 혁명적인 자연어 처리 기술의 산물이었다.
그의 천재성은 구글의 비즈니스 모델에서도 빛을 발했다.
구글 전체 매출의 거대한 축을 담당하는 광고 시스템인 ‘애드센스(AdSense)’의 핵심 뼈대가 되는 매칭 알고리즘을 개발한 주역 역시 노암 샤지어이다.
웹페이지의 텍스트 콘텐츠를 컴퓨터가 자동으로 분석하여 그와 가장 연관성이 높은 광고를 실시간으로 띄워주는 이 알고리즘은 구글이 천문학적인 캐시카우를 확보하는 데 결정적인 기여를 했다. 컴퓨터 과학계에서는 그를 두고 수학적 이론을 가장 완벽한 형태의 효율적인 컴퓨터 코드로 바꾸는 전 세계에 몇 안 되는 독보적인 아키텍트라고 평가해 왔다.
4. 트랜스포머의 실질적 구현과 AI 리더로의 성장
2017년 〈Attention Is All You Need〉 논문이 작성될 당시, 많은 연구자가 이론적인 아이디어를 제시하는 것에 머물렀을 때 이를 실제로 부딪쳐 가며 코드로 짜낸 인물이 샤지어이다.
그는 트랜스포머 구조의 핵심인 ‘멀티 헤드 어텐션(Multi-Head Attention)’의 세부 연산 방식을 고안하고 잔차 구조를 매끄럽게 연결하여, 인공지능 모델이 거대한 슈퍼컴퓨터 인프라 위에서 터지지 않고 안정적으로 대규모 학습을 완수할 수 있도록 시스템을 빌딩했다. 즉, 논문 속 트랜스포머를 죽은 이론이 아닌 살아 움직이는 기술로 만든 실질적 설계자가 그라는 뜻이다. 이후 그는 구글 내부에서 거대 트랜스포머 모델을 분산 학습시키는 ‘Mesh-Tensorflow’ 시스템을 구축했으며, 훗날 구글 제미나이의 모태가 되는 대화형 대형 언어 모델 ‘LaMDA(람다)’ 프로젝트를 이끌며 구글 AI 연구의 최전선에 서게 된다.