오늘 국내 AI 스타트업 업스테이지(Upstage)가 자신들의 모델을 “From Scratch(프롬 스크래치)로 개발한 것이 맞다”고 온/오프라인 생중계를 통해서 설명을 했다.
12월 연말, 커뮤니티에서 Upstage Solar-Open-100B가 From Scratch로 개발 된 것이 아니라는 논란에 휩쌓였고
1월 1일 저녁 쯤 From Scratch로 개발한 것이 맞다는 의견이 대다수로 마무리 되어갔다.
업스테이지(Upstage) 대표는 이 사실을 듣고 온/오프라인 생중계를 통해서 구체적 사실에 기반하여 단 5분만에 이 논란은 종식 되었다. (사실 잘 알아 듣지는 못해도, 서당개 3년이면 풍월을 읊겠지하고 나 또한 온라인으로 시청하였음)
WHY?
‘From Scratch’가 무엇이기에 기업들이 이토록 강조를 하고, AI의 기본은 Google로 연결 된다 하는데 어떤 부분을 이야기 하는지 궁금해 AI와 여러 대화를 통해서 습득한 정보를 알기 쉽게 정리해보았다.
1. From Scratch: “밑바닥부터 직접 만들었습니다”
보통 요리할 때 시판 소스를 쓰지 않고 밀가루, 달걀 등 원재료만으로 요리하는 것을 ‘from scratch’라고 한다고 했다.
scratch의 경우, 스포츠 쪽에서 착안하였고 여기서부터 시작이다라고 표시를 하기 위한 ‘시작 점 선 긋기’에서 비롯 되었다고 했다.
- 일반적인 방식: 구글이나 메타가 만든 기존 모델을 빌려와서 우리 데이터를 조금 덧붙임 (미세 조정).
- From Scratch 방식: 남이 만든 모델을 전혀 쓰지 않고, 백지상태에서 AI의 두뇌를 처음부터 직접 가르치는 것.
업스테이지 온/오프라인 문서 캡쳐 화면
왜 이걸 강조할까??
남의 기술에 의존하지 않는 ‘기술 주권’과, 어떤 질문에도 최적화된 성능을 낼 수 있는 ‘원천 기술력’을 가졌다는 증거이기 때문이였다.
그래서, 나는 여기서 추가적으로 궁금한 것이 생겼다. “OpenAI나 upstage도 결국 Google 기술 쓰는 거 아니야?” 왜 다들 이렇게 예민하지? 라고 생각이 들었다. 하지만, 그토록 From Scratch 방식을 강조한 이유는 아래와 같았다.
2. “엔진은 구글 거라던데?” (설계도 vs 실제 엔진)
- 구글의 역할: 2017년 발표 된 ‘Attention Is All You Need’ 논문을 통해 현대 모든 AI의 기초 설계도인 ‘트랜스포머(Transformer)’ 구조를 세상에 공개했습니다.
- 기업들의 역할: 그 설계도를 바탕으로, 자신들만의 재료(데이터)를 쏟아부어 실제 돌아가는 엔진(GPT, 솔라 등)을 직접 조립했습니다.
즉, 원리는 구글이 만들었지만, 실제 그 원리를 이용해 거대한 AI를 완성한 것은 각 회사의 실력 즉, 기술력인 셈이다.
3. 전설의 논문, 3가지 핵심으로 요약
한 줄 요약
“복잡하게 순서대로 분석할 필요 없어. 단어끼리 얼마나 관련 있는지 잘 계산하면 AI는 다 이해할 수 있어!”
ㄱ. “집중할 곳만 집중해라” (Self-Attention)
과거의 AI는 문장을 읽을 때 앞에서부터 순서대로 읽었다. 그러다보니, 문장이 길어지만 앞부분의 내용을 잊었다.
논문에서는 “순서대로 읽지 말고, 단어들끼리의 관계를 보고 중요한 단어에만 ‘집중(Attention)’해라 라는 해결책을 제시함
ex> 그 남자가 사과를 먹었는데, 그것은 아주 빨갛다.
: 트랜스포머는 문장 전체를 한꺼번에 보면서 ‘그것’이 ‘사과’와 가장 강력하게 연결되어 있다는 것을 순식간에 파악함
ㄴ. “한 번에 한 놈씩? 아니, 한꺼번에!” (Parallelization)
기존 모델(RNN)은 단어를 하나씩 순서대로 처리해야 해서 속도가 매우 느렸다고 한다. 하지만, 트랜스포머는 문장 전체를 병렬(Parallel)로 한꺼번에 처리하면서 성능이 엄청났다고 한다
> 덕분에 컴퓨터(GPU)의 성능을 풀파워로 사용할 수 있게 되었고, 엄청난 양의 데이터를 광속으로 학습하는 것이 가능해졌다고 한다. 이게 없었다면, 지금처럼 빠르고 거대한 AI 모델은 탄생하지 못했을 것이라고 말할 수 있다고 했다.
ㄷ. “위치 정보만 살짝 얹어줘” (Positional Encoding)
문장을 한꺼번에 읽으면 단어의 순서(위치)를 모를 수 있다.
ex> 철수가 영희를 사랑한다 vs 영희가 철수를 사랑한다
단어의 의미 데이터에 ‘위치 정보’를 나타내는 특수한 숫자(Positional Encoding)를 살짝 더해주는 기발한 방식을 썼고, 덕분에 순서대로 읽지 않아도 문맥을 완벽하게 파악할 수 있게 되었다고 한다.
*그럼, 왜 Gemini보다 OpenAI가 먼저 사람들에게 인식 되었을까?
여담으로는 Google은 큰 기업이기에 작은 실수도 용납이 되지 않는 허들이 있기 때문에 완성에 완성을 작업하고 있는 동안 몸집이 가벼운 OpenAI가 먼저 사용자들에게 빠르고 공개하여 시장우위를 점령하려고 빨리 오픈했다는 이야기도 있음
4. 우리나라에도 이런 회사가 있을까?
놀랍게도 대한민국은 전 세계에서 자체적인 ‘From Scratch’ 모델을 보유한 몇 안 되는 나라 중 하나라고 한다.
- 네이버: 하이퍼클로바X
- LG: 엑사원
- SKT: 에이닷엑스
- 업스테이지: 솔라 (스타트업으로서 당당히 도전 중!)
‘From Scratch’는 글로벌 AI 전쟁터에서 “우리도 우리만의 독자적인 두뇌를 가질 힘이 있다”는 선언과도 같았다는 것을 알게 되었고, 모든 AI가 구글 엔진을 기반으로 한다는 이야기만 알고 있었는데 심도있게 공부하며 지식을 습득 할 수 있었다.
Upstage 대표와 함께하는 동료들은 논란은 논란일 뿐 Solar의 From Scratch여정에 더 앞서 나갈 것 같다. 나 또한 이 행보에 깊이 공감하여 앞으로 더 응원하게 될 것 같다!