1. DPO 알고리즘 그 이후, Process Supervision의 시대
RLHF의 기반이 되는 PPO 알고리즘부터 최신 트렌드인 DPO(Direct Preference Optimization) 알고리즘, 그리고 이를 활용한 비개발자의 바이브 코딩 도구와 대규모 서비스 구축 전략까지 섭렵했다.
특히 1편에서 다루었던 DPO 알고리즘은 AI 모델 학습의 효율성을 비약적으로 높여, 우리가 쓰는 도구들이 더 빠르게 인간의 의도를 파악하도록 만들었다. 그렇다면 AI 기술은 여기서 만족하고 멈출 것인가? 당연히 아니다. AI 학계와 업계는 이미 DPO 그 이후, 더 높은 수준의 ‘지능’과 ‘자율성’을 가진 AI를 향해 나아가고 있다.
DPO 이후 가장 주목받는 최신 기술 트렌드 중 하나는 ‘Process Supervision(과정 감독)’이다.
기존의 DPO가 “결과적으로 이 답변이 저 답변보다 좋다”는 식의 ‘결과 중심’ 피드백으로 학습했다면, Process Supervision은 AI가 답을 도출하는 ‘모든 중간 추론 단계(Step-by-step reasoning)’에 대해 평가하고 보상을 준다. 비유하자면, 수학 문제의 정답만 맞히는 학생이 아니라, 풀이 과정까지 완벽하게 써 내려가는 학생을 만드는 과정이다.
최신 기술 예시 사항
- Process Supervision: AI가 논리적 추론 과정(CoT)을 거치도록 유도하며, 각 단계마다 보상을 줌
- Online DPO: 모델 업데이트와 선호 데이터 수집을 실시간으로 동시에 진행하여 더욱 효율적임
이 기술이 코딩에 적용되면 비개발자에게 엄청난 변화를 가져온다.
AI가 복잡한 코드를 짜다가 중간에 논리적 오류(Logic Bug)를 범할 확률이 획기적으로 줄어들기 때문이다. 특히 대규모 서비스 개발 시 파일 간의 복잡한 얽힘을 AI가 더 명확하게 ‘사고’하여 짤 수 있게 된다.
우리는 그저 “이런 기능 만들어줘”라고 말하지만, 내부적으로 AI는 Process Supervision을 통해 학습한 논리 능력으로 더욱 견고한 아키텍처를 구성하게 되는 것이다.
2. AI 에이전트의 등장, 자율적으로 코딩하고 배포하다
Process Supervision과 같은 기술적 진보가 지향하는 최종 단계는 바로 ‘AI 에이전트(Agent)’이다.
현재의 바이브 코딩은 우리가 Cursor나 Windsurf에게 “이거 해줘”, “저거 고쳐줘”라고 끊임없이 지시를 내려야 하는 ‘Co-pilot(부조종사)’ 방식이다. 하지만 AI 에이전트는 목표만 주어지면 그 목표를 달성하기 위한 하위 태스크(Task)를 스스로 계획하고, 코딩하고, 테스트하고, 심지어 서버에 배포까지 하는 ‘자율성’을 가진다.
AI 에이전틱 코딩의 특징
- 자율적 계획: “이커머스 웹사이트 만들어줘”라는 목표를 받으면, 스스로 DB 설계, 백엔드 구현, 프론트엔드 구현, 배포 단계를 계획함
- 도구 사용(Tool Use): 스스로 터미널을 켜서 필요한 라이브러리를 설치하고, 웹 브라우저를 열어 문서를 검색하며 코딩함
- 자기 반성(Self-Reflection): 코드를 짜다 에러가 나면 우리에게 물어보는 것이 아니라, 스스로 에러 메시지를 분석하고 코드를 수정하여 다시 테스트함
현재 시중에 나온 Windsurf의 Flow 기능이나, Devin 같은 AI 소프트웨어 엔지니어 에이전트들이 이 방향성을 보여주고 있다.
비개발자 입장에서 이는 더 이상 ‘코딩 도구’를 배우는 문제가 아니다. AI 에이전트라는 ‘직원’에게 “이번 달 안에 우리 회사 내부 관리용 앱을 완성해”라는 ‘목표’를 부여하고 지휘하는, 진정한 관리자의 역할로 변화한다는 것이다.
3. 1인 기업의 시대, 비개발자가 가지는 미래의 경쟁력
AI 에이전트와 에이전틱 코딩(Agentic Coding)의 시대는 비개발자에게 위기인가, 기회인가?
결론부터 말하자면, 이는 비개발자에게 역사상 가장 큰 기회이며, ‘1인 기업’의 시대를 여는 열쇠가 될 것이다. 과거에는 아이디어가 있어도 개발자를 고용할 비용이 없어 포기해야 했지만, 이제는 AI 에이전트가 그 역할을 대신해 줄 것이다.
미래의 작업 방식 예시
- 나: “우리 동네 미용실 예약 앱을 만들고 싶어. 사용자 앱, 사장님용 앱, 백엔드 서버까지 한 세트로 기획부터 배포까지 완료해줘. 예산은 서버 비용 포함 50달러 미만으로 맞춰.”
- AI 에이전트: “네, 알겠습니다. 계획을 세우겠습니다. 1단계는 DB 설계입니다… (스스로 작업 진행)”
- 나: (중간중간 AI가 보여주는 작업 결과(UI)를 컨펌하고, 비즈니스 방향성만 수정함)
이런 미래에서 비개발자가 가져야 할 경쟁력은 기술적인 지식이 아니라, ‘문제 해결 능력’과 ‘기획력’이다. 세상에 어떤 문제가 있고, 그것을 어떤 서비스로 해결할 것인지, 사용자에게 어떤 가치를 제공할 것인지에 대한 정의를 내리는 능력 말이다. AI가 코딩과 배포라는 ‘기술적 수단’을 자율적으로 처리해 주므로, 우리는 ‘본질적인 가치’에 더욱 집중할 수 있게 된다는 것이다.
4. 기술의 파도 위에 올라타 상상하라
RLHF의 기반이 되는 PPO와 최신 DPO 알고리즘의 작동 원리부터, 이를 활용한 비개발자의 바이브 코딩 전략, 대규모 서비스 구축 체크리스트, 그리고 AI 에이전트가 주도하는 코딩의 미래까지 섭렵했다. 우리는 기술이 어떻게 진보하여 우리의 ‘바이브’를 이해하게 되었는지, 그리고 그 기술이 앞으로 우리를 어디로 데려갈지 바로 시작하길 바란다