1. DPO 알고리즘 그 이후, Process Supervision의 시대 RLHF의 기반이 되는 PPO 알고리즘부터 최신 트렌드인 DPO(Direct Preference Optimization) 알고리즘, 그리고 이를 활용한 비개발자의 바이브 코딩 도구와 대규모 서비스 구축 전략까지 섭렵했다. 특히 1편에서 다루었던 DPO 알고리즘은 AI 모델 학습의 효율성을 비약적으로 높여, 우리가 쓰는 도구들이 더 빠르게 인간의 의도를 파악하도록 만들었다. 그렇다면 AI 기술은 여기서 … 더 읽기
1. 스파게티 코드와 AI 망각, 대형 프로젝트의 적 우리는 RLHF/DPO 알고리즘을 통해 인간의 의도를 잘 파악하게 된 AI를 활용하여, 비개발자가 Cursor나 n8n 같은 도구로 ‘바이브 코딩’을 하는 방법에 대해 알아보았다. 하지만 랜딩 페이지 한 장이나 간단한 자동화 봇을 만드는 것과, 실제 사용자가 가입하고 결제하는 ‘대규모 서비스’를 만드는 것은 차원이 다른 이야기이다. 비개발자가 바이브 코딩으로 규모 … 더 읽기
1. DPO 알고리즘으로 똑똑해진 AI, ‘바이브’를 알아듣다 AI가 어떻게 인간의 선호도를 학습하여 정렬(Alignment)되는지, 그 기술적 근간인 RLHF의 PPO와 DPO 알고리즘에 대해 알아보았다. 특히 최신 트렌드인 DPO 알고리즘 덕분에 AI는 더욱 빠르고 효율적으로, 그리고 정확하게 인간의 의도를 파악하게 되었다. 이제 우리는 이 ‘말귀 알아먹는 똑똑한 AI’를 활용하여 실제로 무언가를 만들어내는 단계, 바로 ‘바이브 코딩(Vibe Coding)’의 세계로 … 더 읽기
우리가 챗GPT나 클로드 같은 생성형 AI와 마치 사람과 대화하듯 편안하게 이야기하고, 심지어 코드를 짜달라고 요청할 수 있게 된 것은 그리 오래된 일이 아니다. 초기 언어 모델은 그저 다음에 올 단어를 통계적으로 예측하는 거대한 기계에 불과했다. 그런 기계가 어떻게 인간의 의도(Intent)를 파악하고, 유용한 답변을 하며, 무례한 질문을 거부할 수 있게 되었을까? 그 핵심 비밀은 바로 RLHF(Reinforcement … 더 읽기
