원본 영상 [LINK]
최신 오픈 소스이거나 준문가용 툴로 일부는 설치 과정이 있을 수는 있다.
하지만, 세상이 빠르게 변화 하고 있다는 것을 몸소 체험 할 수 있다.
도대체, 이렇게 빠른 AI 세상에 어떤걸 먼저 학습해야하는지 감이 안온다…
1. 음성 및 대화형 AI (Voice & Conversational)
ㄱ. Qwen3-TTS (알리바바) [LINK]
특징: 한국어를 포함한 다국어 음성 합성 및 클로닝 지원. 텍스트로 목소리 스타일(예: “활기찬 여성 목소리”)을 설계할 수 있음
사용법: 파이썬 환경에서pip install -U qwen-tts로 설치하거나, ComfyUI 노드를 통해 GUI로 사용할 수 있음
ㄴ. PersonaPlex (엔비디아) [LINK] [hugging Face]
특징: 실시간으로 대화를 주고받는 스피치 투 스피치(Speech-to-Speech) 모델. 지연 시간이 매우 짧아 자연스러운 대화 가능
사용법: NVIDIA GPU 환경에서 실행하며, Hugging Face에서 모델 가중치를 내려받아 로컬 서버를 구축해 사용
ㄷ. Microsoft 5-voice ASR [LINK]
특징: 최대 60분 분량의 오디오를 한 번에 텍스트로 변환하고 화자 구분
사용법: 현재 Azure AI Foundry(구 Azure AI Studio)의 Speech 서비스 내에서 API 또는 SDK 형태로 제공
2. 영상 및 3D 생성 AI (Video & 3D)
ㄱ. OmniTransfer [LINK]
특징: 영상의 스타일, 모션, 카메라 구도 등을 다른 영상으로 옮겨주는 올인원 프레임워크
사용법: GitHub의 코드를 복제하여 로컬에서 실행하거나, 데모 페이지(Hugging Face Spaces 등)에서 테스트 가능
ㄴ. FrankenMotion [LINK]
특징: 신체 부위별로 세밀한 동작 프롬프트를 주어 복합적인 3D 인간 모션 생성
사용법: 논문 발표와 함께 코드가 공개되었으며, 연구용 코드를 통해 3D 캐릭터 애니메이션 데이터(FBX 등)를 생성할 수 있음
ㄷ. Image to Blender 3D (Trellis/Img2Blender) [LINK]
특징: 2D 이미지를 입력하면 블렌더(.blend) 파일로 변환하여 3D 모델링 작업을 바로 할 수 있게 도움
사용법: GitHub 저장소를 클론한 후, 이미지를 업로드하면 서버에서 3D 모델을 생성해 다운로드 링크 제공
3. 생산성 및 디자인 개발 툴 (Productivity & Design)
ㄱ. Clawdbot (클로봇) [LINK]
특징: 내 컴퓨터에 설치하는 개인 AI 비서. 메신저(슬랙, 텔레그램 등)를 통해 내 컴퓨터의 파일을 관리하거나 브라우저를 조작하도록 시킬 수 있음
사용법: 맥 미니나 PC, 라즈베리 파이 등에 상시 실행해두고 클로드(Claude) API 연결하여 사용
ㄴ. Pencil (Pencil.dev) [LINK]
특징: 개발자를 위한 AI 디자인 캔버스. 피그마처럼 디자인하면서 동시에 코드로 변환하고, 클로드 에이전트와 실시간으로 협업 가능
사용법: 웹사이트에서 가입 후 브라우저 혹은 데스크톱 앱에서 디자인 캔버스 활용
ㄷ. MagicPath (Figma Connect) [LNK]
특징: 프롬프트로 웹사이트를 만들고, 이를 피그마로 가져가거나 피그마 디자인을 실제 리액트 코드로 즉시 변환
사용법: MagicPath 사이트에서 디자인을 생성하고 ‘Figma Connect’ 기능을 통해 연동
4. 고성능 모델 및 API
ㄱ. GLM-4.7-Flash [LINK] [Hugging Face]
특징: 30B 규모의 모델임에도 코딩 성능이 매우 뛰어나며, 무료 또는 저렴하게 이용 가능한 고효율 모델
사용법: Zhipu AI의 오픈 플랫폼(BigModel.ai) API를 통해 사용하거나 Hugging Face에서 내려받아 vLLM 등으로 서빙
ㄴ. NotebookLM API [LINK]
특징: 구글의 문서 기반 AI 도구인 NotebookLM의 기능을 자동화하거나 서비스에 연동할 수 있는 엔터프라이즈 API
사용법: Google Cloud 프로젝트 내에서 NotebookLM Enterprise 권한을 얻어 API 키를 발급받아 사용
팁: ‘바이브 코딩’을 직접 체험해 보시려면 Cursor(커서) 에디터와 Claude Code CLI를 먼저 설치해 보시는 것을 추천하며, 이 두가지 환경에 연동되어 작동하는 리스트들이라고 한다.