일오갓생 챌린지 Day 06 - AI 뮤직비디오

음악을 만들다 보면,

멜로디 너머로 구체적인 이미지가 떠오를 때가 있습니다.

 

오늘은 비 내리는 도시의 밤, 네온사인,

그리고 누군가를 그리워하는 '시티팝(City Pop)' 감성을 가득 담았습니다.

 

사실 오늘은 뮤비라고 하기엔 부족해서 더 하고 싶은 욕심이 있었는데,

작업 시간을 '수업끝나고 자정이 지나기 전 자유롭게' 로 제 스스로 정해놨기 때문에

요 정도만 작업했습니다.

 

오늘은 음악이 조금 특이한데, 80년대 시티팝에

K-R&B, K-POP, Jazz 느낌을 섞어봤습니다. 

시티팝은 ㄹㅇ 뭔가

제가 태어나기도 전인 80년대 90년대 그 시절 그 거리를 사무치게 그리워하게 되는

그런 묘한 맛이 있슴다

그런 향수에 북받쳐오를 수 있게 악기를 기깔나게 조합해줍니다

가사도 조합해줍니다

비주얼도 조합해줍니다

 

이 곡의 감성을 시각적으로 완벽하게 구현하기 위해 하이브리드 워크플로우를 구축했습니다.

먼저 음악의 의도 먼저 정리해봅니다.

 

 

< Seoul >

Vibe: 빗소리와 어우러지는 신디사이저, 감성적인 색소폰 솔로, 그리고 질주하는 듯한 베이스 라인.

Story: 화려한 도시의 불빛 속에 숨어버린 옛사랑, 닿지 않는 전화.

 

그루브에 맞춰 춤추는 빗방울과 공중전화 부스에 서 있는 한 소녀의 이미지가 머릿속에 강렬하게 남았습니다.

 

멀티모달 창작 (Nanobanana, WAN 2.1, Premiere Pro)

1. 서론: 생성형 AI 시대, 개인 창작의 지평을 넓히다

과거의 영상 제작이 고가의 장비와 수많은 인력을 필요로 하는 자본 집약적인 산업이었다면, 현재 우리가 마주하고 있는 생성형 인공지능(Generative AI)의 시대는 개인의 상상력과 기획력만으로도 상업적 수준의 결과물을 만들어낼 수 있는 기술 민주화의 시기입니다.

본 프로젝트는 청각적 경험(음악)을 시각적 실체(비디오)로 변환하는 '공감각적 전이' 과정을 AI 기술을 통해 구현한 사례입니다. 구체적으로는 나노바나나(Nanobanana)를 활용하여 캐릭터의 정체성과 시각적 스타일을 정의하고, WAN 2.1(Wan-Video) 모델을 통해 정적인 이미지에 시간과 움직임이라는 생명력을 불어넣었으며, 어도비 프리미어 프로(Adobe Premiere Pro)를 이용해 최종적인 리듬감과 서사를 부여했습니다.

이 글은 단순한 제작 후기를 넘어, 각 단계에서 활용된 AI 모델의 기술적 아키텍처(Architecture)와 워크플로우(Workflow)의 최적화 전략, 그리고 전통적인 비선형 편집 시스템(NLE)이 AI 생성물과 결합했을 때 발생하는 시너지에 대해 깊이 있게 다룰 것입니다. AI 아트에 입문하고자 하는 크리에이터부터, 심도 있는 기술적 원리를 탐구하고자 하는 전문가들까지 모두에게 유의미한 통찰을 제공할 수 있도록 종합적인 지식을 총동원하여 작성하였습니다.

---

2. 기획 단계: 음악의 시각화와 캐릭터 구상

2.1 청각 정보의 시각적 디코딩 (Visual Decoding of Audio)

뮤직비디오 제작의 첫 단계는 AI 툴을 켜는 것이 아니라, 음악 그 자체에 깊이 몰입하는 것입니다. 제가 만든 음악을 반복해서 들으며, 곡이 가진 고유한 주파수 대역, 템포(BPM), 악기의 질감(Timbre)이 어떤 색채와 형태를 연상시키는지 분석했습니다. 이 과정은 인간의 고유한 영역인 '추상적 사고'와 '감성적 해석'이 가장 강하게 개입되는 단계입니다.

• 리듬과 모션의 상관관계: 빠른 비트의 드럼 베이스는 역동적인 카메라 워킹과 짧은 컷 전환을, 느린 템포의 신디사이저 패드는 부드러운 슬로우 모션과 몽환적인 분위기를 요구합니다.
• 서사의 구축: 가사나 멜로디 라인에서 느껴지는 감정을 대변할 '페르소나(Persona)'가 필요했습니다. 음악이 주는 분위기에 맞춰, 저는 특정 시대나 장르(예: 사이버펑크, 로판, 현대물 등)에 부합하는 캐릭터를 구상했습니다.

2.2 프롬프트 엔지니어링을 위한 키워드 추출

구상한 캐릭터를 AI에게 전달하기 위해서는 모호한 감상을 구체적인 언어로 번역하는 프롬프트 엔지니어링(Prompt Engineering) 과정이 필요합니다. "슬픈 느낌의 여자"라는 추상적 지시보다는, "비에 젖은 아스팔트 위에 서 있는, 눈가에 눈물이 고인, 파란색 네온 조명을 받는 20대 여성"과 같이 시각적 구성 요소(피사체, 조명, 앵글, 분위기)로 해체하여 키워드를 정리했습니다.

---

3. 캐릭터 디자인과 일관성(Consistency) 확보: Nanobanana (Gemini) 심층 분석

3.1 Nanobanana란 무엇인가? 기술적 정체성

제가 캐릭터 생성에 사용한 나노바나나(Nanobanana)는 구글(Google)의 최신 멀티모달 AI 모델인 제미나이(Gemini), 특히 이미지 생성에 특화된 Gemini 2.5 Flash Image 또는 Gemini 3 Pro Image Preview 모델을 기반으로 하거나 이를 래핑(Wrapping)한 서비스입니다.

기존의 픽셀 확산(Pixel Diffusion) 기반 모델들이 확률적 노이즈 제거 방식을 사용하여 생성할 때마다 캐릭터의 얼굴이 미세하게 달라지는 단점이 있었다면, Nanobanana(Gemini)는 대규모 언어 모델(LLM)의 강력한 추론 능력과 인컨텍스트(In-context) 학습 능력을 이미지 생성에 적용하여 탁월한 일관성을 보여줍니다. 이는 사용자가 "이 캐릭터를 기억해"라고 명시하지 않아도, 입력된 컨텍스트 내에서 캐릭터의 주요 특징(Feature)을 유지하려는 성질을 가집니다.

3.2 일관성 있는 캐릭터 시트(Character Sheet) 제작 전략

뮤직비디오에서 주인공이 장면마다 다른 사람처럼 보인다면 관객의 몰입을 방해하게 됩니다. 이를 방지하기 위해 단일 이미지가 아닌, 캐릭터의 3면도(정면, 측면, 후면)와 다양한 표정을 포함한 '캐릭터 시트'를 먼저 생성하는 전략을 취했습니다.

3.2.1 컨택트 시트(Contact Sheet) 프롬프팅 기법

단일 이미지를 여러 번 생성하여 조합하는 것보다, 한 번의 렌더링 요청으로 여러 컷을 포함하는 컨택트 시트를 생성하는 것이 캐릭터의 아이덴티티(ID) 유지에 훨씬 유리합니다. Gemini 모델은 복잡한 지시사항을 이해하는 능력이 뛰어나므로, 다음과 같은 구조화된 프롬프트를 사용하여 완벽한 캐릭터 시트를 얻을 수 있습니다.

• 프롬프트 예시 구조:
• "Create a comprehensive character design sheet for. The image should be a contact sheet containing 3 distinct views: 1) Full-body front view, 2) Side profile view, 3) Back view. Additionally, include 3 facial expression close-ups: Neutral, Smiling, and Angry. Ensure consistent clothing, hair color, and facial features across all panels. Neutral white background."
• (캐릭터 설명에 대한 종합적인 캐릭터 디자인 시트를 생성해줘. 이미지는 3가지 뷰를 포함한 컨택트 시트여야 해: 1) 전신 정면, 2) 측면, 3) 후면. 추가로 3가지 표정 클로즈업을 포함해줘: 무표정, 웃음, 화남. 모든 패널에서 의상, 머리색, 얼굴 특징이 일치해야 해. 배경은 흰색.)

이러한 방식은 모델이 단일 잠재 공간(Latent Space) 내에서 연산을 수행하므로, 캐릭터의 기하학적 구조와 텍스처 정보가 모든 컷에서 공유되어 일관성이 극대화됩니다.

3.2.2 JSON 프롬프팅과 속성 잠금(Attribute Locking)

더욱 정교한 제어를 위해 나노바나나 프로(Nanobanana Pro) 단계에서는 JSON 형식의 프롬프트를 활용할 수 있습니다. 텍스트 서술형 프롬프트보다 구조화된 데이터 형식을 선호하는 모델의 특성을 이용하여, 캐릭터의 속성을 '변수'가 아닌 '상수'로 고정하는 것입니다.

속성 (Attribute)	값 (Value)	비고
Identity	"Cyberpunk female warrior, age 25"	캐릭터의 핵심 정체성
Hair	"Neon blue bob cut, undercut style"	헤어 스타일 고정
Outfit	"Black tactical vest with glowing circuit patterns"	의상 디테일 유지
Style	"Anime cel-shading, vibrant colors"	화풍 및 렌더링 스타일

이러한 JSON 프롬프팅은 복잡한 장면에서도 캐릭터의 특정 요소가 변형되는 환각(Hallucination) 현상을 최소화합니다.

3.3 Nanobanana의 고급 기능 활용

• 텍스트 렌더링 (Text Rendering): 기존 이미지 모델들이 텍스트 생성에 취약했던 반면, Gemini 기반의 Nanobanana는 이미지 내에 정확한 텍스트를 묘사할 수 있습니다. 이를 활용하여 뮤직비디오 내의 간판, 캐릭터의 티셔츠 로고, 혹은 앨범 커버 아트웍 등을 제작하여 영상의 디테일을 높였습니다.
• 멀티 이미지 퓨전 (Multi-image Fusion): 의상 레퍼런스 이미지와 얼굴 레퍼런스 이미지를 따로 입력하여 이를 합성하는 기능입니다.10 예를 들어, 내가 스케치한 의상 디자인에 실사 인물의 얼굴을 합성하여 독창적인 캐릭터를 만들 수 있습니다.

---

4. 영상 합성 단계: WAN 2.1을 이용한 생명력 부여

캐릭터 시트를 통해 정적인 주인공이 탄생했다면, 이제는 WAN 2.1 (Wan-Video) 모델을 사용하여 이 캐릭터를 움직이게 만들 차례입니다. WAN 모델은 알리바바(Alibaba) 연구진이 개발한 오픈소스 비디오 생성 모델로, 현재 시점에서 가장 진보된 성능을 보여주는 도구 중 하나입니다.

4.1 WAN 2.1 모델의 기술적 아키텍처와 우수성

WAN 2.1은 단순한 비디오 생성기를 넘어, 비디오 데이터의 시공간적 압축과 생성을 위한 혁신적인 아키텍처를 채택하고 있습니다.

• Video VAE (Variational Autoencoder): 1080p와 같은 고해상도 비디오를 처리하기 위해서는 데이터의 효율적인 압축이 필수적입니다. WAN의 Video VAE는 3D 인과적(Causal) 방식을 사용하여, 시간적 정보를 손실 없이 압축하고 복원합니다.11 이는 생성된 영상이 흐릿해지거나 프레임 간의 연결이 부자연스럽게 끊기는 현상을 방지하는 핵심 기술입니다.
• 확산 트랜스포머 (Diffusion Transformer, DiT): 기존의 U-Net 기반 확산 모델에서 한 단계 진화하여, 트랜스포머 아키텍처를 차용한 방식입니다. 이는 영상의 긴 시퀀스(Long Sequence)를 처리하는 데 유리하며, 텍스트 프롬프트의 의미를 영상의 움직임으로 변환하는 정확도가 매우 높습니다.
• 3D RoPE (Rotary Positional Embeddings): 영상 내 객체의 위치 정보를 3차원적으로 인코딩하는 기술입니다. 이를 통해 카메라가 회전하거나 줌인/아웃 할 때도 캐릭터의 형태가 일그러지지 않고 공간적 일관성을 유지할 수 있습니다.

힉스필드 동영상 생성 화면

4.2 이미지 투 비디오 (Image-to-Video, I2V) 워크플로우

뮤직비디오 제작에서 가장 핵심적인 워크플로우는 Nanobanana로 만든 캐릭터 이미지를 '첫 프레임(Start Frame)'으로 사용하여 비디오를 생성하는 I2V 방식입니다.

4.2.1 14B 모델 vs 1.3B 모델 선택 전략

WAN 2.1은 140억 파라미터의 14B 모델과 13억 파라미터의 1.3B 모델을 제공합니다.

• Wan2.1-I2V-14B-720P: 뮤직비디오와 같이 시각적 품질과 디테일이 중요한 작업에는 14B 모델이 필수적입니다. 높은 VRAM을 요구하지만, 캐릭터의 피부 질감, 머리카락의 흔들림, 조명의 반사 등을 훨씬 사실적으로 묘사합니다.
• Wan2.1-I2V-1.3B: 빠른 프로토타이핑이나 배경 요소 생성에 적합합니다.

4.2.2 ComfyUI 환경에서의 정밀 제어

저는 웹 인터페이스보다는 노드(Node) 기반의 워크플로우 툴인 ComfyUI를 활용하여 생성 과정을 정밀하게 제어했습니다.

1. 모델 로딩: Wan2.1_I2V_14B_720P_fp16.safetensors 체크포인트를 로드합니다. 품질을 위해 FP16(반정밀도)을 사용했으나, VRAM이 부족한 경우 FP8(양자화) 모델을 사용할 수도 있습니다.
2. 프롬프트 입력: WanVideo TextEncode 노드에 움직임을 지시합니다.
   • 긍정 프롬프트: "Girl dancing smoothly, hair blowing in the wind, smiling, cinematic lighting, slow motion, high quality."
   • 부정 프롬프트: "Static, blurry, distorted face, extra limbs, morphing."
3. 샘플링 설정: 20~30 스텝(Steps) 정도면 충분한 품질을 얻을 수 있습니다. CFG Scale은 4.0~6.0 사이로 설정하여 프롬프트의 반영 강도를 조절합니다.
4. TeaCache 가속: 긴 렌더링 시간을 단축하기 위해 TeaCache 노드를 연결하여 영상의 품질 저하 없이 생성 속도를 약 2배 가까이 향상시켰습니다.

4.3 캐릭터 모션 제어와 카메라 워킹

뮤직비디오의 연출을 위해 단순한 움직임 이상의 통제가 필요할 때는 다음과 같은 고급 기법을 사용했습니다.

• 카메라 제어 (Camera Control): 프롬프트에 "Camera pan right", "Zoom in slowly", "Tracking shot" 등의 영화적 용어를 포함하여 역동적인 샷을 생성했습니다. WAN 모델은 학습 데이터에 영화적 샷이 많이 포함되어 있어 이러한 지시를 잘 따릅니다.
• 스켈레톤 기반 애니메이션 (Skeleton-based Animation): 캐릭터가 특정 춤을 추게 만들기 위해 Wan-Animate나 UniAnimate 워크플로우를 활용할 수 있습니다. 댄서의 영상에서 추출한 포즈 데이터(OpenPose/DensePose)를 입력으로 주어, Nanobanana로 만든 내 캐릭터가 댄서의 동작을 그대로 따라 하게 만드는 방식입니다. 이는 뮤직비디오의 댄스 시퀀스를 만드는 데 결정적인 역할을 합니다.

---

5. 편집 및 후반 작업: Premiere Pro로 완성하는 리듬과 서사

AI가 생성한 수십 개의 비디오 클립(Clip)들은 아직 파편화된 조각에 불과합니다. 이를 하나의 흐름을 가진 뮤직비디오로 엮어내는 것이 어도비 프리미어 프로(Adobe Premiere Pro)를 통한 편집 과정입니다.

5.1 음악 기반의 자동화 편집: Automate to Sequence

뮤직비디오 편집의 핵심은 음악의 비트(Beat)와 영상의 컷(Cut) 전환이 딱 맞아떨어지는 리듬감(Rhythmic Synchronization)입니다. 이를 수작업으로 맞추는 것은 매우 번거로운 일이지만, 프리미어 프로의 기능을 활용하면 효율적으로 처리할 수 있습니다.

1. 마커(Marker) 활용: 타임라인에 음악 파일을 올리고 재생하면서, 비트가 강하게 떨어지는 지점(Kick, Snare)이나 곡의 분위기가 바뀌는 지점마다 M 키를 눌러 마커를 생성합니다.
2. Automate to Sequence (시퀀스 자동화): 프로젝트 패널에서 WAN으로 생성한 클립들을 선택한 후, 'Automate to Sequence' 기능을 실행합니다.
   • Placement: 'At Unnumbered Markers'로 설정합니다.
   • Method: 'Overwrite Edit'를 선택합니다.
   • 이렇게 하면 선택한 클립들이 마커가 찍힌 위치에 맞춰 자동으로 타임라인에 배치됩니다. 순식간에 음악의 리듬에 맞춰 컷이 전환되는 초안(Draft) 편집본이 완성되는 것입니다.

5.2 AI 생성 영상의 한계 보완: Optical Flow (광학 흐름)

WAN 모델로 생성한 영상은 보통 2~4초 내외의 짧은 길이이며, 프레임 레이트가 24fps 이하인 경우도 있습니다. 이를 뮤직비디오의 감성에 맞게 슬로우 모션으로 늘리거나 길이를 연장할 때 영상이 끊겨 보이는 현상(Stuttering)이 발생할 수 있습니다. 이를 해결하기 위해 Optical Flow 기술을 사용합니다.

• 기술적 원리: Optical Flow는 인접한 두 프레임 사이의 픽셀들의 이동 벡터(Vector)를 분석합니다. 단순히 앞뒤 프레임을 섞는(Frame Blending) 것이 아니라, 픽셀이 어디로 이동했는지를 추적하여 그 중간 단계의 새로운 이미지를 AI가 '추론'하여 생성해 넣는 방식입니다.
• 적용 방법: 프리미어 프로 타임라인에서 클립의 속도(Speed/Duration)를 50% 이하로 줄인 후, 'Time Interpolation' 옵션을 'Optical Flow'로 설정합니다. 렌더링(Enter 키)을 수행하면, 끊김 없이 부드러운 초고속 슬로우 모션 영상이 만들어집니다.
• 주의사항: 배경이 너무 복잡하거나 움직임이 불규칙한 경우(예: 물보라, 교차하는 다리 등)에는 픽셀이 뭉개지는 아티팩트(Artifact)가 발생할 수 있으므로 주의해야 합니다.

5.3 업스케일링과 색보정 (Upscaling & Color Grading)

• 업스케일링: WAN 2.1에서 생성된 720p 해상도의 영상을 4K 뮤직비디오로 만들기 위해 Topaz Video AI와 같은 전문 업스케일링 툴을 사용하거나, 프리미어 프로 내의 스케일링 알고리즘을 활용했습니다.
• 색보정: Nanobanana와 WAN을 거치며 각기 다른 톤을 가진 클립들을 통일하기 위해 Lumetri Color 패널을 사용했습니다. AI 특유의 지나치게 매끄러운 '플라스틱 질감'을 완화하기 위해 필름 그레인(Film Grain) 노이즈를 추가하여 아날로그적인 감성을 더했습니다.

---

6. 결론 및 종합적 고찰

6.1 기술 통합이 가져온 창작의 혁신

이번 프로젝트를 통해 경험한 워크플로우는 생성형 AI가 예술 창작의 전 과정에 어떻게 깊숙이 개입하고 있는지를 보여주는 완벽한 사례입니다.

단계	도구 (Tool)	역할 및 기술적 의의	핵심 테크닉
기획	Human Brain	창의적 원천, 음악 작곡	청각의 시각화, 컨셉 도출
디자인	Nanobanana	시각적 아이덴티티 확립 (Gemini)	컨택트 시트, 인컨텍스트 학습, 텍스트 렌더링
영상화	WAN 2.1	시공간적 움직임 부여 (Diffusion)	I2V, Video VAE, 3D RoPE, ComfyUI 제어
편집	Premiere Pro	리듬과 서사의 완성 (NLE)	Automate to Sequence, Optical Flow 보간

6.2 크리에이터의 역할 변화: Director & Curator

이 과정에서 저의 역할은 직접 그림을 그리거나 카메라를 들고 촬영하는 '오퍼레이터(Operator)'에서, AI에게 명확한 비전을 제시하고 수많은 생성물 중 최적의 것을 선택하여 조립하는 '디렉터(Director)'이자 '큐레이터(Curator)'로 변화했습니다.

Nanobanana의 추론 능력을 이용해 캐릭터의 영혼을 정의하고, WAN의 물리 엔진을 통해 그 영혼에 움직임을 부여하며, Premiere Pro의 편집 기능을 통해 시간의 흐름을 조각하는 과정 자체가 새로운 형태의 예술 행위였습니다.

6.3 미래 전망

현재의 워크플로우는 여러 툴을 오가며 파이프라인을 연결해야 하는 번거로움이 있지만, 머지않아 이 모든 기능이 하나의 인터페이스 내에서 통합될 것입니다. 프리미어 프로의 타임라인 위에서 텍스트 명령만으로 비디오 소스를 생성하고 수정하는 '생성형 편집(Generative Editing)'의 시대가 도래할 것입니다. 개쩔겠다

하지만 도구가 아무리 발전하더라도, 그 시작점인 '음악'과 그것을 시각화하고자 하는 '상상력'은 여전히 인간 고유의 영역으로 남을 것입니다. 이번 블로그 리포트가 AI 기술을 활용하여 자신만의 세계를 표현하고자 하는 모든 크리에이터들에게 유용한 나침반이 되기를 바랍니다.

긴 글 읽어주셔서 감사합니다.

 

 

결과물

https://www.youtube.com/watch?v=Oirec6FNi3c

 

시티팝조아

시티팝 + 재즈 작법을 활용해서 저두 재밌었어용

내일 봬용

[Verse 1]
차가운 비에 번진 street light
마지막 동전 하나를 쥐고
떨리는 손끝으로 다이얼을 돌려
그 날도 비가 왔었죠

[Pre-Chorus]
수화기 너머 들리는 잡음조차
그대의 목소리라고 생각할래요
속삭여주는 것 같아요
(Can't stop this feeling)

[Chorus]
Midnight Call

제발 받아줘
이 밤이 다 가기 전에
화려한 도시의

불빛 속에 숨어버린
우리의 촛불을 다시 켜줘

I'm still seoul 그대여
다시 오라고 외쳤던 곳에 나 남겨줘
사랑한다고 말해줘

그 시절처럼

[Verse 2]
텅 빈 고속도로 위를 달려
번진 불빛, 눈물인지 비인지
라디오에서 흐르는 슬픈 색소폰 소리
너에게 닿기엔 너무 먼 거리

[Pre-Chorus]
시간을 되돌릴 수 있다면
그때 널 잡을 수 있을까
지금 이 순간만은 솔직해질래
(I need you now)

[Chorus]
Midnight Call, 제발 받아줘
이 밤이 다 가기 전에
화려한 도시의 불빛 속에 숨어버린
우리의 촛불을 다시 켜줘

I'm still seoul, 그대여
다시 오라고 외쳤던 곳에 나 남겨줘
사랑한다고 말해줘, 그 시절처럼
(Just one more night)

[Bridge]
흐려지는 기억을 붙잡고
다시 한 번 네 이름을 불러

[Chorus]
(Key Change - Explosion)

Midnight Call, 제발 받아줘
새벽이 밝기 전에
화려한 도시의 불빛 속에 숨어버린
우리의 촛불을 다시 켜줘

I'm still seoul

제발 그대여
사랑한다고 말해줘

그 시절처럼
(You are my destiny)