Communitygithub.com

애니메이션 가사 비디오

노래 오디오 파일과 가사가 주어졌을 때, Remotion 키트를 사용하여 YouTube Shorts, Instagram Reels 또는 TikTok용 세로형 애니메이션 가사 비디오(그려진 스토리 + 바로 아래에 표시되는 가사)를 제작합니다.

애니메이션 가사 비디오란 무엇인가요?

이 스킬은 사용자가 제공한 노래(오디오 파일 및 가사)를 바탕으로 전문적인 수준의 애니메이션 가사 비디오를 자동으로 생성하는 AI 어시스턴트(예: Claude Code, Cursor)를 위한 것입니다. 생성되는 비디오는 노래의 일부분(발췌 구간)을 사용하며, 가사에 맞춰 간단한 애니메이션 스토리를 그리고 각 가사 줄이 애니메이션 아래에 노래되는 단어가 강조 표시되어 표시됩니다. YouTube Shorts, Instagram Reels, TikTok과 같은 플랫폼에 적합한 세로형(1080x1920) 형식입니다. 이 스킬은 Remotion(React 기반 비디오 프레임워크)을 기반으로 구축된 리포지토리의 키트를 사용합니다. AI는 사용자로부터 필요한 입력(오디오 파일, 가사 텍스트, 아티스트, 곡명, 크레딧, 최대 길이)을 수집하고, Whisper를 사용하여 오디오를 전사 및 정렬한 후, 가사에 맞춰 시간에 맞춰진 장면(일러스트레이션)을 스크립트로 작성하고 코딩합니다. 결과물은 인코딩된 MP4 파일로 제공됩니다. 주요 기능으로는 노래 설정 생성, 가사 파일 작성, Whisper 전사 및 정렬, 사용자 정의 가능한 장면 코딩(캐릭터, 배경, 소품 포함), 오디오와의 정확한 동기화 확인을 위한 스틸 프레임 검사, 최종 비디오 렌더링 및 보고서 생성을 포함합니다. 핵심 규칙은 문자 그대로의 해석보다는 제안하는 스타일의 스토리텔링, 일관된 캐릭터와 설정 사용, 전문적인 카메라 워크를 위한 지속적인 움직임 유지입니다.

지원 대상~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/fransierra97/animated-lyric-video-kit/tree/main/.claude/skills/animated-lyric-video

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

애니메이션 가사 비디오은(는) 무엇을 하나요?

비디오는 노래의 한 부분(발췌 구간)이며, 가사를 따라가는 짧은 그림 스토리와 애니메이션 아래에 노래되는 단어가 강조 표시되어 한 줄씩 표시되는 가사로 구성됩니다. 셸(src/kit/LyricVideo.tsx)은 오디오, 헤더, 가사, 크레딧, 소셜 핸들 및 페이드 인/아웃을 처리합니다. 당신의 작업은 발췌 구간, 타이밍 및 스토리를 정하는 것입니다. 사용자의 언어로 답변하세요.

0. 입력

필요한 것만 얻으세요. 그 이상은 없습니다:

  • 오디오 파일 및 가사 텍스트. 사용자가 제목만 제공하면 파일을 요청하세요. 노래를 다운로드하지 마세요.
  • 아티스트, 곡명, 크레딧 라인 (예: "작사 및 작곡: …"), 선택적 소셜 핸들 ({network: 'instagram' | 'youtube', handle}).
  • 최대 길이. 사용자가 지정하지 않으면 기본값 60초.

사용자가 소유하거나 사용 권한이 있는 노래에 대해서만 작업하세요. 절대로 업로드하거나 게시하지 마세요.

1. 노래 생성

npm run new-song -- <kebab-id> --audio <file> --title "…" --artist "…" --credit "…"

이 명령어는 src/songs/<id>/ (설정, 가사, 장면)를 생성하고, 오디오를 public/에 복사하며, 컴포지션 <id>를 등록합니다.

2. 가사, 전사, 정렬

  1. src/songs/<id>/lyrics.txt를 작성하세요: 한 화면 줄에 한 줄씩, 노래되는 순서대로, 반복되는 후렴구도 다시 작성합니다. 한 줄에 2~7단어가 잘 읽힙니다. 자연스러운 쉼표에서 긴 줄을 나누세요.
  2. python scripts/transcribe.py public/<audio> src/songs/<id>/transcription.json --language <code>
  3. 발췌 구간을 선택하고 config.ts에서 start / end를 설정하세요:
    • 최대 길이를 초과하지 않아야 합니다;
    • 유지할 첫 번째 노래 가사 줄보다 2~3초 먼저 시작하세요 (커버 장면을 위한 공간);
    • 완전한 구절, 이상적으로는 후렴구 한 줄이 끝난 후, 페이드 아웃을 위해 약 1.5초를 더 추가하세요 (셸은 마지막 약 1.8초 동안 오디오와 영상을 페이드 아웃합니다);
    • 구절 경계를 찾기 위해 transcription.json 세그먼트 시간을 사용하세요.
  4. python scripts/align.py src/songs/<id>를 실행하고 그 보고서를 읽으세요:
    • "not heard: timing estimated": Whisper가 해당 줄을 건너뛰었습니다. 시간은 추정치입니다. 더 큰 모델(--model mlx-community/whisper-large-v3-mlx 또는 --model large-v3)을 시도하거나 lyrics.ts에서 수동으로 수정하세요.
    • "Dropped": 발췌 구간 외부의 줄입니다. 사용자가 전체 노래를 붙여넣은 경우 예상됩니다.
    • Whisper의 단어는 종종 틀립니다. 사용자의 가사가 우선입니다. 사용자의 가사를 Whisper에 맞게 "수정"하지 마세요. 녹음에서 명확히 다른 가사를 부르는 경우 사용자에게 알리고 어떤 버전을 표시할지 물어보세요.

3. 코드를 작성하기 전에 스토리를 쓰세요

짧은 비트 시트를 만드세요: 가사 줄당(또는 커플릿당) 하나의 비트와 lyrics.ts의 시작 시간을 포함합니다. 그런 다음 비트를 장면으로 변환하세요.

스타일 규칙. 이것이 비디오가 작동하게 만드는 요소입니다. 반드시 따르세요:

  • 단어 하나하나를 설명하지 말고 암시하세요. 가사를 반복하는 화면상의 단어나 의성어(표지판, 라벨, 목적지, 말풍선, "멍", "쉿", "∞")를 사용하지 마세요. 대신 행동, 사물, 빛, 날씨, 색상 및 반복되는 모티프로 전달하세요. 가사 줄이 어떤 것을 언급하면(기차, 개, 전화 통화), 그것이 스토리에서 무엇을 의미하는지 물어보고 그 대신 보여주거나, 이름을 지정하지 않고 그 사물을 보여주세요.
  • 하나의 스토리, 하나의 출연진. 동일한 캐릭터와 몇 가지 반복되는 설정 및 소품을 유지하여 비디오가 슬라이드쇼가 아닌 스토리로 읽히도록 하세요.
  • 주요 단어에 맞춰 동작을 넣으세요. 팝, 충격 및 변화를 중요한 단어의 시작에 맞추세요(pop(t, word.start), sacudida(t, word.start)).
  • 항상 움직이세요. 어떤 프레임도 약 1초 이상 정지되어 있으면 안 됩니다.
  • 레이아웃을 존중하세요. 1080x1920 캔버스에서 y≈300에서 y≈1100 사이에 장면을 그리세요. 헤더는 위쪽에, 가사는 y≈1150에서 시작합니다.
  • 장면은 해당 줄을 보여주기 시작하는 시점보다 약 0.3~0.5초 전에 변경됩니다. 셸은 0.12초 동안 크로스페이드합니다.
  • 첫 번째 장면은 커버입니다 (보컬 전에 아티스트와 곡명). 헤더는 두 번째 장면이 시작될 때 나타납니다.

4. 장면 코딩

src/songs/<id>/scenes.tsx를 편집하세요. 장면은 t(노래 시간(초))를 받아 <Lienzo> 내부에 그리는 컴포넌트입니다:

const Meeting: Escena = ({t}) => {
  const k = u(t, 31.2, 33.0);            // 0→1 사이의 두 노래 초
  return (
    <Lienzo>
      <FondoPuerto t={t} id="meeting-sky" pal={PAL.noche} />
      <Pareja x={540} y={MUELLE_Y} s={1.45} k={k} t={t} />
      <Corazon x={540} y={420} s={pop(t, 33.0)} />
    </Lienzo>
  );
};

export const SCENES = [
  {at: CONFIG.start, C: Cover},
  {at: 30.9, C: Meeting},
];

키트 참조 (이름은 스페인어이며, README.md에 용어집이 있습니다). kit-gallery 컴포지션의 모든 조각을 살펴보세요.

  • 시간 도우미 (kit.tsx): u(t, a, b) 진행 0→1; lerp, lerp2; easing eo (out), ei (in), eio (in-out), back (overshoot); pop(t, at) 탄성 등장; sacudida(t, at) 감쇠 진동; rnd(i) 결정론적 난수. Math.random()을 절대 사용하지 마세요.
  • 캐릭터: <Persona tipo="el" | "ella" x y s mira pose enMano>. x, y는 발 위치입니다. mira 1은 오른쪽, -1은 왼쪽을 봅니다. pose: bd/bt 앞/뒤 팔 [어깨°, 팔꿈치°] (0 아래, 90 앞, 180 위), paso + zancada (걷기), inclina (기울이기), cabeza (고개 기울이기), ojo: 'cerrado', beso, sonrojo (얼굴 붉힘). ikBrazo(...)는 손을 한 점으로 조준합니다. puntoMano, puntoCabeza는 캔버스 좌표를 반환합니다. <Pareja k>: 0은 떨어짐, 1은 키스. <Perro>.
  • 설정: FondoPuerto (항구, 팔레트 PAL.noche | ocaso | alba), FondoHuerto (과수원), FondoTejados (옥상), FachadaFondo + FachadaFrente (발코니; 캐릭터를 그 사이에 그림), FondoBar, FondoInfierno, FondoTapia (희벽), FondoEstacion (역, tren 전달), FondoDescampado (밤의 황무지). 대부분의 설정에서 지면은 y=985입니다 (MUELLE_Y, ANDEN_Y); 발코니 바닥 BALCON_Y, 거리 CALLE_Y.
  • 사물: Barco, Tren + Humo, Coche (김이 서린 창문, 김 속에 그려진 하트), Casa, Arbol, Banco, Maleta, Polaroid, Corazon, Labios, Flor, Manzana, Anillo, NeonCopa, Gaviota, Destello, Estallido (하트와 입술의 파열), Flotantes (떠다니는 하트), Recuerdo (기억 색조), Luna, Estrellas, Mar, Cielo.

경험 법칙: 모든 그라데이션/클립 id는 비디오 전체에서 고유해야 합니다 (장면 이름을 접두사로 사용). 모든 것을 t로 계산하십시오 (상태 없음). 뒤에서 앞으로 그리십시오.

새로운 조각은 같은 스타일로 src/kit/에 추가하십시오: 평면 색상, 윤곽선 없음, 자체 원점을 기준으로 그리며, s 크기 조정 속성을 사용합니다. 이를 Gallery.tsx에 추가하십시오.

5. 프레임 확인

npm run typecheck
npm run stills -- <id> <second> <second> …

모든 장면의 시작과 중간, 그리고 각 중요 단어에서 프레임을 요청하세요. out/stills/<id>/sheet.jpg에 기록됩니다. 렌더링하기 전에 보고 수정하세요: 가독성, 얼굴을 가리는 요소 없을 것, 헤더나 가사 영역에 아무것도 없을 것, 전체에 걸쳐 동일한 캐릭터, 문자 그대로의 라벨이 없을 것, 표시된 가사가 오디오 순간과 일치할 것.

6. 렌더링 및 보고

npm run render -- <id>

출력: out/<id>.mp4, 1080x1920, 30fps, H.264 + AAC. ffprobe로 지속 시간을 확인하고 사용자에게 보고하세요: 파일 경로, 길이, 사용된 발췌 구간, 2~3문장으로 된 스토리, 그리고 추정한 모든 타이밍이나 발견한 가사 의문점. 스틸 프레임만 확인했으며 재생 중인 비디오는 확인하지 않았음을 알리세요.

관련 스킬