애니메이션 가사 비디오은(는) 무엇을 하나요?
비디오는 노래의 한 부분(발췌 구간)이며, 가사를 따라가는 짧은 그림 스토리와 애니메이션 아래에 노래되는 단어가 강조 표시되어 한 줄씩 표시되는 가사로 구성됩니다. 셸(src/kit/LyricVideo.tsx)은 오디오, 헤더, 가사, 크레딧, 소셜 핸들 및 페이드 인/아웃을 처리합니다. 당신의 작업은 발췌 구간, 타이밍 및 스토리를 정하는 것입니다. 사용자의 언어로 답변하세요.
0. 입력
필요한 것만 얻으세요. 그 이상은 없습니다:
- 오디오 파일 및 가사 텍스트. 사용자가 제목만 제공하면 파일을 요청하세요. 노래를 다운로드하지 마세요.
- 아티스트, 곡명, 크레딧 라인 (예: "작사 및 작곡: …"), 선택적 소셜 핸들 (
{network: 'instagram' | 'youtube', handle}). - 최대 길이. 사용자가 지정하지 않으면 기본값 60초.
사용자가 소유하거나 사용 권한이 있는 노래에 대해서만 작업하세요. 절대로 업로드하거나 게시하지 마세요.
1. 노래 생성
npm run new-song -- <kebab-id> --audio <file> --title "…" --artist "…" --credit "…"
이 명령어는 src/songs/<id>/ (설정, 가사, 장면)를 생성하고, 오디오를 public/에 복사하며, 컴포지션 <id>를 등록합니다.
2. 가사, 전사, 정렬
src/songs/<id>/lyrics.txt를 작성하세요: 한 화면 줄에 한 줄씩, 노래되는 순서대로, 반복되는 후렴구도 다시 작성합니다. 한 줄에 2~7단어가 잘 읽힙니다. 자연스러운 쉼표에서 긴 줄을 나누세요.python scripts/transcribe.py public/<audio> src/songs/<id>/transcription.json --language <code>- 발췌 구간을 선택하고
config.ts에서start/end를 설정하세요:- 최대 길이를 초과하지 않아야 합니다;
- 유지할 첫 번째 노래 가사 줄보다 2~3초 먼저 시작하세요 (커버 장면을 위한 공간);
- 완전한 구절, 이상적으로는 후렴구 한 줄이 끝난 후, 페이드 아웃을 위해 약 1.5초를 더 추가하세요 (셸은 마지막 약 1.8초 동안 오디오와 영상을 페이드 아웃합니다);
- 구절 경계를 찾기 위해
transcription.json세그먼트 시간을 사용하세요.
python scripts/align.py src/songs/<id>를 실행하고 그 보고서를 읽으세요:- "not heard: timing estimated": Whisper가 해당 줄을 건너뛰었습니다. 시간은 추정치입니다. 더 큰 모델(
--model mlx-community/whisper-large-v3-mlx또는--model large-v3)을 시도하거나lyrics.ts에서 수동으로 수정하세요. - "Dropped": 발췌 구간 외부의 줄입니다. 사용자가 전체 노래를 붙여넣은 경우 예상됩니다.
- Whisper의 단어는 종종 틀립니다. 사용자의 가사가 우선입니다. 사용자의 가사를 Whisper에 맞게 "수정"하지 마세요. 녹음에서 명확히 다른 가사를 부르는 경우 사용자에게 알리고 어떤 버전을 표시할지 물어보세요.
- "not heard: timing estimated": Whisper가 해당 줄을 건너뛰었습니다. 시간은 추정치입니다. 더 큰 모델(
3. 코드를 작성하기 전에 스토리를 쓰세요
짧은 비트 시트를 만드세요: 가사 줄당(또는 커플릿당) 하나의 비트와 lyrics.ts의 시작 시간을 포함합니다. 그런 다음 비트를 장면으로 변환하세요.
스타일 규칙. 이것이 비디오가 작동하게 만드는 요소입니다. 반드시 따르세요:
- 단어 하나하나를 설명하지 말고 암시하세요. 가사를 반복하는 화면상의 단어나 의성어(표지판, 라벨, 목적지, 말풍선, "멍", "쉿", "∞")를 사용하지 마세요. 대신 행동, 사물, 빛, 날씨, 색상 및 반복되는 모티프로 전달하세요. 가사 줄이 어떤 것을 언급하면(기차, 개, 전화 통화), 그것이 스토리에서 무엇을 의미하는지 물어보고 그 대신 보여주거나, 이름을 지정하지 않고 그 사물을 보여주세요.
- 하나의 스토리, 하나의 출연진. 동일한 캐릭터와 몇 가지 반복되는 설정 및 소품을 유지하여 비디오가 슬라이드쇼가 아닌 스토리로 읽히도록 하세요.
- 주요 단어에 맞춰 동작을 넣으세요. 팝, 충격 및 변화를 중요한 단어의 시작에 맞추세요(
pop(t, word.start),sacudida(t, word.start)). - 항상 움직이세요. 어떤 프레임도 약 1초 이상 정지되어 있으면 안 됩니다.
- 레이아웃을 존중하세요. 1080x1920 캔버스에서 y≈300에서 y≈1100 사이에 장면을 그리세요. 헤더는 위쪽에, 가사는 y≈1150에서 시작합니다.
- 장면은 해당 줄을 보여주기 시작하는 시점보다 약 0.3~0.5초 전에 변경됩니다. 셸은 0.12초 동안 크로스페이드합니다.
- 첫 번째 장면은 커버입니다 (보컬 전에 아티스트와 곡명). 헤더는 두 번째 장면이 시작될 때 나타납니다.
4. 장면 코딩
src/songs/<id>/scenes.tsx를 편집하세요. 장면은 t(노래 시간(초))를 받아 <Lienzo> 내부에 그리는 컴포넌트입니다:
const Meeting: Escena = ({t}) => {
const k = u(t, 31.2, 33.0); // 0→1 사이의 두 노래 초
return (
<Lienzo>
<FondoPuerto t={t} id="meeting-sky" pal={PAL.noche} />
<Pareja x={540} y={MUELLE_Y} s={1.45} k={k} t={t} />
<Corazon x={540} y={420} s={pop(t, 33.0)} />
</Lienzo>
);
};
export const SCENES = [
{at: CONFIG.start, C: Cover},
{at: 30.9, C: Meeting},
];
키트 참조 (이름은 스페인어이며, README.md에 용어집이 있습니다). kit-gallery 컴포지션의 모든 조각을 살펴보세요.
- 시간 도우미 (
kit.tsx):u(t, a, b)진행 0→1;lerp,lerp2; easingeo(out),ei(in),eio(in-out),back(overshoot);pop(t, at)탄성 등장;sacudida(t, at)감쇠 진동;rnd(i)결정론적 난수.Math.random()을 절대 사용하지 마세요. - 캐릭터:
<Persona tipo="el" | "ella" x y s mira pose enMano>.x, y는 발 위치입니다.mira1은 오른쪽, -1은 왼쪽을 봅니다.pose:bd/bt앞/뒤 팔[어깨°, 팔꿈치°](0 아래, 90 앞, 180 위),paso+zancada(걷기),inclina(기울이기),cabeza(고개 기울이기),ojo: 'cerrado',beso,sonrojo(얼굴 붉힘).ikBrazo(...)는 손을 한 점으로 조준합니다.puntoMano,puntoCabeza는 캔버스 좌표를 반환합니다.<Pareja k>: 0은 떨어짐, 1은 키스.<Perro>. - 설정:
FondoPuerto(항구, 팔레트PAL.noche | ocaso | alba),FondoHuerto(과수원),FondoTejados(옥상),FachadaFondo+FachadaFrente(발코니; 캐릭터를 그 사이에 그림),FondoBar,FondoInfierno,FondoTapia(희벽),FondoEstacion(역,tren전달),FondoDescampado(밤의 황무지). 대부분의 설정에서 지면은 y=985입니다 (MUELLE_Y,ANDEN_Y); 발코니 바닥BALCON_Y, 거리CALLE_Y. - 사물:
Barco,Tren+Humo,Coche(김이 서린 창문, 김 속에 그려진 하트),Casa,Arbol,Banco,Maleta,Polaroid,Corazon,Labios,Flor,Manzana,Anillo,NeonCopa,Gaviota,Destello,Estallido(하트와 입술의 파열),Flotantes(떠다니는 하트),Recuerdo(기억 색조),Luna,Estrellas,Mar,Cielo.
경험 법칙: 모든 그라데이션/클립 id는 비디오 전체에서 고유해야 합니다 (장면 이름을 접두사로 사용). 모든 것을 t로 계산하십시오 (상태 없음). 뒤에서 앞으로 그리십시오.
새로운 조각은 같은 스타일로 src/kit/에 추가하십시오: 평면 색상, 윤곽선 없음, 자체 원점을 기준으로 그리며, s 크기 조정 속성을 사용합니다. 이를 Gallery.tsx에 추가하십시오.
5. 프레임 확인
npm run typecheck
npm run stills -- <id> <second> <second> …
모든 장면의 시작과 중간, 그리고 각 중요 단어에서 프레임을 요청하세요. out/stills/<id>/sheet.jpg에 기록됩니다. 렌더링하기 전에 보고 수정하세요: 가독성, 얼굴을 가리는 요소 없을 것, 헤더나 가사 영역에 아무것도 없을 것, 전체에 걸쳐 동일한 캐릭터, 문자 그대로의 라벨이 없을 것, 표시된 가사가 오디오 순간과 일치할 것.
6. 렌더링 및 보고
npm run render -- <id>
출력: out/<id>.mp4, 1080x1920, 30fps, H.264 + AAC. ffprobe로 지속 시간을 확인하고 사용자에게 보고하세요: 파일 경로, 길이, 사용된 발췌 구간, 2~3문장으로 된 스토리, 그리고 추정한 모든 타이밍이나 발견한 가사 의문점. 스틸 프레임만 확인했으며 재생 중인 비디오는 확인하지 않았음을 알리세요.