임베디드 캡션 (Embedded Captions)
하나의 카탈로그, 사전 선택 (CATALOG.md — 17개의 정체성; 그 뒤에 있는 세 가지 엔진은 백엔드 세부 사항입니다). 표준(Standard) (기본값)은 깔끔한 정확 전사 레일(rail) (대부분의 텍스트를 담는 하단 1/3 자막) + 하이라이트 부분에서 피사체 뒤 장면 안에 합성되는 임베드(embed) 클라이맥스를 만듭니다. 시네마틱(Cinematic) 은 순수 임베드입니다. 레일이 없으며, 모든 캡션이 피사체 뒤에 합성됩니다 (히어로 타이포그래피, 누적(accumulation), 효과로서의 오클루전(occlusion)). 테마(Theme) 는 완전한 테마 기반 헌법(constitution)입니다 — 바디 패러다임(body paradigm) × 히어로 셋피스(hero setpiece) × 전면 효과(front fx) × 플레이트 반응(plate reaction)으로 구성되며, 레지스트리(themes/README.md)에서 조합됩니다: ordnance terminal neonsign stardust stomp. 대부분의 설명형 / 나레이션(narration) 영상은 표준(Standard) 입니다; 임베드는 드물게, 정당하게 사용되는 하이라이트입니다 — 모든 단어를 임베드하는 것은 흔한 실수입니다; 테마(Theme)는 VFX 급 요청("炸", "特效", "像 AE 做的")을 위한 것입니다.
운영 흐름 (TL;DR)
아래의 설명은 깁니다; 하지만 파이프라인 자체는 짧습니다 — 그리고 결정론적인 모든 것은 계산되거나 컴파일되며, 수동으로 작성되지 않습니다:
- 결정 게이트(Decision gate) (좋지 않은 클립 거부) → CATALOG.md에서 하나의 정체성(identity) 선택 (17개 정체성; 엔진/컴파일러는 조회(lookup)를 통해 파생 — 절대 모드/카테고리 질문을 표면화하지 않음)
hyperframes init(프로젝트 디렉토리가 이미 존재하고 그 안에 비디오가 있다면 건너뜀 —matte.cjs/transcribe.cjs는 디렉토리 내의 모든 비디오를 source.mp4로 간주) →bash scripts/prepare.sh <project>(matte ∥ transcribe ∥ audio-envelope 을 병렬로 실행한 다음, safe-zones v2로 장면 팔레트/광학/조명 처리 — 하나의 명령으로 모든 것을 잊지 않고 처리)- 창의적 선택을 담은 작은 JSON 작성 (먼저
safe-zones.json읽기): 시네마틱 →plan.json→fill-timings.cjs→fit-fonts.cjs→make-composition.cjs; 테마 →theme.json→make-theme.cjs(레일/패널/시/테이크오버 패러다임;anchor는 조용한 레일 기본값입니다) - 시각적 QA:
node scripts/preview-frames.cjs <project>→ 약 2초/프레임으로 신뢰할 수 있는 합성 프리뷰 제공 (렌더링 아님). 렌더링 비용을 지불하기 전에 § 시각적 QA 를 확인하세요. render-and-composite.sh→ 게이트(gates) (타이밍 / 오클루전+히어로 / 오버플로우 / 핸드오프) →final.mp4
사람들이 놓치는 중요한 규칙:
- 레일 (기본값) + 임베드 (승격).
drop(필러(filler), 표시되지 않음) /rail(정확 전사 하단 1/3 자막, 전면, 대부분의 텍스트 전달) /embed(피사체 뒤에 합성되는 하이라이트 단어). 표준 모드는 둘 다 수행하며, 하이라이트에만 임베드합니다. § 캡션 모델 을 참조하세요. - 비디오는 손상되지 않은 채로 제공됩니다 (표준/시네마틱; 테마 모드의 PLATE 예산은 유일하게 허용된 예외 — 레지스트리 게이트가 있는 반응 비트(charge-dim, punch, shake, grain)가 테마 DNA별로 정의되고 매트 합성 후에 적용되어 피사체+텍스트+플레이트가 하나의 프레임처럼 움직임) — 캡션만 추가됩니다; 매트는 피사체가 임베드 트랙을 가릴 수 있게 할 뿐입니다. 절대 푸티지(footage)를 그레이딩/리컬러/스캔라인하지 마세요.
- 두 가지 규칙집: 레일 → references/rail.md (얇음), 임베드 제작 → references/composition-craft.md (풍부함, 임베드 전용). 필요에 따라 훑어보세요.
캡션 모델 — 레일 + 임베드
모든 말하는 구절은 다음 세 가지 중 하나입니다:
| 무엇 | 어떻게 표시되는지 | |
|---|---|---|
| drop | 필러 — 음/어, 더듬음, 자기 수정 | 표시되지 않음 |
| rail | 기본값 — 일반적인 말하는 내용 (정확 전사) | 깔끔한 하단 1/3 자막, 전면, 읽기 쉬움. 강조 단어는 인라인 emphasis 하이라이트를 얻을 수 있음 (액센트 색상/활성 단어 팝) — 레일에 그대로 유지됩니다. |
| embed | 승격된 하이라이트 — 핵심 비트 | 피사체 뒤에 합성된 큰 단어 하나 (매트 오클루전), 디자인된 등장 및 퇴장 |
레일은 대부분의 텍스트를 전달합니다; 임베드는 드물게, 정당하게 사용되는 하이라이트입니다. 희소성은 클립당이 아니라 비트/블록당입니다: 블록(생각)당 ≤1개의 히어로, 두 개가 동시에 보이지 않음, 히어로 윈도우 사이에 최소 한 박자의 공백 (컴파일러는 0.6초 미만에서 경고). 짧은 클립 → 보통 1–2개; 긴 설명형 영상 → 섹션당 대략 하나. 여러 히어로 중에서 가장 크게 작성된 것이 APEX (그것만 전체 잠금 임베드 + 너비 맞춤 상승을 얻음); 더 작은 히어로는 MINOR 피크로, 해당 칼럼을 확대된 강조 라인(전경, 감쇠된 모션)으로 사용합니다 — 모든 비트가 매트 쇼케이스를 필요로 하는 것은 아니며, 이것이 바로 APEX를 이벤트로 유지하는 이유입니다. 모든 단어를 임베드하는 것은 여전히 흔한 실수입니다.
레일 표면 정체성은 정확히 이것을 만듭니다 (레일 = rail.html, 임베드 = index.html의 클라이맥스). 칼럼 흐름 정체성은 레일을 버리고 모든 것을 임베드 스타일로 만듭니다 — 분위기가 정확 전사보다 중요한 경우에만 추천하며, 단어가 읽혀야 하는 설명형 / 나레이션 영상에는 절대 추천하지 않습니다 (CATALOG.md는 정체성별로 이를 명시합니다).
단계 0 — CATALOG에서 하나의 정체성(identity) 선택
하나의 프론트엔드, 그 뒤에 세 개의 엔진. 사용자는 CATALOG.md에서 정체성(IDENTITY)을 선택합니다 (17개 항목: 12개 클래식 + 5개 테마); 엔진, 컴파일러 및 작성 파일은 카탈로그 행의 조회(lookup)를 통해 파생됩니다. 절대 "표준 vs 시네마틱 vs 테마"를 질문으로 표면화하지 마세요 — 그것들은 백엔드 이름입니다 (제품은 여러 엔진을 가지고 있더라도 하나의 UX를 가집니다). 카탈로그는 라우팅에 필요한 모든 것을 인코딩합니다: 읽기 표면, 음성, 추천 대상, 장면 요구 사항, 진정으로 가까운 쌍(loud↔ordnance, neon↔neonsign, cream↔stardust)에 대한 인접성 참고 사항.
절차: 클립 조사 → 카탈로그에서 2–3개 정체성 후보 목록 작성 → 하나의 이유와 함께 하나를 추천 → 사용자가 선택 → 해당 정체성의 파일을 작성합니다. 정체성은 엔진에 고정되어 있습니다 (교차 조합 없음; 하나를 여는 것은 검증 이벤트입니다 — dna/README.md 참조).
항상 추천을 제시하고 사용자가 선택한 후에 작성하세요. 조용히 기본값으로 진행하지 마세요.
(전체 정체성 테이블은 CATALOG.md에 있습니다 — 라우팅을 위한 단일 진실 공급원. 아래의 엔진 문서는 각 백엔드의 작성 계약을 설명합니다.)
추천 휴리스틱: CATALOG.md의 "후보 목록 작성 휴리스틱"을 사용하세요 — 이는 정체성 수준입니다 (예: "炸"는 ordnance/stomp/terminal/loud를 후보 목록에 올리고 무엇이 폭발해야 하는지에 따라 선택), 절대 카테고리 수준이 아닙니다. 확실하지 않음 → anchor.
- 시네마틱 → 잠금 템플릿에 대해
plan.json을 작성하고,make-composition.cjs에 의해 컴파일됩니다. - 테마 → themes/README.md를 읽고,
theme.json을 작성하고,scripts/render-theme.sh를 실행합니다 (컴파일 + 렌더링 + 플레이트 반응 → final_fx.mp4).
결정 게이트 — 먼저 실행
비디오를 조사하고 두 모드 이전에 장면을 분류하세요.
ffprobe <video.mp4> # 사양
ffmpeg -ss <t> -i <video.mp4> -vframes 1 sample.png # 20/50/80% 지점에서
샘플을 읽으세요. 다음의 경우 거부:
- 여러 화자 / 하드 컷 (각 샷을 분할하여 렌더링하거나 거부)
- 사람 피사체 없음 (이 스킬은 토킹헤드용입니다)
- 3초 미만, 음성 없음, 또는 얼굴이 명확하게 보이지 않음 —
transcribe.cjs는 오디오가 거의 무음일 때 경고합니다 (Whisper는 무음 위에 "Thank you."와 같은 단어를 환각); 경고를 따르고 거부 — 조작된 단어에 자막을 추가하지 마세요 - 소스에 이미 하드코딩된 자막/캡션/무거운 텍스트 그래픽이 있는 경우 — 두 번째 캡션 시스템을 추가하면 충돌이 발생하고 푸티지는 손상되지 않은 채로 제공됩니다 (덮기/인페인팅 없음). 하드코딩된 텍스트는 종종 클립 중간에만 나타납니다: 1fps 콘택트 시트를 샘플링하세요 (
ffmpeg -i in.mp4 -vf "fps=1,scale=160:-1,tile=10x5" sheet.png), 3개의 스팟 프레임을 신뢰하지 마세요. - 전사 결과가 형편없음 — 비원어민/억양이 강한 음성은 자신감 있는 횡설수설로 전사될 수 있습니다. 작성 전에
transcript.json을 상식적으로 읽으세요; 언어로 해석되지 않으면 한 번WHISPER_MODEL=medium을 시도하고, 그래도 안 되면 거부하세요 (조작된 단어의 정확 전사 레일은 캡션이 없는 것보다 더 나쁩니다). - 움직임이 많은 핸드헬드 촬영 (매트 깜빡임)
사전 점검 (비용이 들지 않고, 최악의 실패를 방지)
- 샷 컷 점검. 20%, 50%, 80% 지점에서 프레임을 샘플링합니다. 다른 피사체/장면이 나타나면 컷 전에 클립을 트리밍하세요.
- 레터박스 / 필러박스 점검. 첫 번째 프레임에 검은 막대가 있습니까? 안전한 콘텐츠 사각형을 계산하고 그 안에 캡션 배치를 제한하세요.
- 휘도 점검. 캡션 영역의 평균 휘도를 샘플링합니다 —
60 미만→ 밝은 텍스트가 그대로 읽힘,60-180→ 글리프 스크림 추가,180+→ 불투명 텍스트 + 스크림 (절대 맨 밝은 텍스트 사용 금지). 시네마틱 템플릿은 크림+screen이며 LOCKED입니다 — 이 점검을 사용하여 _적합한 정체성을 선택_하세요 (밝은 장면 →ink, 또는 불투명 레일anchor테마), 절대 하나를 리컬러하지 마세요. - 톤에 따른 정체성 추천 (당신이 추천; 사용자가 선택 — 단계 0 + CATALOG.md 참조). 설명형 / 인터뷰 / 반드시 읽어야 하는 단어 → 레일/패널 표면 정체성; 시적 / 소셜 미디어 / "시네마틱" → 레지스터에 따른 칼럼 흐름 정체성; "炸 / 特效 / VFX" / 명명된 세계 → 테마 정체성. 확실하지 않을 때 →
anchor(단어 읽힘, 장면 안전) — 하지만 후보 목록을 제시하고 사용자가 선택하도록 하세요.
파이프라인 — 5단계
1. hyperframes init <project> --non-interactive --video <video.mp4>
2. bash scripts/prepare.sh <project> # matte ∥ transcribe (병렬) → safe-zones. 하나의 명령.
# → frames_fg/ transcript.json safe-zones.json
3. [에이전트 단계 — 유일한 창의적 단계] 작은 JSON 작성; 아래 모드별 참조
시네마틱: plan.json 작성 → node scripts/fill-timings.cjs → fit-fonts.cjs → make-composition.cjs
테마: theme.json 작성 → bash scripts/render-theme.sh <project> (컴파일 + 렌더링 + 플레이트 효과)
4. node scripts/preview-frames.cjs <project> # ~2초/프레임 합성 프리뷰 → § 시각적 QA (렌더링 전)
5. bash scripts/render-and-composite.sh <project> # 게이트 → final.mp4 + history/ 스냅샷
(테마 모드: 단계 3b/5 건너뛰기 — render-theme.sh가 이미 컴파일 + render-and-composite
+ _postfx.sh를 실행합니다; 결과물은 final_fx.mp4, final.mp4는 플레이트 반응 전입니다)
단계 1의 init은 설치된 스킬을 GitHub의 최신 버전과 비교하고 오래된 것이 있으면 전역 세트를 업데이트합니다.
단계 3은 모드에 따라 다릅니다:
단계 3 — 시네마틱 모드 (순수 임베드)
- 먼저
safe-zones.json을 읽으세요. 나레이션 평면은zones.hugLeft/hugRight에 배치합니다 — 실루엣에 인접한 깔끔한 스트립 (몸에서 너무 먼 텍스트는 떠 있는 것처럼 보이며 임베드되지 않음; 먼 코너는 기본값이 아닌 대체 수단). 히어로는 기본적으로heroAnchor/heroBands.best에 배치됩니다 (피사체 위에 중앙 정렬, ~30–55% 가려짐).recommendation:"fg"는 가독성을 위해 나레이션을 전면으로 이동합니다; 히어로는heroBands.feasible일 때마다 임베드 상태를 유지합니다 — 히어로 전면은 최후의 수단입니다. - DNA는 단계 0에서 선택한 정체성입니다 (CATALOG.md) — 여기서 선택을 다시 열지 마세요. 장면에 대해 타당성을 확인하세요 (밝은 히어로 밴드 휘도 > 150은
ink를 원함; 전체 선택 지침은 네온/글리치/크롬/벨로시티를 포함한 모든 10개를 다루는 카탈로그에 있습니다). 선택과 이유를 명시하세요; 사용자가 결정합니다. DNA는 유형/팔레트/블렌드/모션 + 히어로 3막을 고정합니다; safe-zones v2 (palette/optics/lighting)는 이를 이 장면에 자동으로 매개변수화합니다. <project>/cinematic.json작성 —"dna": "<name>"+ 생각-BLOCKS, 원시 그룹이 아님: 각 블록 = 단어 라인 (절(clause) 경계에서 2–5개 그룹화) + 그것이 쌓이는 평면 + 라인별css(크기/두께/스타일만 — 위치 아님) + 최대 하나의 라인이"hero": true로 표시됨 (승격된 단어; 표시 형태는"text"). 스키마:scripts/make-cinematic.cjs헤더.- 컴파일:
node scripts/make-cinematic.cjs <project>— 블록을 plan.json → index.html로 낮춤. 자동 생성: 전사 순서 타이밍, 블록 내 누적, 블록 간 페이지 넘김, 히어로 LOCKUP (히어로 블록의 사전 컨텍스트, HERO 및 사후 컨텍스트가 피사체 위에 중앙 정렬된 하나의 결합된 구성으로 쌓임 — 읽기 순서 위→아래 = 구성에 의한 말하는 순서; 컨텍스트는 전면에 떠 있는 반면 히어로는 뒤에 임베드됨 = 깊이 샌드위치; 질량 규칙은 히어로가 컨텍스트를 지배하도록 유지), apex/minor 히어로 분할, 구성에 의한 읽기 순서, safe-zones에 따른 전면 폴백. 그런 다음 게이트가 평소처럼 실행됩니다. (plan.json을 직접 수동 작성하는 것은 블록이 표현할 수 없는 디자인의 경우 여전히 가능합니다 — 그런 다음fill-timings.cjs+fit-fonts.cjs+make-composition.cjs를 직접 실행하세요.)
단계 3 — 테마 모드 (테마 기반 헌법)
먼저 themes/README.md를 읽으세요 — 패러다임/셋피스 레지스트리, 연결, 하드 규칙 및 정확한 theme.json 스키마.
- 콘텐츠 레지스터에 따라 테마 DNA 선택 (각
themes/<name>.json에는voice+when이 있음). 선택과 이유를 명시하세요; 사용자가 결정합니다. <project>/theme.json작성 —dna,lines(정확 전사, 전사 순서; 각각 1–5 단어 —takeover의 경우 각 라인은 하나의 CARD),minors(강조 단어),hero:{match}(클라이맥스 단어/구; 임베드 셋피스의 경우lines에서 빼고, 인라인 셋피스 및 panel+redact의 경우 넣습니다).- 렌더링:
bash scripts/render-theme.sh <project>— 컴파일 (컴파일 시 정확 전사 완전성 게이트), 두 레이어 렌더링, 합성, 플레이트 반응 적용 →final_fx.mp4. 시각적 QA를 위해 컴파일과 렌더링 사이에preview-frames.cjs를 사용하세요.
시각적 QA — 렌더링 전에 미리보기
node scripts/preview-frames.cjs <project> [t…]은 약 2초에 하나씩 신뢰할 수 있는 미리보기 프레임을 합성합니다
(지정 시간에 캡션 레이어 스크린샷 + 실제 비디오 프레임 + 매트 오클루전 + 레일 오버레이 = 그 순간 최종 합성이 어떻게 보일지).
기본 샘플 = 각 그룹/클라이맥스 윈도우.
전체 렌더링은 몇 분이 걸립니다 — 레이아웃 문제를 _발견_하기 위해 절대 사용하지 마세요.
미리보기(<project>/preview/sheet.png)를 확인하세요
...