taste-application (스타일 적용)

Taste Application (스타일 적용)

파이프라인의 후반부입니다. taste-distillation이 참조 영상을 측정하여 스타일 팩으로 만들면, 이 단계에서 그 팩을 기반으로 생성하고 결과물을 컷합니다.

실행 및 전달 계약

원본 구현체는 scripts/ 디렉토리에 포함되어 있습니다. 별도의 ito-video 체크아웃이 필요하지 않습니다. 로컬 처리를 위해 scripts/requirements.txt를 설치하세요. 프로바이더 실행 시에만 scripts/requirements-live.txt를 설치하세요. 라이브 업로드, 제출, 다운로드에는 자격 증명 외에도 TASTE_FORGE_ALLOW_LIVE=1 환경 변수가 명시적으로 필요합니다. 사용자의 승인된 실행에서만 설정하세요. --dry-run은 자격 증명 없이도 동작하며, 레이블이 지정된 플레이스홀더를 생성합니다. 모호한 프로바이더 타임아웃이 발생해도 새로운 유료 작업으로 재시도되지 않습니다. 프로바이더 요청을 검사한 후에만 추가 제출 여부를 결정하세요.

프로바이더 호출 없이 기존에 완료된 테이크를 사용하려면:

python scripts/pipeline.py --genre example --root stylepacks \
  --takes media/take-a.mp4 media/take-b.mp4 --duration 12 --fps 30 \
  --out out/review-v1.mp4

--duration은 최선의 케이던스 목표치이지, 정확한 실행 시간이 아닙니다. 완성된 샷은 목표보다 짧거나 긴 편집물을 생성할 수 있으며, 어셈블러는 클립을 복제하거나 패딩을 추가하여 목표를 맞추지 않습니다. 출력 매니페스트는 실제 duration과 함께 duration_contract에 요청된 시간과 실제 시간, 부족분, 초과분, cadence_target 정책을 기록합니다. 출력 프레임 하나 이상의 차이는 명시적으로 경고됩니다. 정확한 시간 모드는 제공되지 않습니다. 정확한 실행 시간이 필요한 경우, 수신증명서를 검사하고 전달 전에 컷을 수정하거나 거부하세요.

파이프라인은 각 실행의 그레이딩된 샷 파일을 보관합니다. 편집 가능한 FCPXML과 EDL이 이 파일들을 참조하기 때문입니다. 출력 충돌이 발생하면 거부하고, 타임라인 내보내기 실패를 보고합니다. 완료된 렌더링은 저장된 편집기 프로젝트나 크리에이티브 승인을 의미하지 않습니다. 라이브 편집 전후에 소스 자산과 버전 관리 체크포인트를 보존하고, 저장된 경로와 다이제스트를 메모리 내 타임라인 수신증명서와 별도로 기록하세요.

클론 준비가 된 Fal 그래프와 오프라인 입력 컴파일러는 workflows/README.md에 문서화되어 있습니다. 제출 전에 브리프와 스타일 방향을 컴파일하세요. 연결되지 않은 스키마 필드가 모델 프롬프트에 영향을 미친다고 가정하지 마세요. 유료 실행 전에 현재 엔드포인트 필드를 실제 프로바이더와 대조하여 검증하세요.

Blender의 경우 전체 텍스처가 적용된 소스 GLB를 사용하세요. 리토폴로지는 별도로 이름이 지정된 파생물이며, 소스를 대체하지 않습니다. blender_prop.py는 --width 1920 --height 1080 --fps 30 --receipt receipt.json을 명시적으로 지원하며, 팩에서 파생된 림 조명과 재질 텍스처를 유지합니다. 씬 저장과 렌더링은 별개입니다. 수신증명서의 상태와 패킹된 이미지를 검사하세요.

Resolve 오버레이의 경우, 명시적으로 선택되고 버전이 지정된 타겟에서 주입된 객체와 함께 taste.resolve.apply_placements를 사용하세요. 해당 호스트에서 검증된 규칙에 따라 source_end_mode를 설정하세요. Resolve 버전 간에 소스 끝이 포함적이라고 가정하지 마세요. 어댑터는 보존된 트랙 위에 겹치는 효과를 할당하고, 모든 배치를 즉시 그리고 모든 추가 배치 후에 다시 확인합니다. 복합 정수는 설치된 API와 일치해야 합니다. 검증된 Studio 21 호스트의 경우 Screen은 5이며, 기록상의 빌더가 잘못 제시한 22가 아닙니다. 수신증명서는 메모리 내 배치만을 증명합니다. 프로젝트를 저장하고 체크포인트를 확인한 다음, 정확한 렌더링 출력을 검사한 후에 전달을 보고하세요.

활성화 시점

• "이 스타일로 비디오 만들어 줘" / "팩 적용해 줘" / "이 푸티지를 보충해 줘"
• 생성된 클립을 실제 편집 리듬이 있는 결과물로 조립
• 룩에서 3D 프롭을 생성하여 비디오로 가져오기
• 완성된 작품이 실제로 참조 영상과 일치하는지 검증

작업 분담

모델은 콘텐츠, 모션, 프레이밍, 조명 구조를 제공합니다. 팩은 색상과 리듬을 제공합니다. 이는 스타일적 선호도가 아닌 측정된 값입니다. 자세한 내용은 taste-distillation을 참조하세요. 실질적인 결과:

• 생성 프롬프트에는 색상 언어가 전혀 포함되지 않습니다. "색상: 없음. 뉴트럴 렌더링. 그레이딩은 이후에 적용됨." 을 추가하세요.
• 두 개의 별도 플래그를 유지하세요: --brief (무슨 일이 일어나는가: 주제, 행동, 장소)와 --style-steer (어떻게 보이는가). 이 둘을 합치면 스타일 단어가 씬에 새어 들어가고("틸"이 틸색 오브젝트가 됨) 주제 단어가 그레이드에 새어 들어갑니다.
• 모델은 국지적이고 확인 가능한 규칙에 전역 규칙보다 훨씬 잘 반응합니다. "배경은 순수 검정이고 조명 없음; 주제는 흰색으로 날아감"은 잘 작동하지만 "극단적 대비"는 그렇지 않습니다.

테이크(TAKE)를 생성하세요, 샷(Shot)이 아닙니다

"케이던스 맞추기"를 샷당 하나씩 생성하는 것으로 이해하는 것은 당연하지만 경제적으로 터무니없습니다. 평균 0.78초/샷인 참조 영상을 바닥 시간 4초의 엔드포인트에 대해 처리하면, 10초짜리 작품을 만들기 위해 12번 호출, 48초 생성, 10초 사용 (21% 효율) 이 되어 12개의 관련 없는 클립을 마치 연속적인 것처럼 이어붙여야 합니다.

편집자는 더 긴 테이크를 촬영하고 그 안에서 컷합니다. 샷을 ~5초 테이크로 묶으면: 3번 호출, 13초 생성, 77% 효율, 그리고 동일한 생성에서 나왔기 때문에 실제로 서로 연속적인 샷을 얻을 수 있습니다.

모델에게 원하는 형태를 알려주지 않으면 느린 고정 푸시를 렌더링하고 그 안의 6번의 컷이 말더듬처럼 읽힙니다:

"내부에 하드 컷이 없는 하나의 연속 테이크로 촬영되었습니다. 편집 시 약 0.8초씩 6개의 조각으로 잘릴 예정이므로, 프레이밍, 주제, 조명이 전체적으로 계속 변해야 합니다. 어떤 0.8초 윈도우를 가져와도 그 자체로 하나의 샷으로 성립해야 합니다."

컷팅 규칙

• 스트림 복사가 아닌 재인코딩하세요. 스트림 복사는 키프레임에서만 컷팅하므로, 0.78초 샷에서는 모든 경계가 가장 가까운 GOP로 반올림되어 파이프라인이 존재하는 이유를 무너뜨립니다.
• 기존 푸티지를 보충할 때는 원본의 샷 경계를 사용하세요. 기본 비디오를 연속적인 조각으로 자르고 순서대로 재생하면 원본을 그대로 재조립하는 것이므로, 모든 "컷"이 샷 중간에 떨어져 보이지 않습니다. 측정 결과, 20샷 어셈블리에서 감지된 컷은 12개에 불과했습니다. 실제 경계를 감지하고 매 N번째를 선택하여 연속 선택이 반드시 불연속적이도록 하세요. 이렇게 하면 컷 측정값이 0.78초 목표 대비 1.29초에서 0.83초로 개선되었습니다.
• 참조 영상의 분포에서 샷 길이를 샘플링하세요. 평균에서 샘플링하지 마세요. 그래야 리듬의 변동성을 상속받아 균일한 클립으로 평탄화되지 않습니다.

그레이딩 규칙

• 클립이 있을 때는 베이크된 LUT보다 직접 측정이 더 낫습니다. 클립을 측정하고 L* CDF를 일치시킨 다음 존 크로마를 적용하세요. grade_clip_direct는 MAE 1.58, 대비 34.0 (목표 34.7)을 달성했습니다.
• 클립의 히스토그램이 참조와 다를 때는 CDF 일치보다 앵커(Anchor)를 사용하세요. 68% 검정인 생성된 클립을 복잡한 참조 히스토그램에 강제로 맞추면 전체 배경이 검정에서 들어올려졌습니다: 배경 보존율이 CDF(26.0%) 대비 앵커(69.0%)로 크게 개선되었고, MAE와 대비는 모두 훌륭했습니다. 기본값은 앵커 톤입니다.
• 배치 크기가 중요합니다. 한 번에 48프레임을 그레이딩하면 OOM으로 프로세스가 종료되었습니다. 6은 안전합니다.

복구된 fal 플랫폼 동작

다음 관찰 결과와 엔드포인트 예제는 복구된 워크플로우에서 비롯되었습니다. 현재 엔드포인트 메타데이터를 다시 확인하세요. 이는 모든 향후 프로바이더 버전에 대한 보장이 아닙니다. 번들 그래프 템플릿은 별도로 검증된 워크플로우 입력(명시적인 오디오 생성 제어 포함)을 기록합니다.

이를 발견하는 데 실제 시간이 소요되었습니다. 그래프를 설계하기 전에 확인하세요.

제한 사항	세부 내용
3D 렌더러 없음	fal에는 image-to-3d, text-to-3d, 3d-to-3d만 있습니다. 모든 3d-to-3d
엔드포인트는 다른 메시를 출력합니다. 3d-to-image/3d-to-video 카테고리가
없으므로, 민팅된 GLB는 fal 비디오 그래프에 다시 진입할 수 없습니다.
로컬에서 렌더링한 후 fal-ai/ffmpeg-api/images-to-video를 사용하세요.
compose가 오버레이 불가	fal-ai/ffmpeg-api/compose는 두 번째 트랙을
"여러 비디오 트랙은 지원되지 않습니다" 오류로 거부합니다. 또한 image 트랙을
비디오 트랙으로 간주합니다. 하나의 비디오 트랙만 시퀀싱합니다. **ffmpeg로 로컬에서
합성하세요.**
compose 키프레임은 밀리초	응답에 그렇게 명시되어 있지 않습니다. 초 단위로
제출된 실행은 수락되지만 1000배 짧은 비디오를 반환합니다.
extract-frame은 처음/중간/마지막만 제공	임의의 타임스탬프는 없습니다.
세 개를 세 개의 서로 다른 컨디셔닝 이미지로 사용하세요.
DAG에 루프, 문자열 연결 없음	샷별 팬아웃은 노드별로 작성하거나 로컬로
유지해야 합니다.
Kling 3.0에 reference-to-video 없음	v3 라인은 텍스트/이미지/모션 제어만
지원합니다. reference-to-video는 o3 라인에 있습니다:
fal-ai/kling-video/o3/pro/reference-to-video.
접두사가 균일하지 않음	bytedance/*, tripo3d/*, meshy/*, minimax/*,
openai/*는 fal-ai/ 접두사가 없습니다. kling-video, veo3.1, flux-*,
hunyuan-3d, ffmpeg-api는 접두사가 있습니다.

엔드포인트 선택

슬롯	최적	가치 대안
reference→video	bytedance/seedance-2.5/reference-to-video (~$0.473/s @720p)	fal-ai/kling-video/o3/pro/reference-to-video (~$0.112/s)
image→3D	fal-ai/hunyuan-3d/v3.1/pro/image-to-3d ($0.375, 최대 8뷰)	tripo3d/h3.1/image-to-3d ($0.20)
text→3D	fal-ai/hunyuan-3d/v3.1/pro/text-to-3d	tripo3d/h3.1/text-to-3d
리토폴로지	fal-ai/hunyuan-3d/v3.1/smart-topology ($0.75)	tripo3d/tripo/remesh (~75배 저렴)
파트 분할	fal-ai/hunyuan-3d/v3.1/part (FBX만)	tripo3d/tripo/segment
text→image	fal-ai/nano-banana-pro ($0.15 고정)	fal-ai/flux-2-pro ($0.03/MP)

Seedance는 동일한 5초에 대해 Kling o3보다 약 4배 비쌉니다. 다중 참조 정확도(최대 50개의 혼합 이미지/비디오/오디오 참조)에서 그 값을 하며, 단일 스틸로 컨디셔닝할 때는 그 값을 하지 않습니다.

모델 ID와 가격은 변동됩니다. 이 중 어떤 것을 약속하기 전에 fal.ai/models에서 확인하세요.

3D 분기

python mint3d.py --genre <name> --from-stills 4 --retopo --render
python mint3d.py --genre <name> --prompt "a cracked chrome visor" --render

• 먼저 깨끗한 플레이트를 생성하세요. 참조 스틸에서 가져오지 마세요. 엔드포인트의 명시된 입력 요구 사항은 단순 배경, 단일 객체, 객체가 프레임의 50% 이상입니다. 참조 릴은 그 반대입니다(콜라주, 와이드 샷, 여러 주제, 내장 그래픽). 이들은 조각된 노이즈를 생성합니다. 텍스트 → 단일 객체 플레이트 → 메시는 약 $0.15가 추가로 들지만, 사용 가능한 메시와 폐기되는 메시의 차이를 만듭니다.
• 멀티뷰는 각도별 필드로 이름이 지정되며, 리스트가 아닙니다. input_image_url (전면, 필수), 그 다음 back_image_url, left_image_url, right_image_url, left_front_image_url, right_front_image_url, top_image_url, bottom_image_url. input_image_urls나 multi_view 플래그는 없습니다. 이를 임의로 만들면 모든 민트가 작동하는 것처럼 보이면서 단일 뷰로 저하됩니다. 잘못된 각도 레이블은 뷰를 생략하는 것보다 더 나쁩니다. 모델이 이를 신뢰하기 때문입니다.
• GLB를 위치가 아닌 키로 참조하세요. 응답에는 thumbnail PNG와 model_urls 블록, 그리고 model_glb가 함께 있습니다. 첫 번째 URL을 가져오는 것은 키가 재정렬될 때까지만 작동하며, 미리보기 PNG는 정상적으로 다운로드되므로 Blender가 열기를 거부할 때까지 아무런 실패도 발생하지 않습니다.
• PBR 맵을 요청하세요. 없으면 메시가 페인트 칠한 골판지처럼 조명됩니다.
• 리토폴로지하세요. 누군가가 편집하거나 리깅할 경우에 대비하세요. 생성된 메시는 밀도가 높고 혼란스럽습니다.
• 로컬에서 렌더링하여 루프를 닫으세요. 턴테이블이 프레임이 되면 그것은 푸티지이고, 모든 다운스트림 단계는 이미 푸티지를 처리합니다. 그레이딩, 컷팅, 요소로 스크린, 또는 컨디셔닝 참조로 업로드할 수 있습니다. PATH에 바이너리가 있을 때는 Blender를 사용하고, 헤드리스 GL 컨텍스트가 컨테이너에서 가장 흔히 누락되는 것이고 워크스테이션에서만 작동하는 렌더러는 파이프라인의 일부가 아니므로, 종속성이 가벼운 소프트웨어 래스터라이저를 기본값으로 유지하세요.

확인 후에야 신뢰하세요

모든 다른 단계는 결과를 주장합니다. 확인하세요. 그리고 모멘트뿐만 아니라 분포 형태를 확인하세요:

• background — L*10 미만 프레임 비율을 팩의 수치와 비교하세요. 소스 클립이 아닌 참조와 비교하세요: 68% 검정인 생성 소스는 24–55% 대역의 어떤 참조보다 더 검기 때문에, "소스의 검정을 보존하라"는 잘못된 것을 요구하며 마찬가지로 들어올려진 그레이드를 용서합니다.
• chroma_mae — 영역별 a*/b* 오차, 중앙값 사용 (팩의 타겟이 측정된 방식과 일치; 여기서 평균을 사용하면 왜곡에 민감한 통계를 강건한 통계와 비교하여 정의 불일치를 오류로 보고합니다).
• contrast / black_point / white_point
• banding — 점유된 L* 히스토그램 빈 사이의 빈 빈. 총 빈 빈 수를 세는 것은 작동하지 않습니다: 합법적으로 어두운 클립은 빈 하이라이트 빈을 갖습니다.
• cadence — 감지된 평균 샷 길이와 참조의 비교.

단위 함정을 주의하세요: OpenCV는 dtype에 따라 Lab 규칙을 변경합니다. float32에서 L*은 0–100이고 a*/b*는 부호가 있습니다. uint8에서 L*은 0–255이고 a*/b*는 +128 바이어스됩니다. 이 둘을 혼합하면 크로마 오차가 수백 단위로 보고됩니다.

전체 체인

python pipeline.py --genre <name> --refs a.mov b.mov \
  --brief "what happens" --duration 12 \
  --base-video existing.mp4 --out out/FINAL.mp4

mint → distill → (mint3d) → apply → forge → verify. 1~3단계는 캐시되므로, 브리프를 반복해도 측정값이 다시 계산되지 않습니다. --dry-run은 모든 네트워크 호출을 스텁(stub) 처리합니다: 계획, 프롬프트, 트랙 레이아웃, 매니페스트가 모두 실행됩니다.

안티 패턴

하지 말아야 할 것	이유
샷당 하나씩 생성	21% 효율, 12개의 관련 없는 클립
프롬프트에 색상 넣기	작동하지 않는 것으로 측정됨; LUT가 원하는 뉴트럴 베이스에서 멀어짐
컷을 스트림 복사	키프레임 전용 경계가 서브초 리듬을 파괴
기본 비디오를 연속적으로 자르기	원본을 재조립; 모든 컷이 보이지 않음
compose가 오버레이한다고 믿기	불가능; 두 번째 트랙을 거부
compose에 초 단위 보내기	조용히 1000배 짧아짐
MAE만으로 판단	배경 비율 검사 추가

차용된 푸티지에는 캡처 앱의 UI가 포함됩니다

전달된 컷에서 발견된 최악의 단일 결함: 완성된 비디오에 다른 사람의 좋아요 버튼, 조회수 카운터, 댓글 버블이 포함되어 있었습니다. 기본 푸티지가 화면 녹화였기 때문입니다. 항상 소스 푸티지의 전체 프레임을 검사하고, UI 요소가 보이면 자르거나 블러 처리하세요.

버전 기록

• v1: 초기 파이프라인 구현 (pipeline.py, mint3d.py, forge, verify)
• v2: 테이크 기반 생성 추가, 샷당 생성 안티 패턴 문서화
• v3: fal 엔드포인트 제한 사항 문서화, 3D 분기 개선
• v4: Resolve 호환성 추가, 수신증명서 기반 검증 강화