CutPilot AI 视频编辑
CutPilot 是一个本地优先、Codex 优先的编辑工作流程,并嵌入了手动审查时间线。Codex 根据用户的简报、旁白、元数据和联系表做出编辑决策;CutPilot 工具使这些决策可重复且可渲染,同时用户可以直接调整支持的时间线细节。
工作流程
- 在用户提供的文件夹上调用
inspect_media_folder。不要上传原始文件。 - 读取返回的清单,并在视觉选择重要时检查生成的联系表图像。
- 根据用户的命名或指令识别旁白文件。仅询问无法推断的创意选择。
- 检查联系表,然后使用事实性的视觉描述和标签调用
annotate_assets。不要猜测未见内容。在重大资产更改后构建build_semantic_index。 - 对于精确的资产、场景子剪辑和转录区间,优先使用
search_semantic_assets。当用户希望减少重复时,在avoidAssetIds中传递已使用的资产 ID。仅将rank_assets_for_narration作为轻量级后备方案使用。 - 制定一个包含频繁、语义匹配镜头的剪辑计划。每个视觉剪辑需要源路径、时间线起始点、源起始点和持续时间。除非用户要求或重复有明确的编辑目的,否则永远不要重复使用同一个镜头。
- 在昂贵的渲染之前,总结提议的结构并获得批准,除非用户明确要求端到端运行。
- 在批准后调用
render_project。交付 MP4 以及 JSON 项目文件。
编辑默认设置
- 将视觉与口语含义匹配:提到代码时显示代码,提到婚礼工作时显示婚礼镜头,提到工厂叙事时显示工厂细节。
- 优先使用更多有目的的剪辑,而不是长时间保持一个通用剪辑。
- 将旁白作为主要音频保留,并静音 B-roll,除非用户要求自然声音。
- 除非用户另有指定,否则使用 9:16、1080x1920、30fps 用于垂直社交媒体视频。
- 保持原始文件不变。
项目优先的工作流程
为了实现持久的编辑,优先使用 v0.2 项目工具:
create_projectimport_assetsinspect_media_folderedit_timelinevalidate_projectread_project- 当需要转录时间时,使用
transcribe_asset。如果模型不可用,使用download_transcription_model一次。 - 当请求字幕时,使用
set_captions和export_subtitles。 - 在用户批准剪辑后调用
render_project。 - 使用
edit_item_effects和set_transition进行非破坏性剪辑样式设置。 - 使用
create_motion_graphic/update_motion_graphic进行可编辑的标题、下方三分之一和信息卡片。 - 使用
generate_voiceover进行私有 macOS TTS,或使用register_generated_asset保留由外部生成器创建的媒体的来源。 - 在重大自动修订之前调用
create_project_snapshot。当用户想要比较或撤销某个方向时,使用list_project_snapshots和restore_project_snapshot。 - 对于 Vlog 项目,调用
get_vlog_workflow_status以找到第一个未完成的、有证据支持的阶段及其推荐的下一步工具。 - 使用
submit_vlog_release_export进行最终 MP4 导出。它始终重新运行严格的预检,并在存在阻塞问题时拒绝导出。 - 在渲染后,调用
inspect_rendered_video并视觉检查其联系表。将黑屏/冻结片段警告视为线索,而不是自动编辑失败。 - 使用
export_interchange配合fcpxml用于 Resolve/Final Cut,或edl用于简单的初级视频交接。 - 对每个请求的图像/视频/音乐/SFX 使用
submit_generation一次。使用track_generation获取状态和实现;在用户审查之前不要放置生成的结果,如果生成需要付费。 - 使用
edit_item_transform进行显式位置、大小、旋转、适配以及入场/出场/浮动动画。检查多个帧,以免瞬时运动被误认为是布局错误。 - 使用
create_motion_graphic_from_svg进行直接创作的、属性驱动的图形。声明每个{{property}},保持外部资源不在 SVG 中,并使用update_svg_motion_graphic进行后续的文本/颜色/源更改。 - 使用有序的变换关键帧进行有意的 x/y/旋转编排。仅在连续相邻剪辑边界使用
cross-dissolve,并检查过渡之前、期间和之后的帧。 - 当用户想要检查或手动调整 AI 编辑时,使用真实的项目和最新预览调用
open_review_session,然后在 Codex 中打开其 localhost URL。当实时页面不再需要时,使用close_review_session关闭它。 - 审查 UI 写入是真实的项目编辑。它们自动创建快照,并拒绝无效的时间、不透明度、重叠、过期令牌和格式错误的媒体范围。
- 使用
split_item或razor_all_tracks进行源连续剪辑。使用trim_item进行边界更改,使用ripple_delete_item删除时间,使用insert_timeline_gap打开时间,同时通过自动拆分保留交叉媒体。 - 在审查 UI 中,用户可以拖动剪辑主体、拖动修剪手柄、在播放头处拆分、应用波纹删除、插入全局间隙、设置出站过渡,并检查真实的生成波形。
- 过渡选择包括淡入淡出、淡入黑、交叉溶解、四种方向擦除、径向揭示和四种方向滑动。仅在连续相邻剪辑边界使用高级过渡,并验证中间帧。
- 命名的生成桥使用
MYCUT_SEEDANCE_ENDPOINT、MYCUT_KLING_ENDPOINT、MYCUT_MUREKA_ENDPOINT或MYCUT_SFX_ENDPOINT,以及匹配的可选_TOKEN变量。它们保留提交/状态/实现语义;除非该端点实际配置并调用,否则不要声称已实时测试过付费供应商。 - 使用
edit_item_keyframes进行 x/y/缩放/旋转/不透明度动画。缓动存储在左侧关键帧上,可以是线性、缓入、缓出、缓入缓出、保持或自定义贝塞尔 Y 控制。验证多个渲染时间。 - 使用
list_glsl_presets和apply_glsl_preset获取内置 WebGL 效果,或使用类型为glsl的edit_item_effects获取直接创作的片段源代码。保持u_texture、u_time、u_progress和u_resolution声明与 WebGL1 兼容,并验证编译后的渲染。 - 使用
create_jsx_motion_graphic获取帧驱动的 React 组件,并使用update_jsx_motion_graphic进行后续的源/Props 更改。定义MotionGraphic;提供 React 和 frame/fps/progress/dimensions。验证透明度和多个帧。 - 使用
export_interchange配合premiere-xml用于 Premiere Pro,fcpxml用于 Final Cut/Resolve,或edl用于简单的剪辑列表。使用import_fcpxml或import_premiere_xml从本地 NLE XML 创建新的 CutPilot 项目,然后验证并渲染检查导入的时间线。 - 仅当用户接受实验性传统纯文本兼容性时,才使用
export_jianying_draft。始终报告现代 Jianying 草稿是加密/版本依赖的,并调用validate_jianying_draft;从不声称应用打开兼容性,除非成功启动目标应用。 - 使用
list_caption_templates和update_caption_style获取丰富的字幕。仅当存在单词时间戳时启用karaoke,然后在刻录渲染中验证几个单词间隔。 - 使用
edit_item_playback获取 0.1x-16x 恒定速度、可编辑速度曲线、反向或视频冻结帧。曲线点使用剪辑本地时间线时间加上速率和缓动;时间线持续时间保持不变,而积分曲线确定源跨度。音频遵循相同的曲线,并带有保留音高的分段时间拉伸。 - 使用
edit_item_effects获取有序的非破坏性视觉堆栈。chroma-key移除选定的 RGB 颜色,带有相似度/混合控制;mask支持矩形/椭圆几何、羽化和反转;color-grade、curves和vignette提供局部修饰。针对较低视频轨道验证透明度,并检查中心/边缘/角落像素。 - 使用
edit_item_audio_effects获取有序的每剪辑音频处理。语音清理通常从高通、门控、均衡、压缩和去咝声开始;立体声和音高是创意工具。音高保留时间线持续时间。在报告成功之前,测量实际渲染的频谱、RMS/峰值动态和左/右能量。 - 当用户想要处理旁白、音乐混音、播客或无需视频的音频交接时,使用
render_audio。选择 24 位 WAV 或 FLAC 进行无损延续,MP3 用于广泛交付,M4A 用于紧凑的 AAC 交付;验证导出的文件不包含视频流。 - 使用
list_timelines、create_timeline、duplicate_timeline、activate_timeline、rename_timeline和delete_timeline管理共享一个资产库的单独长、短、垂直或方形序列。永远不要删除最后一条时间线。 - 在
render_project或render_audio上使用set_timeline_in_out和range: zone获取精确的选定导出范围。范围切片保留源映射、速度曲线、字幕、标记和音频时间,而无需修改源序列。 - 使用
export_motion_graphic将 SVG 或 JSX/React Motion Graphic 作为独立的透明 ProRes 4444 MOV 交付。验证 4444 配置文件和yuva阿尔法像素格式。 - 使用
read_transcript_edit检查定时转录片段,然后使用apply_transcript_sequence重新排序或省略源片段。这会从精确的源范围重建链接的 talking-head 视频/音频和单词字幕;不要发明近似的片段时间。 - 使用
create_asset_bin、move_asset_bin、assign_assets_to_bin和list_asset_library组织搜索本地媒体,无需移动源文件。在渲染导入或移动的项目之前,使用scan_missing_assets。 - 使用
relink_asset进行显式替换,或使用relink_missing_from_folder进行精确文件名批量恢复。永远不要在模糊匹配中猜测;保留资产 ID,以便每条时间线引用、转录、注释、标签、bin 和生成记录保持完整。 - 正常项目保存会自动进入持久化的 100 步编辑器日志。使用
editor_history_status、undo_project和redo_project进行即时编辑撤销;在撤销后的新编辑会清除重做分支。为持久的里程碑保留命名快照。 - 使用
set_timeline_format配合 16:9、9:16、1:1、4:3 或 3:4 更改可编辑画布。当现有的像素定位变换、关键帧、蒙版和字幕应适应新画布时,优先使用layoutMode: scale。 render_project接受非破坏性的resolution(original、1080p、720p、480p)和frameRate(24-60)。验证实际的 FFprobe 尺寸和帧率;这些输出覆盖不得改变可编辑的源序列。- 使用
create_track、rename_track、reorder_track、edit_track和delete_track进行显式轨道生命周期。轨道顺序决定视频合成顺序;静音视频隐藏,静音音频静音,锁定轨道拒绝编辑。 - 以帧为单位配置
set_timeline_snapping。使用snap_timeline_time预览引导,或使用move_item/捕捉的trim_item与剪辑边缘、标记、入/出、播放头或时间线起始对齐。永远不要强制捕捉超出容差或进入重叠。 - 使用
set_edit_context获取精确的 ChatCut 风格引用到资产、时间线项目、时间线时间、画布区域或转录源范围。在行动之前调用resolve_edit_context,以便 AI 决策绑定到真实 ID 和定时对象。选择更改在本地持久化,但有意不进入撤销/重做。 - 当已知场景适合时,使用
list_project_starters和create_project_from_starter开始新工作。Starters 创建真实的命名轨道、路由角色、bin、字幕、捕捉、保存的创意简介和推荐的工作流程。仅在所有时间线为空时才使用configure_project_starter;永远不要用 starter 覆盖编辑过的序列。 - 使用
place_asset_on_timeline进行源监视器组装。设置精确的源入/出和兼容的目标轨道。append使用目标轨道结束;insert在每条未锁定轨道上打开时间并移动字幕/标记;overwrite仅更改目标范围,同时保留源连续的左/右剩余部分。 - 当摄像机/视频资产的原始音频应保持同步时,使用
place_linked_av。链接成员共享linkGroupId;使用move_linked_group和trim_linked_group进行原子级同步安全编辑,或在有意的独立调整前使用unlink_timeline_items。拒绝冲突和锁定成员,而不是不同步它们。 - 对于长时间或用户可见的导出,优先使用
submit_export_job,以便 Codex 保持响应。轮询read_export_job或list_export_jobs;报告确切阶段和输出路径,并仅在被要求时使用cancel_export_job。作业从不可变的项目快照渲染,因此后续时间线编辑无法静默更改正在进行的导出。 - 在提出删除暂停之前,使用
analyze_asset_silence。显示检测到的静音范围、阈值、最小持续时间、呼吸边缘填充和总删除时间。仅在范围被接受后调用apply_silence_cut;它会重建源连续的链接 AV 并重新映射转录字幕。永远不要将每个安静的段落视为编辑上可丢弃的。 - 当镜头边界重要时,在长 B-roll 或摄像机文件上使用
analyze_asset_scenes。在save_scene_subclips之前检查其剪辑时间和联系表;然后注释/标记子剪辑或使用list_asset_subclips搜索它们。使用place_asset_subclip保留精确检测到的源入/出,而不是近似镜头范围。 - 使用
analyze_asset_beats在剪辑节奏编辑之前检查本地音乐。在save_beat_markers之前查看 BPM、节拍位置、灵敏度和最小间隔。构建...
...(截断以供翻译)