视频编辑
AI辅助真实素材编辑。非提示词生成。快速编辑现有视频。
何时激活
- 用户想要编辑、剪辑或结构化视频素材
- 将长录音转化为短视频内容
- 从原始拍摄构建vlog、教程或演示视频
- 为现有视频添加覆盖、字幕、音乐或画外音
- 为不同平台(YouTube、TikTok、Instagram)调整画面
- 用户说“编辑视频”、“剪辑这段素材”、“制作vlog”或“视频工作流”
核心理念
AI视频编辑的有用之处在于:你不再要求它创建整个视频,而是用它来压缩、结构化并增强真实素材。价值不在于生成。价值在于压缩。
管线
Screen Studio / 原始素材
→ Claude / Codex
→ FFmpeg
→ Remotion
→ ElevenLabs / fal.ai
→ Descript 或 CapCut
每一层都有特定任务。不要跳过层。不要试图让一个工具做完所有事。
第1层:素材采集(Screen Studio / 原始素材)
收集源材料:
- Screen Studio:为应用演示、编码过程、浏览器工作流制作的精良屏幕录制
- 原始摄像机素材:vlog素材、采访、活动录制
- 通过VideoDB的桌面录制:带实时上下文的一键录制(参见
videodb技能)
输出:准备整理的原始文件。
第2层:组织整理(Claude / Codex)
使用Claude Code或Codex来:
- 转写和标注:生成转录,识别主题和话题
- 规划结构:决定保留什么、裁切什么、顺序如何
- 识别无效段落:查找停顿、离题、重复镜头
- 生成编辑决策清单:裁切时间戳、保留片段
- 搭建FFmpeg和Remotion代码:生成命令和合成
示例提示词:
“这是一段4小时录音的转录。识别出最精彩的8个片段,用于制作24分钟的vlog。
为每个片段提供FFmpeg裁切命令。”
这一层关乎结构,而非最终创意品味。
第3层:确定性剪辑(FFmpeg)
FFmpeg处理枯燥但关键的劳动:分割、修剪、拼接和预处理。
按时间戳提取片段
ffmpeg -i raw.mp4 -ss 00:12:30 -to 00:15:45 -c copy segment_01.mp4
根据编辑决策清单批量裁切
#!/bin/bash
# cuts.txt: 开始时间,结束时间,标签
while IFS=, read -r start end label; do
ffmpeg -i raw.mp4 -ss "$start" -to "$end" -c copy "segments/${label}.mp4"
done < cuts.txt
拼接片段
# 创建文件列表
for f in segments/*.mp4; do echo "file '$f'"; done > concat.txt
ffmpeg -f concat -safe 0 -i concat.txt -c copy assembled.mp4
创建代理以加快编辑速度
ffmpeg -i raw.mp4 -vf "scale=960:-2" -c:v libx264 -preset ultrafast -crf 28 proxy.mp4
提取音频用于转写
ffmpeg -i raw.mp4 -vn -acodec pcm_s16le -ar 16000 audio.wav
标准化音频电平
ffmpeg -i segment.mp4 -af loudnorm=I=-16:TP=-1.5:LRA=11 -c:v copy normalized.mp4
第4层:可编程合成(Remotion)
Remotion将编辑问题转化为可组合代码。用于传统编辑器难以处理的场景:
何时使用Remotion
- 覆盖:文字、图像、品牌标识、下三分之一标题
- 数据可视化:图表、统计、动画数字
- 运动图形:过渡、讲解动画
- 可组合场景:跨视频可重用模板
- 产品演示:带注释的截图、UI高亮
基本的Remotion合成
import { AbsoluteFill, Sequence, Video, useCurrentFrame } from "remotion";
export const VlogComposition: React.FC = () => {
const frame = useCurrentFrame();
return (
<AbsoluteFill>
{/* 主素材 */}
<Sequence from={0} durationInFrames={300}>
<Video src="/segments/intro.mp4" />
</Sequence>
{/* 标题覆盖 */}
<Sequence from={30} durationInFrames={90}>
<AbsoluteFill style={{
justifyContent: "center",
alignItems: "center",
}}>
<h1 style={{
fontSize: 72,
color: "white",
textShadow: "2px 2px 8px rgba(0,0,0,0.8)",
}}>
AI编辑栈
</h1>
</AbsoluteFill>
</Sequence>
{/* 下一个片段 */}
<Sequence from={300} durationInFrames={450}>
<Video src="/segments/demo.mp4" />
</Sequence>
</AbsoluteFill>
);
};
渲染输出
npx remotion render src/index.ts VlogComposition output.mp4
有关详细模式和API参考,请参见Remotion文档。
第5层:生成资产(ElevenLabs / fal.ai)
仅生成你需要的。不要生成整个视频。
使用ElevenLabs配音
import os
import requests
resp = requests.post(
f"https://api.elevenlabs.io/v1/text-to-speech/{voice_id}",
headers={
"xi-api-key": os.environ["ELEVENLABS_API_KEY"],
"Content-Type": "application/json"
},
json={
"text": "你的解说文字在这里",
"model_id": "eleven_turbo_v2_5",
"voice_settings": {"stability": 0.5, "similarity_boost": 0.75}
}
)
with open("voiceover.mp3", "wb") as f:
f.write(resp.content)
使用fal.ai生成音乐和音效
使用fal-ai-media技能获取:
- 背景音乐生成
- 音效(ThinkSound模型用于视频转音频)
- 过渡音效
使用fal.ai生成图像
用于不存在的插入镜头、缩略图或B-roll素材:
generate(model_name: "fal-ai/nano-banana-pro", input: {
"prompt": "专业缩略图用于技术vlog,深色背景,屏幕上有代码",
"image_size": "landscape_16_9"
})
VideoDB生成式音频
如果已配置VideoDB:
voiceover = coll.generate_voice(text="这里放旁白", voice="alloy")
music = coll.generate_music(prompt="编码vlog的lo-fi背景", duration=120)
sfx = coll.generate_sound_effect(prompt="轻微嗖声过渡")
第6层:最终打磨(Descript / CapCut)
最后一层是人的工作。使用传统编辑器进行:
- 节奏:调整感觉太快或太慢的剪接
- 字幕:自动生成,然后手动清理
- 色彩分级:基本校正与氛围设定
- 最终音频混音:平衡语音、音乐和音效电平
- 导出:平台特定的格式和质量设置
这是品味所在。AI清除重复工作。你做出最终创意决策。
社交媒体画面调整
不同平台需要不同的画面比例:
| 平台 | 画面比例 | 分辨率 |
|---|---|---|
| YouTube | 16:9 | 1920x1080 |
| TikTok / Reels | 9:16 | 1080x1920 |
| Instagram Feed | 1:1 | 1080x1080 |
| X / Twitter | 16:9 或 1:1 | 1280x720 或 720x720 |
使用FFmpeg调整画面
# 16:9 转 9:16(中心裁切)
ffmpeg -i input.mp4 -vf "crop=ih*9/16:ih,scale=1080:1920" vertical.mp4
# 16:9 转 1:1(中心裁切)
ffmpeg -i input.mp4 -vf "crop=ih:ih,scale=1080:1080" square.mp4
使用VideoDB调整画面
# 智能调整(AI引导的主题跟踪)
reframed = video.reframe(start=0, end=60, target="vertical", mode=ReframeMode.smart)
场景检测与自动裁切
FFmpeg场景检测
# 检测场景变化(阈值0.3 = 中等灵敏度)
ffmpeg -i input.mp4 -vf "select='gt(scene,0.3)',showinfo" -vsync vfr -f null - 2>&1 | grep showinfo
静音检测用于自动裁切
# 查找静音片段(用于裁切空场)
ffmpeg -i input.mp4 -af silencedetect=noise=-30dB:d=2 -f null - 2>&1 | grep silence
精彩片段提取
使用Claude分析转录+场景时间戳:
“给定这个带时间戳的转录以及这些场景切换点,
找出5个最适合社交媒体的30秒精彩片段。”
各工具最佳用途
| 工具 | 优势 | 劣势 |
|---|---|---|
| Claude / Codex | 组织、规划、代码生成 | 非创意品味层 |
| FFmpeg | 确定性裁切、批量处理、格式转换 | 无可视化编辑界面 |
| Remotion | 可编程覆盖、可组合场景、可重用模板 | 非开发人员学习曲线高 |
| Screen Studio | 即刻获得精良屏幕录制 | 仅限屏幕捕获 |
| ElevenLabs | 语音、旁白、音乐、音效 | 不是工作流的中心 |
| Descript / CapCut | 最终节奏、字幕、打磨 | 手动操作,不易自动化 |
关键原则
- 编辑,而非生成。 此工作流用于裁切真实素材,而非通过提示词创建素材。
- 先结构,后风格。 在第2层处理好故事之前,不要触及任何视觉元素。
- FFmpeg是骨架。 枯燥但关键。长素材变得可管理的环节。
- Remotion用于可重复性。 如果要做多次,就把它做成Remotion组件。
- 选择性生成。 只对不存在的资产进行AI生成,而不是什么都生成。
- 品味是最后一层。 AI清除重复工作。你做出最终创意决策。
相关技能
fal-ai-media— AI图像、视频和音频生成videodb— 服务端视频处理、索引和流媒体content-engine— 平台原生内容分发
适用场景
AI辅助视频编辑工作流,用于剪辑、结构化和增强真实素材。覆盖从原始素材采集到FFmpeg、Remotion、ElevenLabs、fal.ai,再到Descript或CapCut最终打磨的完整管线。
涵盖:何时激活、核心理念、管线、第3层:确定性剪辑(FFmpeg)、按时间戳提取片段。