短视频工作台 是做什么的?
此技能属于独立安装的 short-video-studio 插件。请勿安装全局副本或修改 iPolloWork 源代码仓库。
对话与工作台
用户在左侧现有对话中进行交流。右侧工作台是创意画布,而非第二个聊天窗口。通过 Work 现有的插件入口打开插件的 studio 工作台应用。如果已经打开,使用 ipollowork_workspace_app_list_tools 发现其工具,并通过 ipollowork_workspace_app_call_tool 调用它们。请勿猜测浏览器 URL 或启动其他编辑器服务器。
- 调用
project_read。项目包含nodes、edges、script、shots、roles、assets、tracks、jobs、exports以及当前的revision。 - 提出连贯的故事构想,并使用
project_update更新同一文档。保留无关工作与当前修订版本。如果返回版本冲突,重新读取并调和;请勿盲目覆盖。 - 节点具有
id、kind(text、image、video、audio、script、storyboard)、title、prompt、x、y,可选的assetId和settings。ID 以字母开头,仅包含 ASCII 字母、数字、_或-。边为{id, from, to},用于组织画布,但本身不是模型引用。 - 镜头为
{id, title, prompt, narration, duration, assetId?},按播放顺序排列。持续时间为秒。角色为{id, name, description, assetId?}。角色一致性是提示词/参考工作流程,而非保证。
实际生成
在选择模型前先调用 capabilities。仅使用 Work 中可用/配置的模型,且仅使用返回的参数选项。插件既不连接 LibTV,也不存储其他 API 密钥。
图片节点 settings:model、size、quality;可选的 referenceId 用于图片编辑,maskDataUrl 用于显式提供的透明 PNG 蒙版。视频节点 settings:model、operation、resolution、duration(字符串)、ratio;referenceId 用于首帧,lastFrameId 用于尾帧,或 referenceIds 用于多模态引用。首帧、编辑和扩展模式使用 adaptive 比例;编辑模式使用 duration -1。style 和 camera 属于提示词意图,而非原生确定性控制。
音频节点通过 Work 配置的 CosyVoice 通道合成语音,使用其 prompt 作为旁白文本,以及可选的 settings.voice。该服务会测量已保存的 MP3 时长;将其放在单独的音频轨道上,不截断语音。这不是音乐生成模型。
仅在用户要求生成时调用 generate。它可能向已配置的提供商收费。为新的预期生成传递一个全新的 UUID requestId;在不确定的传输结果后重用相同的请求 ID。查询 generation_status;切勿自动重新提交不确定的任务。不支持的模型、音乐生成、专有 LibTV 服务以及不可用的授权均应解释说明,而非模拟。
通过 import_asset 导入用户选择的本地媒体,需提供工作台相对路径 path。素材会成为项目拥有的副本。对于无法通过 Work 检查获得时长的媒体,提供 metadata.durationSeconds。不要在最终轨道中使用虚构的时长或远程过期 URL。生成的/导入的 assets、jobs 和 exports 由服务维护;project_update 无法创建它们。
可编辑的多轨道移交
将图像/视频素材分配到镜头,然后调用 arrange_shots。这步操作会替换粗剪轨道,因此在丢弃现有手动轨道编辑前请先征询用户同意。原始声音会变成单独的音频轨道,而非混入视频。将音乐/语音/音效添加为单独的音频轨道;字幕保持可编辑文本。
轨道包含 {id, label, kind, clips}。片段的开始/持续时间使用项目有理数 fps 下的整数 startFrame/durationFrames。媒体片段使用 source: assets/<registered filename>、sourceDurationSeconds、sourceStartSeconds、playbackRate、volume。同一轨道内的重叠以及素材源超时会被拒绝。切勿以扁平化的 MP4 作为可编辑项目进行移交。
调用 handoff。将返回的 absolutePath 或工作台相对路径 path 作为可点击的本地文件链接展示在左侧对话中,并告知用户在 Work 的 Video Studio 中打开。当前主机没有能直接切换到原生编辑器的通用插件 API;请勿声称它会自动切换。移交后,原生 HTML 和素材即为编辑的权威来源。切勿使用较旧的画布文档覆盖它们。更改过的移交会创建新的工程文件;未更改的重复移交会重用现有的工程文件。
项目位于所选工作台的 short-video/<project-id>/ 目录下;原生移交文件位于 video/<id>/ 目录下。这些用户创建的文件在插件卸载后仍然保留。包、技能和临时上传数据会随主机的插件生命周期移除。