ショート動画ワークスペース
このスキルは、独立してインストールされた short-video-studio プラグインに属しています。グローバルコピーをインストールしたり、iPolloWork のソースリポジトリを変更したりしないでください。
会話とワークスペース
ユーザーは既存の左側の会話で会話します。右側のワークスペースはクリエイティブキャンバスであり、2つ目のチャットではありません。Work の既存のプラグインエントリからプラグインの studio ワークスペースアプリを開いてください。すでに開いている場合は、ipollowork_workspace_app_list_tools を使用してそのツールを検出し、ipollowork_workspace_app_call_tool で呼び出します。ブラウザのURLを推測したり、別のエディタサーバーを起動したりしないでください。
project_readを呼び出します。プロジェクトにはnodes、edges、script、shots、roles、assets、tracks、jobs、exports、および現在のrevisionが含まれます。- 一貫性のあるストーリーを提案し、同じドキュメントを
project_updateで更新します。無関係な作業と現在のリビジョンを保持してください。リビジョン競合が返された場合は、再読み込みして調整します。無条件に上書きしないでください。 - ノードには
id、kind(text、image、video、audio、script、storyboard)、title、prompt、x、y、オプションのassetIdとsettingsが含まれます。ID は文字で始まり、ASCII 英数字、_、-のみを含みます。エッジは{id, from, to}です。キャンバスを整理するためのものであり、それ自体がモデル参照になることはありません。 - ショットは再生順に
{id, title, prompt, narration, duration, assetId?}です。duration は秒単位です。ロールは{id, name, description, assetId?}です。キャラクターの一貫性はプロンプト/参照ワークフローであり、保証されるものではありません。
実際の生成
モデルを選択する前に capabilities を呼び出してください。Work で利用可能/設定されているモデルと、返されたパラメータの選択肢のみを使用します。このプラグインは、LibTV に接続したり、別の API キーを保存したりしません。
イメージノードの settings: model、size、quality。オプションの referenceId(画像編集用)、maskDataUrl(明示的に指定された透明PNGマスク用)。ビデオノードの settings: model、operation、resolution、duration(文字列)、ratio。referenceId(最初のフレーム用)、lastFrameId(最後のフレーム用)、または referenceIds(マルチモーダル参照用)。最初のフレーム、編集、拡張モードでは adaptive 比率を使用します。編集では duration -1 を使用します。style と camera はプロンプトの意図であり、ネイティブの確定的なコントロールではありません。
オーディオノードは、Work で設定された CosyVoice チャンネルを通じて、prompt をナレーションテキストとして、オプションの settings.voice を使用して音声を合成します。サービスは保存された MP3 の長さを測定します。音声を途切れさせずに、別のオーディオトラックに配置してください。これは音楽生成モデルではありません。
ユーザーが生成を依頼した場合にのみ generate を呼び出します。これにより、設定されたプロバイダーに課金される可能性があります。新しい生成を意図する場合は、新しい UUID requestId を渡します。転送結果が不確かな場合は、同じリクエストIDを再利用します。generation_status をクエリします。不確かなタスクを自動的に再送信しないでください。サポートされていないモデル、音楽生成、独自のLibTVサービス、利用できない認可については、シミュレーションせずに説明する必要があります。
ユーザーが選択したローカルメディアは、ワークスペース相対の path を指定して import_asset を介してインポートします。アセットはプロジェクトが所有するコピーになります。Work の検査で長さが利用できないメディアについては、metadata.durationSeconds を指定します。長さをでっち上げたり、最終的なトラックでリモートの有効期限付きURLを使用したりしないでください。生成/インポートされた assets、jobs、exports はサービスによって管理されます。project_update はこれらを作成できません。
編集可能なマルチトラックのハンドオフ
画像/ビデオアセットをショットに割り当て、arrange_shots を実行します。これによりラフカットトラックが置き換えられるため、既存の手動トラック編集を破棄する前に確認を求めてください。元のサウンドはビデオにミックスされず、別のオーディオトラックになります。音楽/音声/SFX は別々のオーディオトラックとして追加します。キャプションは編集可能なテキストとして残ります。
トラックには {id, label, kind, clips} が含まれます。クリップの開始/長さは、プロジェクトの有理数 fps での整数の startFrame/durationFrames を使用します。メディアクリップは source: assets/<登録されたファイル名>、sourceDurationSeconds、sourceStartSeconds、playbackRate、volume を使用します。同じトラック内でのオーバーラップやソースのオーバーランは拒否されます。編集可能なプロジェクトとしてフラットなMP4をハンドオフしないでください。
handoff を呼び出します。結果の absolutePath またはワークスペース相対の path を、左側の会話でクリック可能なローカルファイルリンクとして返し、ユーザーに Work の Video Studio で開くように伝えてください。現在のホストには、ネイティブエディタに直接切り替える汎用プラグインAPIはありません。自動的に切り替わったと主張しないでください。一度ハンドオフされると、ネイティブのHTMLとアセットが編集のソースオブトゥルースになります。古いキャンバスドキュメントからそれらを上書きしないでください。変更されたハンドオフは新しいエンジニアリングファイルを作成します。変更されていないハンドオフを繰り返すと、既存のものが再利用されます。
プロジェクトは、選択されたワークスペースの short-video/<project-id>/ の下にあります。ネイティブのハンドオフは video/<id>/ の下にあります。これらのユーザー作成ファイルは、プラグインのアンインストール後も存続します。パッケージ、スキル、一時的なアップロードデータは、ホストのプラグインライフサイクルによって削除されます。