long2short は何をしますか?
あなたは編集者です:瞬間を選び、フックとステッカーを書き、トリミングを判断します。スクリプトは重い処理(文字起こし、シーン検出、追跡、カット、レンダリング)を担当し、ローカルで実行されます。すべては1つのCLIで完結します:
python3 <skill>/scripts/l2s.py [-p PROJECT] <command> ...
<skill> はこのスキルのフォルダです。プロジェクトフォルダ(デフォルトは <video folder>/long2short)には project.json、プロキシ、トランスクリプト、シーンリスト、およびクリップごとのフォルダ(clips/clipNN/)が格納されます。完成したクリップは project.json → out(デフォルトは <video folder>/clips)に出力されます。
要件:macOS(Apple Visionによる追跡、VideoToolboxによる高速ProRes)、ffmpeg、Node(npx HyperFrames)、Xcodeコマンドラインツール(swiftc)、whisper-cli + ggmlモデル(またはpython whisper)。キャプションのタイミング(強制アライメント)はラテン文字言語で動作します。数値は force_align.py でドイツ語に綴られます。他の言語の場合は spell() を拡張してください。
このスキルには、指示とコード以外はバンドルされていません。初めてマシンで実行する際は l2s.py setup を実行してください。これにより、~/.cache/long2short にすべてがダウンロードされます:プライベートPython環境(強制アライメント用のtorch/torchaudio)、CC0効果音、キャプションフォント(Montserrat、OFL)、およびインストールされていない場合はwhisper.cppモデル。さらにApple Visionヘルパーもコンパイルします。その後 l2s.py doctor を実行してください。doctor が不足を報告した場合、再度 setup を実行してください。何か不足している場合は、正確なインストールコマンドをユーザーに表示してください。
1. 動画の準備(動画ごとに1回)
l2s.py init "/path/video.mp4" --lang de
プロキシ、16 kHz音声、単語トランスクリプト(タイムコード付きの transcript.txt)、scenes.json、およびコンタクトシート(sheets/、シーンごとに1フレーム、タイムコード付き)を作成します。長い動画は数分かかります – バックグラウンドで実行し、ユーザーに知らせてください。
頻出する文字起こしエラー(名前、ブランド)を project.json → glossary に追加します({"Air bee and bee": "Airbnb"})。これらは、ワードがクリップにマッピングされるときに自動的に修正されます。
2. 瞬間を選ぶ(あなたの判断)
選択する前に references/editorial.md を読んでください。簡単に言うと:transcript.txt 全体を読み、すべてのコンタクトシートを見て(これが発話のない強力な瞬間 – 機械の作業、動物、大公開 – を見つける方法です)、次にユーザー向けのショートリストを作成します:番号、作業タイトル/フック、ソース範囲、長さ、なぜ効果的なのか。デフォルトの長さは60~90秒(TikTokのクリエイターリワードは1分以上の動画のみ支払い対象)ですが、ユーザーが別の長さを希望する場合はそれに従ってください。ユーザーがレビューを依頼した場合は、その承認を待ってからバッチをレンダリングしてください。それ以外の場合は続行します。
すべてのクリップは単独で成立しなければなりません。 視聴者はこの人物とトピックを初めて見ます。最初の3秒(フックテキスト+冒頭のセリフ)で場所と内容がわかる必要があります(例:「リスボンで…」)。また、クリップは動画の他の部分に依存してはいけません(「この旅の後で」「言ったように」「2つ目」など)。そのようなフレーズの後から開始するか、削除してください。
3. 各クリップの構築
l2s.py -p P plan NN "A-B[,C-D]" [--teaser VS VE AS] [--seed T:CX:CY]
l2s.py -p P words NN # 単語とインデックスを表示 – words_raw.json のテキストを修正
l2s.py -p P align NN [MM ...] # 強制アライメント:正確な単語タイミング(モデルはすべてのクリップで1回ロード)
# clips/clipNN/hf_config.json を記述(references/config.md 参照)
l2s.py -p P finish NN "NN_short-title" # カット -> グラフィック -> レンダリング -> 合成
- 範囲はソースの絶対秒数です。文の境界でカットしてください。
words.jsonの単語タイムを使用します。セグメントは順に結合されます。--teaser(2~3秒の決定的なショットを最初に表示、音声はASから)を使用すると、強力なコールドオープンになります。 - トリミングのレビューはトークンを消費します – 指示されたときだけ見てください。
planはno anomaliesまたはANOMALIESのリストを出力します。その場合のみclips/clipNN/spec.review.jpgを開いてください(黄色の枠 = 9:16ウィンドウ、赤い点 = 追跡対象、シアン色のグリッドは0.1刻み)。 - オブジェクト(ドローン、ロボット、車)は自動では見つかりません。「人物なし」と報告された区間では、グリッドからオブジェクトの位置を読み取り、
--seed T:CX:CY(ソース時間、x、yは0~1)を指定してplanを再実行してください。オブジェクトにスナップして追跡します。 - アライメント前にテキストを修正してください。
words_raw.jsonで誤認識された単語を修正します。意味不明な箇所は、推測せずにキャプションから削除してください(hf_configのdrop)。 - 複数のクリップに対して
alignを1回実行すると時間を節約できます。
4. 納品
短いテーブルで報告してください:クリップ番号、長さ、ファイルパス、フック、およびハッシュタグ付きのすぐに投稿できるキャプション。ユーザーが自分でレビューすると言った場合は、フレームごとにレンダリングを再確認しないでください。中間ファイルは大きいです(clips/clipNN/ 内でクリップあたり約2 GB)。ユーザーが結果を承認した後、削除するオプションを提案してください。
固定スタイル(承認済み – 依頼なしに変更しないでください)
- キャプション:Montserrat Black、大文字、白文字に黒枠、1~3単語、アクティブな単語は黄色
#FFD400で短いポップ効果あり、キーワードは黄色のピル上に表示。下3分の1の水平および垂直中央に配置。単語の0.12秒前に表示。 - フック:上部に黒いピル、アクセント単語は黄色、最初の約3秒。情報ステッカー:上部に黄色いピル+絵文字、フレーム幅に合わせて自動サイズ調整。
- サウンド:クリップあたり5~7種類の微妙な効果音(ポップ、ウィッシュ、インパクト、カチン。CC0、setupでダウンロード)。音楽はなし(音楽はアプリで追加)。ラウドネス−14 LUFS、トゥルーピーク−1 dBTP。
- トリミング:1つの9:16ウィンドウ、スムーズな追跡。ズームパンチインやレターボックス/ぼかし「フィット」レイアウトはなし – 両方試しましたが却下されました(ズームアウトは押しつぶされたように見えました)。
何かおかしい場合は、references/troubleshooting.md を読んでください – これまでに見つかった根本原因(シーンエッジ漏れ、揺れ、キャプションの遅延など)と、スクリプトがそれらをどのように処理するかがリストされています。