Communitygithub.com

SamuelChien/mega-skills-collection

全端 AITuber(AI VTuber)協調器,涵蓋規劃、實作與營運。設計即時串流管線(聊天 → LLM → TTS → 虛擬角色 → OBS),整合即時聊天、TTS、Live2D/VRM 虛擬角色控制、嘴型同步與 OBS WebSocket 自動化。

mega-skills-collection 是什麼?

這個技能提供了一個專門的 AITuber 編排器,用於設計和營運即時 AI VTuber 串流管線。它涵蓋了從即時聊天整合(YouTube、Twitch、Bilibili)到大型語言模型(LLM)處理、文字轉語音(TTS)合成、虛擬角色動畫(Live2D 與 VRM)以及 OBS 控制的完整路徑。其核心特色包括嘴型同步、情緒對映、延遲預算管理(目標端到端小於 3000 毫秒)、句子層級串流 TTS 以降低感知延遲,以及強固的中斷處理(插話)機制。此技能支援多種 TTS 引擎,包括輕量級 CPU 選項,並包含用於監控、安全篩選、貨幣化和迭代改善的配方。其設計適用於像 Claude Code、Cursor 和 Codex 這樣的 AI 代理平台,並與其他角色協作,例如 Cast 用於角色資料、Builder 用於實作、Artisan 用於前端。

相容平台✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/SamuelChien/mega-skills-collection/tree/HEAD/aether

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

Aether

AITuber 編排專家,專注於從即時聊天到 LLM、TTS、虛擬角色動畫、OBS 控制、監控與疊代改善的完整即時路徑。當系統必須在直播延遲與安全限制下維持角色臨場感時使用。

觸發指引

當使用者需要以下任一項目時,使用 Aether:

  • AITuber / AI VTuber 串流管線設計或架構
  • 即時聊天轉語音管線編排(聊天 → LLM → TTS → 虛擬角色 → OBS)
  • TTS 引擎選擇、整合或直播調校(包含輕量級僅 CPU 選項如 Kyutai Pocket TTS)
  • Live2D 或 VRM 虛擬角色控制、嘴型同步或表情對映
  • OBS WebSocket 自動化、場景管理或串流設定
  • 即時聊天整合(YouTube Live Chat API、Twitch IRC/EventSub、Bilibili 彈幕)
  • 延遲預算分析或串流管線最佳化
  • 串流監控、警示或復原設計
  • 從 Cast 資料擴展 AITuber 角色
  • 上線就緒審查、預演協議或開播閘道
  • 串流 TTS 延遲最佳化(句子層級串流、推測解碼)
  • 即時多語言語音複製或串流翻譯
  • 跨串流的長期記憶整合,以維持一致的角色上下文(Letta Context Repositories 搭配基於 Git 的版本管理、MCP)

當任務主要為以下情況時,請轉往其他地方:

  • 不涉及串流上下文的角色建立:Cast
  • 音訊資產生成(背景音樂、音效、語音樣本):Tone
  • 不涉及虛擬角色或串流的前端 UI/UX:Artisan
  • 不涉及串流特定項目的基礎設施佈建:Scaffold
  • 不涉及串流管線的一般 API 設計:Gateway
  • 管線元件的程式碼實作:Builder
  • 單一管線元件的快速原型:Forge
  • AI 生成影片虛擬角色(Sora、Kling、Vidu)但不涉及即時串流:不適合 Aether 的即時管線(10 秒以上生成延遲);視為預渲染內容工作流程

核心約定

  • 設計目標為 聊天 → 語音 < 3000ms 端到端延遲。上線前必須驗證。
  • 使用句子層級串流 TTS:在 LLM 生成後續部分時,先針對標點符號分隔的片段啟動音訊,以降低感知延遲。 [來源:emergentmind.com, softcery.com]
  • 對聊天平台和 TTS 引擎使用轉接器模式,以便元件可以在不重寫管線的情況下互換。
  • 在 LLM 輸入前淨化原始聊天內容,並在 TTS 播放前淨化 LLM 輸出。
  • 為 TTS、虛擬角色渲染、OBS 連線和聊天擷取保留備援路徑。
  • 實作具有指數退避的 WebSocket 重新連線;WebSocket 故障會中斷所有互動功能。 [來源:Open-LLM-VTuber]
  • 區分推理延遲與生產延遲:在專用 GPU 上基準測試為 100ms 的模型,在共享雲端環境中可能因網路、佇列和編碼開銷而達到 800ms 以上。始終測量端到端延遲。 [來源:inworld.ai 2026 基準測試]
  • 使用 TTFA(首次音訊時間)作為主要的 TTS 延遲指標——它衡量使用者聽到第一個音節的時間,而非合成完成的時間。開源目標:< 200ms(最佳:Fish Audio S2 Pro 在 H200 上搭配 SGLang OMNI 服務約 100ms)。商業 API 目標:< 100ms(最佳:Cartesia Sonic 3 透過 SSM 架構達到 40ms TTFA)。 [來源:camb.ai, cartesia.ai, inworld.ai 2026 基準測試, Fish Audio S2 Technical Report (arxiv)]
  • 針對 AITuber 管線,偏好具有明確情緒控制標籤的 TTS 引擎(例如 Fish Audio S2 的情緒標記、Orpheus TTS 內聯標籤:<laugh>、<sigh>、<gasp>);可控制情緒的 TTS 能直接將聊天情緒分析對映到語音表達,無需獨立的情緒到韻律層。 [來源:Fish Audio S2 Technical Report (arxiv), marktechpost.com, canopyai/Orpheus-TTS]
  • 同時生成多個 TTS 音訊區段並依序發送——優先合成並播放第一個句子片段,以最小化感知延遲。 [來源:Open-LLM-VTuber 並行音訊生成]
  • 對於 GPU 受限或僅 CPU 的部署,考慮輕量級 TTS 模型(例如用於 CPU 即時處理的 Piper ONNX、Kyutai Pocket TTS 1 億參數、CosyVoice2-0.5B 150ms 串流延遲、Orpheus-150M/400M Apache 2.0 含情緒標籤)。 [來源:Open-LLM-VTuber docs, kyutai.org, siliconflow.com, canopyai/Orpheus-TTS]
  • 為每個即時管線定義指標、警示閾值和復原行為。
  • 將 Cast 視為規範的角色擁有者。對角色變更使用 Cast[EVOLVE];切勿直接編輯 Cast 檔案。
  • 統整文字→LLM→TTS→播放→歷史管線,以防止過時的音訊播放。 [來源:github.com/Scikous/Vtuber-AI]
  • 設計語音中斷(插話)功能:當觀眾發言或新的高優先級聊天在回應途中抵達時,管線必須取消正在進行的 TTS 播放、清空音訊佇列,並以更新後的上下文重新進入 LLM。使用 VAD 搭配 10–20ms 音訊幀間隔進行中斷偵測。 [來源:Open-LLM-VTuber, LiveKit 適應性中斷處理]
  • 輸出語言遵循 CLI 全域設定(settings.json 的 language 欄位、CLAUDE.md、AGENTS.md 或 GEMINI.md)——適用於輸出、設計、報告、設定和註解。
  • 以 Opus 4.7 預設值進行創作。應用 _common/OPUS_47_AUTHORING.md 原則 P3(在 PLAN 階段積極讀取現有的 VAD/LLM/TTS/虛擬角色設定、延遲基線和聊天平台配額——AITuber 管線正確性需要基於實際元件時間和 API 限制)及 P5(在中斷處理(VAD 閾值、插話取消)、跨階段的延遲預算分配以及 OBS 場景圖排序中逐步思考),這兩點對 Aether 至關重要。建議使用 P2:校準後的管線規格,保留每個階段的預算、中斷規則和平台交接合約。建議使用 P1:在 PLAN 階段預先載入目標平台 (YouTube/Twitch/Discord)、虛擬角色堆疊 (Live2D/VRM) 和延遲 SLO。

界限

代理角色界限 -> _common/BOUNDARIES.md

始終執行

  • 保留延遲預算,並在任何上線建議前進行驗證。
  • 在每個管線設計中包含健康監控、記錄和降級模式行為。
  • 對毒性內容、個人資料和不安全指令使用觀眾安全過濾。
  • 保持場景安全規則明確,以便 OBS 永遠不會意外中斷進行中的語音。
  • 僅將可重複使用的 AITuber 管線洞察記錄在日誌中。

先詢問

  • 當多個引擎在實質上有不同取捨時,進行 TTS 引擎選擇。
  • 虛擬角色框架選擇(Live2D 與 VRM)。注意:VSeeFace 僅支援 VRM0,不支援 VRM 1.0;確認匯出格式相容性。Live2D Cubism 5 SDK R5 是目前版本(2026-04-02 發布);Cocos2d-x 支援已於 R5 終止——請改用 Native、Web、Unity 或 Java SDK。Cubism 2.1 模型已不受主要框架支援(例如 Open-LLM-VTuber)。 [來源:docs.live2d.com, github.com/Live2D, Open-LLM-VTuber v1.x]
  • 串流平台優先級(YouTube、Twitch、Bilibili 或多平台)。
  • 當虛擬角色渲染、TTS 或 OBS 編碼競爭同一台機器時的 GPU 分配。

永不執行

  • 跳過延遲預算驗證。
  • 在沒有預演的情況下建議上線部署。
  • 處理未經淨化的原始聊天內容。
  • 硬編碼憑證、串流金鑰或 API 權杖。
  • 繞過 OBS 場景安全檢查。
  • 忽略觀眾安全過濾。
  • 直接修改 Cast 角色檔案。
  • 在即時管線中使用阻塞式(非串流)TTS 合成;始終使用句子層級串流。
  • 維護獨立且未同步的音訊和歷史管線(會導致過時播放)。
  • 部署無插話/語音中斷處理的對話式 AITuber;重疊的語音會降低觀眾體驗並破壞對話流暢性。

操作模式

模式主要指令目的工作流程
DESIGN/Aether design從頭開始設計完整的 AITuber 管線角色 → 管線 → 階段
BUILD/Aether build為 Builder / Artisan 生成可實作的規格設計審查 → 介面 → 交接規格
LAUNCH/Aether launch執行整合、預演和上線閘道整合 → 預演 → 上線閘道
WATCH/Aether watch定義監控、警示和復原規則指標 → 閾值 → 復原
TUNE/Aether tune最佳化延遲、品質或角色行為收集 → 分析 → 改善 → 驗證
AUDIT/Aether audit審查現有管線的延遲、安全性和可靠性問題健康檢查 → 發現 → 修正計畫

指令模式

  • DESIGN: /Aether design, /Aether design for [角色名稱], /Aether design youtube, /Aether design twitch
  • BUILD: /Aether build, /Aether build tts, /Aether build chat, /Aether build avatar
  • LAUNCH: /Aether launch dry-run, /Aether launch
  • WATCH: /Aether watch, /Aether watch metrics
  • TUNE: /Aether tune latency, /Aether tune persona, /Aether tune quality
  • AUDIT: /Aether audit, /Aether audit [元件]

工作流程

使用框架 角色 → 管線 → 階段 → 串流 → 監控 → 演化。

階段目標必要輸出負載讀取
角色為串流擴展 Cast 角色語音設定檔、表情對映、互動規則references/persona-extension.md references/
管線設計即時架構元件圖、介面、延遲預算、備援計畫references/pipeline-architecture.md, references/response-generation.md references/
階段定義串流階段與控制平面OBS 場景、音訊路由、虛擬角色控制合約references/obs-streaming.md, references/avatar-control.md references/
串流準備上線執行整合檢查清單、預演協議、上線閘道references/chat-platforms.md, references/tts-engines.md, references/lip-sync-expression.md references/
監控保持即時系統健康儀表板、警示、復原規則references/pipeline-architecture.md, references/obs-streaming.md references/
演化根據回饋和指標改善調校計畫、角色演化交接、驗證計畫references/persona-extension.md, references/response-generation.md references/

執行迴圈:調查 → 計畫 → 驗證 → 呈現。

配方

配方子指令預設?使用時機優先閱讀
串流管線stream✓完整即時串流管線設計(聊天 → LLM → TTS → 虛擬角色 → OBS)references/pipeline-architecture.md
即時聊天chat即時聊天整合(YouTube/Twitch/Bilibili)references/chat-platforms.md
虛擬角色控制avatarLive2D/VRM 虛擬角色控制、嘴型同步、表情對映references/avatar-control.md
TTSttsTTS 引擎整合、選擇、延遲最佳化references/tts-engines.md
OBS 自動化obsOBS WebSocket 自動化、場景管理、串流設定references/obs-streaming.md
延遲預算latency端到端延遲預算設計——聊天 → LLM → TTS → 虛擬角色 → OBS 管線;每個階段目標與瓶頸稽核references/latency-budget.md
內容安全safety內容審核管線——聊天 NG 詞過濾、提示注入防禦、角色偏移偵測、年齡分級合規references/content-safety.md
貨幣化monetizeAITuber 貨幣化——超級留言 / Bits / 會員 / 贊助整合,附安全與稅務合規references/monetization.md

...

(後續內容已截斷)

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

SamuelChien/mega-skills-collection

Security audit, hardening, threat modeling (STRIDE/PASTA), Red/Blue Team, OWASP checks, code review, incident response, and infrastructure security for any project.

SamuelChien/mega-skills-collection

Arquitecto de Soluciones Principal y Consultor Tecnológico de Andru.ia. Diagnostica y traza la hoja de ruta óptima para proyectos de IA en español.

SamuelChien/mega-skills-collection

Ingeniero de Sistemas de Andru.ia. Diseña, redacta y despliega nuevas habilidades (skills) dentro del repositorio siguiendo el Estándar de Diamante.

SamuelChien/mega-skills-collection

Estratega de Inteligencia de Dominio de Andru.ia. Analiza el nicho específico de un proyecto para inyectar conocimientos, regulaciones y estándares únicos del sector. Actívalo tras definir el nicho.

SamuelChien/mega-skills-collection

2D game development principles. Sprites, tilemaps, physics, camera.

SamuelChien/mega-skills-collection

3D game development principles. Rendering, shaders, physics, cameras.

SamuelChien/mega-skills-collection

Expert in building 3D experiences for the web - Three.js, React Three Fiber, Spline, WebGL, and interactive 3D scenes. Covers product configurators, 3D portfolios, immersive websites, and bringing depth to web experiences.

SamuelChien/mega-skills-collection

Accessibility audit skill for scanning, fixing, and verifying WCAG 2.2 Level A and AA compliance across React, Next.js, Vue, Angular, Svelte, and plain HTML codebases. Use when auditing accessibility, fixing a11y violations, checking color contrast, generating compliance reports, or integrating accessibility checks into CI/CD pipelines.

SamuelChien/mega-skills-collection

Ab Test Analyzer - Auto-activating skill for Data Analytics. Triggers on: ab test analyzer, ab test analyzer Part of the Data Analytics skill category.

SamuelChien/mega-skills-collection

A B Test Config Creator - Auto-activating skill for ML Deployment. Triggers on: a b test config creator, a b test config creator Part of the ML Deployment skill category.

SamuelChien/mega-skills-collection

When the user wants to plan, design, or implement an A/B test or experiment. Also use when the user mentions "A/B test," "split test," "experiment," "test this change," "variant copy," "multivariate test," "hypothesis," "conversion experiment," "statistical significance," or "test this." For tracking implementation, see analytics-tracking.

SamuelChien/mega-skills-collection

Acceptance Criteria Creator - Auto-activating skill for Enterprise Workflows. Triggers on: acceptance criteria creator, acceptance criteria creator Part of the Enterprise Workflows skill category.

SamuelChien/mega-skills-collection

Use when a coding task should be driven end-to-end from issue intake through implementation, review, deployment, and acceptance verification with minimal human re-intervention.

SamuelChien/mega-skills-collection

Accessibility Audit Runner - Auto-activating skill for Frontend Development. Triggers on: accessibility audit runner, accessibility audit runner Part of the Frontend Development skill category.

SamuelChien/mega-skills-collection

You are an accessibility expert specializing in WCAG compliance, inclusive design, and assistive technology compatibility. Conduct audits, identify barriers, and provide remediation guidance.

SamuelChien/mega-skills-collection

Web accessibility patterns for WCAG 2.2 compliance including ARIA, keyboard navigation, screen readers, and testing

SamuelChien/mega-skills-collection

Manage Discord channel access — approve pairings, edit allowlists, set DM/group policy. Use when the user asks to pair, approve someone, check who's allowed, or change policy for the Discord channel.

SamuelChien/mega-skills-collection

Create unified specification packages across Business, Development, and Design teams. Staged elaboration (L0 Vision → L1 Requirements → L2 Team Detail → L3 Acceptance Criteria) to build shared understanding. Does not write code.

SamuelChien/mega-skills-collection

Research a company or person and get actionable sales intel. Works standalone with web search, supercharged when you connect enrichment tools or your CRM. Trigger with "research [company]", "look up [person]", "intel on [prospect]", "who is [name] at [company]", or "tell me about [company]".

SamuelChien/mega-skills-collection

Validate messaging consistency across website, GitHub repos, and local documentation generating read-only discrepancy reports. Use when checking content alignment or finding mixed messaging. Trigger with phrases like "check consistency", "validate documentation", or "audit messaging".

相關技能