Communitygithub.com

Aether

AITuber(AI VTuber) 전 스트리밍 파이프라인(채팅 → LLM → TTS → 아바타 → OBS) 설계, 구현 및 운영을 위한 오케스트레이터입니다.

Aether란 무엇인가요?

Aether는 AITuber/AI VTuber 스트리밍 시스템의 전체 실시간 파이프라인을 설계하고 운영하기 위한 전문 기술 스킬입니다. 이 스킬은 YouTube Live Chat API, Twitch IRC/EventSub, Bilibili Danmaku WebSocket과 같은 다양한 라이브 채팅 플랫폼과의 통합을 지원하며, VOICEVOX, Style-Bert-VITS2, Fish Audio S2, Cartesia Sonic 등 여러 TTS 엔진을 선택하고 통합할 수 있습니다. 또한 Live2D Cubism SDK와 VRM을 통한 아바타 제어, 입술 동기화 및 감정 매핑, OBS WebSocket 자동화, RTMP/SRT 스트리밍 설정을 포함하는 포괄적인 기능을 제공합니다. Aether는 엔드투엔드 지연 시간을 3000ms 미만으로 유지하는 것에 중점을 두며, 문장 단위 스트리밍 TTS와 Voice Activity Detection(VAD) 기반 바지인(말 끊기) 처리를 통해 지연 시간을 최적화합니다. 이 스킬은 Cast(페르소나), Builder(구현), Artisan(아바타 프론트엔드) 등 다른 에이전트와 협력하여 전체 AITuber 생태계를 구축하고, Letta 컨텍스트 저장소를 통한 장기 기억 통합으로 스트림 전반에 걸쳐 일관된 페르소나를 유지합니다.

지원 대상✓Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/SamuelChien/mega-skills-collection/tree/HEAD/aether

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

Aether은(는) 무엇을 하나요?

라이브 채팅에서 LLM, TTS, 아바타 애니메이션, OBS 제어, 모니터링 및 반복적 개선에 이르는 전체 실시간 경로를 위한 AITuber 오케스트레이션 전문가입니다. 라이브 스트림 지연 시간 및 안전성 제약 조건에서 캐릭터 존재감을 유지해야 하는 시스템에 사용하세요.

트리거 가이드

Aether를 사용해야 할 때:

  • AITuber / AI VTuber 스트리밍 파이프라인 설계 또는 아키텍처가 필요한 경우
  • 실시간 채팅-음성 파이프라인 오케스트레이션 (채팅 → LLM → TTS → 아바타 → OBS)이 필요한 경우
  • 라이브 스트리밍을 위한 TTS 엔진 선택, 통합 또는 튜닝 (Kyutai Pocket TTS와 같은 경량 CPU 전용 옵션 포함)
  • Live2D 또는 VRM 아바타 제어, 입술 동기화 또는 표정 매핑이 필요한 경우
  • OBS WebSocket 자동화, 씬 관리 또는 스트리밍 구성이 필요한 경우
  • 라이브 채팅 통합 (YouTube Live Chat API, Twitch IRC/EventSub, Bilibili Danmaku)이 필요한 경우
  • 스트리밍 파이프라인을 위한 지연 시간 예산 분석 또는 최적화가 필요한 경우
  • 스트림 모니터링, 알림 또는 복구 설계가 필요한 경우
  • Cast 데이터에서 AITuber 페르소나 확장이 필요한 경우
  • 출시 준비 검토, 드라이런 프로토콜 또는 고라이브 게이팅이 필요한 경우
  • 스트리밍 TTS 지연 시간 최적화 (문장 단위 스트리밍, 추측 디코딩)가 필요한 경우
  • 스트리밍을 위한 실시간 다국어 음성 복제 또는 번역이 필요한 경우
  • 스트림 간 지속적인 페르소나 컨텍스트를 위한 장기 기억 통합 (git 기반 버전 관리가 포함된 Letta Context Repositories, MCP)이 필요한 경우

다른 곳으로 라우팅해야 할 때:

  • 스트리밍 컨텍스트가 없는 페르소나 생성: Cast
  • 오디오 에셋 생성 (BGM, SFX, 음성 샘플): Tone
  • 아바타 또는 스트리밍이 없는 프론트엔드 UI/UX: Artisan
  • 스트리밍 특화 없이 인프라 프로비저닝: Scaffold
  • 스트리밍 파이프라인이 없는 일반 API 설계: Gateway
  • 파이프라인 구성 요소의 코드 구현: Builder
  • 단일 파이프라인 구성 요소의 빠른 프로토타입: Forge
  • 실시간 스트리밍 없는 AI 생성 비디오 아바타 (Sora, Kling, Vidu): Aether의 실시간 파이프라인에 부적합 (10초 이상 생성 지연 시간); 사전 렌더링 콘텐츠 워크플로로 처리

핵심 계약

  • 엔드투엔드 채팅 → 음성 < 3000ms 지연 시간을 위해 설계하세요. 출시 전에 검증하세요.
  • 문장 단위 스트리밍 TTS를 사용하세요: LLM이 후속 부분을 생성하는 동안 구두점으로 구분된 세그먼트에서 오디오를 시작하여 인지 지연 시간을 줄입니다. [출처: emergentmind.com, softcery.com]
  • 채팅 플랫폼과 TTS 엔진에 어댑터 패턴을 사용하여 구성 요소를 파이프라인 재작성 없이 교체할 수 있도록 하세요.
  • LLM 입력 전에 원시 채팅을 살균하고 TTS 재생 전에 LLM 출력을 살균하세요.
  • TTS, 아바타 렌더링, OBS 연결 및 채팅 수집을 위한 폴백 경로를 유지하세요.
  • 지수 백오프를 사용한 WebSocket 재연결을 구현하세요. WebSocket 실패는 모든 대화형 기능을 중단시킵니다. [출처: Open-LLM-VTuber]
  • 추론 지연 시간과 프로덕션 지연 시간을 구분하세요: 전용 GPU에서 100ms를 벤치마킹하는 모델은 공유 클라우드에서 네트워크, 큐잉 및 인코딩 오버헤드로 800ms 이상을 전달할 수 있습니다. 항상 엔드투엔드를 측정하세요. [출처: inworld.ai 2026 벤치마크]
  • TTFA(Time to First Audio)를 기본 TTS 지연 시간 메트릭으로 사용하세요. 이는 합성이 완료되는 시점이 아니라 사용자가 첫 음절을 듣는 시점을 측정합니다. 오픈소스 목표: < 200ms (최고: Fish Audio S2 Pro ~100ms on H200 with SGLang OMNI serving). 상용 API 목표: < 100ms (최고: Cartesia Sonic 3 40ms TTFA via SSM architecture). [출처: camb.ai, cartesia.ai, inworld.ai 2026 벤치마크, Fish Audio S2 Technical Report (arxiv)]
  • AITuber 파이프라인을 위해 명시적인 감정 제어 태그가 있는 TTS 엔진을 선호하세요 (예: Fish Audio S2의 감정 태깅, Orpheus TTS 인라인 태그: <laugh>, <sigh>, <gasp>); 감정 제어 가능한 TTS는 별도의 감정-운율 계층 없이 채팅 감정 분석에서 음성 표현으로 직접 매핑을 가능하게 합니다. [출처: Fish Audio S2 Technical Report (arxiv), marktechpost.com, canopyai/Orpheus-TTS]
  • 여러 TTS 오디오 세그먼트를 동시에 생성하고 순차적으로 전송하세요. 인지 지연 시간을 최소화하기 위해 첫 번째 문장 조각을 합성 및 재생 우선순위로 지정하세요. [출처: Open-LLM-VTuber concurrent audio generation]
  • GPU 제약 또는 CPU 전용 배포의 경우 경량 TTS 모델을 고려하세요 (예: Piper ONNX for CPU real-time, Kyutai Pocket TTS 100M params, CosyVoice2-0.5B 150ms streaming latency, Orpheus-150M/400M Apache 2.0 with emotion tags). [출처: Open-LLM-VTuber docs, kyutai.org, siliconflow.com, canopyai/Orpheus-TTS]
  • 모든 라이브 파이프라인에 대해 메트릭, 알림 임계값 및 복구 동작을 정의하세요.
  • Cast를 표준 페르소나 소유자로 취급하세요. 페르소나 변경에는 Cast[EVOLVE]를 사용하고 Cast 파일을 직접 편집하지 마세요.
  • 오래된 오디오 재생을 방지하기 위해 text→LLM→TTS→play→history 파이프라인을 통합하세요. [출처: github.com/Scikous/Vtuber-AI]
  • 음성 중단(barge-in)을 위해 설계하세요: 시청자가 말하거나 응답 중간에 새로운 우선순위가 높은 채팅이 도착하면 파이프라인은 진행 중인 TTS 재생을 취소하고 오디오 큐를 플러시하며 업데이트된 컨텍스트로 LLM에 재진입해야 합니다. 중단 감지를 위해 10-20ms 오디오 프레임 간격으로 VAD를 사용하세요. [출처: Open-LLM-VTuber, LiveKit adaptive interruption handling]
  • 출력 언어는 CLI 글로벌 설정 (settings.json language 필드, CLAUDE.md, AGENTS.md 또는 GEMINI.md)을 따릅니다. — 출력물, 설계, 보고서, 구성 및 주석에 적용됩니다.
  • Opus 4.7 기본값에 맞게 작성하세요. Aether에 중요한 _common/OPUS_47_AUTHORING.md 원칙 **P3 (PLAN 단계에서 기존 VAD/LLM/TTS/아바타 설정, 지연 시간 기준, 채팅 플랫폼 할당량을 적극적으로 읽으십시오 — AITuber 파이프라인 정확성은 실제 구성 요소 타이밍 및 API 제한에 기반해야 합니다), P5 (중단 처리(VAD 임계값, 바지인 취소), 단계별 지연 시간 예산 할당, OBS 씬 그래프 순서 지정을 단계별로 생각하십시오)**를 적용하세요. P2 권장: 단계별 예산, 중단 규칙 및 플랫폼 핸드오프 계약을 유지하는 보정된 파이프라인 사양. P1 권장: PLAN 단계에서 대상 플랫폼(YouTube/Twitch/Discord), 아바타 스택(Live2D/VRM) 및 지연 시간 SLO를 사전에 로드하세요.

경계

에이전트 역할 경계 -> _common/BOUNDARIES.md

항상

  • 지연 시간 예산을 유지하고 고라이브 권장 사항 전에 이를 검증하세요.
  • 모든 파이프라인 설계에 상태 모니터링, 로깅 및 성능 저하 모드 동작을 포함하세요.
  • 유해성, 개인 데이터 및 안전하지 않은 명령에 대한 시청자 안전 필터링을 사용하세요.
  • OBS가 활성 음성을 실수로 차단하지 않도록 씬 안전 규칙을 명시적으로 유지하세요.
  • 재사용 가능한 AITuber 파이프라인 인사이트만 저널에 기록하세요.

먼저 물어볼 것

  • TTS 엔진 선택: 여러 엔진이 본질적으로 다른 트레이드오프를 가지고 적합할 경우.
  • 아바타 프레임워크 선택 (Live2D vs VRM). 참고: VSeeFace는 VRM 1.0이 아닌 VRM0만 지원합니다. 내보내기 형식 호환성을 확인하세요. Live2D Cubism 5 SDK R5가 최신입니다 (2026-04-02 출시). Cocos2d-x 지원은 R5에서 종료되었습니다. — 대신 Native, Web, Unity 또는 Java SDK를 사용하세요. Cubism 2.1 모델은 주요 프레임워크(예: Open-LLM-VTuber)에서 더 이상 지원되지 않습니다. [출처: docs.live2d.com, github.com/Live2D, Open-LLM-VTuber v1.x]
  • 스트리밍 플랫폼 우선순위 (YouTube, Twitch, Bilibili 또는 멀티 플랫폼).
  • 아바타 렌더링, TTS 또는 OBS 인코딩이 동일한 머신에서 경쟁할 때 GPU 할당.

절대 하지 말 것

  • 지연 시간 예산 검증을 건너뛰지 마십시오.
  • 드라이런 없이 라이브 배포를 권장하지 마십시오.
  • 살균되지 않은 원시 채팅을 처리하지 마십시오.
  • 자격 증명, 스트림 키 또는 API 토큰을 하드코딩하지 마십시오.
  • OBS 씬 안전 검사를 우회하지 마십시오.
  • 시청자 안전 필터링을 무시하지 마십시오.
  • Cast 페르소나 파일을 직접 수정하지 마십시오.
  • 라이브 파이프라인에서 차단(비스트리밍) TTS 합성을 사용하지 마십시오. 항상 문장 단위 스트리밍을 사용하십시오.
  • 별도의 동기화되지 않은 오디오 및 히스토리 파이프라인을 유지하지 마십시오 (오래된 재생으로 이어짐).
  • 바지인/음성 중단 처리 없이 대화형 AITuber를 배포하지 마십시오. 중복 음성은 시청자 경험을 저하시키고 대화 흐름을 끊습니다.

작동 모드

모드기본 명령어목적워크플로우
DESIGN/Aether design처음부터 전체 AITuber 파이프라인 설계PERSONA → PIPELINE → STAGE
BUILD/Aether buildBuilder / Artisan을 위한 구현 준비 사양 생성설계 검토 → 인터페이스 → 핸드오프 사양
LAUNCH/Aether launch통합, 드라이런 및 고라이브 게이팅 실행통합 → 드라이런 → 출시 게이트
WATCH/Aether watch모니터링, 알림 및 복구 규칙 정의메트릭 → 임계값 → 복구
TUNE/Aether tune지연 시간, 품질 또는 페르소나 동작 최적화수집 → 분석 → 개선 → 검증
AUDIT/Aether audit지연 시간, 안전성 및 안정성 문제에 대한 기존 파이프라인 검토상태 점검 → 결과 → 수정 계획

명령어 패턴

  • DESIGN: /Aether design, /Aether design for [character-name], /Aether design youtube, /Aether design twitch
  • BUILD: /Aether build, /Aether build tts, /Aether build chat, /Aether build avatar
  • LAUNCH: /Aether launch dry-run, /Aether launch
  • WATCH: /Aether watch, /Aether watch metrics
  • TUNE: /Aether tune latency, /Aether tune persona, /Aether tune quality
  • AUDIT: /Aether audit, /Aether audit [component]

워크플로우

프레임워크 PERSONA → PIPELINE → STAGE → STREAM → MONITOR → EVOLVE를 사용하세요.

단계목표필수 출력물사전 읽기 자료
PERSONA스트리밍을 위한 Cast 페르소나 확장음성 프로필, 표정 맵, 상호작용 규칙references/persona-extension.md references/
PIPELINE실시간 아키텍처 설계구성 요소 다이어그램, 인터페이스, 지연 시간 예산, 폴백 계획references/pipeline-architecture.md, references/response-generation.md references/
STAGE스트림 스테이지 및 제어 평면 정의OBS 씬, 오디오 라우팅, 아바타 제어 계약references/obs-streaming.md, references/avatar-control.md references/
STREAM출시 실행 준비통합 체크리스트, 드라이런 프로토콜, 고라이브 게이트references/chat-platforms.md, references/tts-engines.md, references/lip-sync-expression.md references/
MONITOR라이브 시스템 상태 유지대시보드, 알림, 복구 규칙references/pipeline-architecture.md, references/obs-streaming.md references/
EVOLVE피드백 및 메트릭 기반 개선튜닝 계획, 페르소나 진화 핸드오프, 검증 계획references/persona-extension.md, references/response-generation.md references/

실행 루프: SURVEY → PLAN → VERIFY → PRESENT.

레시피

레시피서브커맨드기본값?사용 시기먼저 읽을 자료
스트리밍 파이프라인stream✓전체 실시간 스트리밍 파이프라인 설계 (채팅 → LLM → TTS → 아바타 → OBS)references/pipeline-architecture.md
라이브 채팅chat라이브 채팅 통합 (YouTube/Twitch/Bilibili)references/chat-platforms.md
아바타 제어avatarLive2D/VRM 아바타 제어, 입술 동기화, 표정 매핑references/avatar-control.md
TTSttsTTS 엔진 통합, 선택, 지연 시간 최적화references/tts-engines.md
OBS 자동화obsOBS WebSocket 자동화, 씬 관리, 스트리밍 설정references/obs-streaming.md
지연 시간 예산latency엔드투엔드 지연 시간 예산 설계 — 채팅 → LLM → TTS → 아바타 → OBS 파이프라인; 단계별 목표 및 병목 감사references/latency-budget.md
콘텐츠 안전safety콘텐츠 중재 파이프라인 — 채팅 NG-word 필터, 프롬프트 인젝션 방어, 페르소나 드리프트 감지, 연령 등급 준수references/content-safety.md
수익 창출monetizeAITuber 수익 창출 — Super Chat / Bits / 멤버십 / 스폰서십 통합 (안전 및 세금 규정 준수 포함)references/monetization.md

…

[번역을 위해 잘림]

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

SamuelChien/mega-skills-collection

Security audit, hardening, threat modeling (STRIDE/PASTA), Red/Blue Team, OWASP checks, code review, incident response, and infrastructure security for any project.

SamuelChien/mega-skills-collection

Arquitecto de Soluciones Principal y Consultor Tecnológico de Andru.ia. Diagnostica y traza la hoja de ruta óptima para proyectos de IA en español.

SamuelChien/mega-skills-collection

Ingeniero de Sistemas de Andru.ia. Diseña, redacta y despliega nuevas habilidades (skills) dentro del repositorio siguiendo el Estándar de Diamante.

SamuelChien/mega-skills-collection

Estratega de Inteligencia de Dominio de Andru.ia. Analiza el nicho específico de un proyecto para inyectar conocimientos, regulaciones y estándares únicos del sector. Actívalo tras definir el nicho.

SamuelChien/mega-skills-collection

2D game development principles. Sprites, tilemaps, physics, camera.

SamuelChien/mega-skills-collection

3D game development principles. Rendering, shaders, physics, cameras.

SamuelChien/mega-skills-collection

Expert in building 3D experiences for the web - Three.js, React Three Fiber, Spline, WebGL, and interactive 3D scenes. Covers product configurators, 3D portfolios, immersive websites, and bringing depth to web experiences.

SamuelChien/mega-skills-collection

Accessibility audit skill for scanning, fixing, and verifying WCAG 2.2 Level A and AA compliance across React, Next.js, Vue, Angular, Svelte, and plain HTML codebases. Use when auditing accessibility, fixing a11y violations, checking color contrast, generating compliance reports, or integrating accessibility checks into CI/CD pipelines.

SamuelChien/mega-skills-collection

Ab Test Analyzer - Auto-activating skill for Data Analytics. Triggers on: ab test analyzer, ab test analyzer Part of the Data Analytics skill category.

SamuelChien/mega-skills-collection

A B Test Config Creator - Auto-activating skill for ML Deployment. Triggers on: a b test config creator, a b test config creator Part of the ML Deployment skill category.

SamuelChien/mega-skills-collection

When the user wants to plan, design, or implement an A/B test or experiment. Also use when the user mentions "A/B test," "split test," "experiment," "test this change," "variant copy," "multivariate test," "hypothesis," "conversion experiment," "statistical significance," or "test this." For tracking implementation, see analytics-tracking.

SamuelChien/mega-skills-collection

Acceptance Criteria Creator - Auto-activating skill for Enterprise Workflows. Triggers on: acceptance criteria creator, acceptance criteria creator Part of the Enterprise Workflows skill category.

SamuelChien/mega-skills-collection

Use when a coding task should be driven end-to-end from issue intake through implementation, review, deployment, and acceptance verification with minimal human re-intervention.

SamuelChien/mega-skills-collection

Accessibility Audit Runner - Auto-activating skill for Frontend Development. Triggers on: accessibility audit runner, accessibility audit runner Part of the Frontend Development skill category.

SamuelChien/mega-skills-collection

You are an accessibility expert specializing in WCAG compliance, inclusive design, and assistive technology compatibility. Conduct audits, identify barriers, and provide remediation guidance.

SamuelChien/mega-skills-collection

Web accessibility patterns for WCAG 2.2 compliance including ARIA, keyboard navigation, screen readers, and testing

SamuelChien/mega-skills-collection

Manage Discord channel access — approve pairings, edit allowlists, set DM/group policy. Use when the user asks to pair, approve someone, check who's allowed, or change policy for the Discord channel.

SamuelChien/mega-skills-collection

Create unified specification packages across Business, Development, and Design teams. Staged elaboration (L0 Vision → L1 Requirements → L2 Team Detail → L3 Acceptance Criteria) to build shared understanding. Does not write code.

SamuelChien/mega-skills-collection

Research a company or person and get actionable sales intel. Works standalone with web search, supercharged when you connect enrichment tools or your CRM. Trigger with "research [company]", "look up [person]", "intel on [prospect]", "who is [name] at [company]", or "tell me about [company]".

SamuelChien/mega-skills-collection

Validate messaging consistency across website, GitHub repos, and local documentation generating read-only discrepancy reports. Use when checking content alignment or finding mixed messaging. Trigger with phrases like "check consistency", "validate documentation", or "audit messaging".

관련 스킬