Communitygithub.com

The-AIOS/aios

실제로 비디오/오디오 소스를 시청하거나 듣고 그 내용을 컨텍스트에 유지하여 질문에 답하고, 요약하고, 인용문을 추출하거나, 내용에 따라 행동할 수 있게 해줍니다. 파일링 파이프라인이 아닌 빠른 이해 행위입니다. Claude가 직접 발견할 수 없는 로컬 미디어 훅(hooks/transcribe.py 및 hooks/video-watch.py)을 다룹니다.

aios란 무엇인가요?

이 스킬은 사용자가 공유한 비디오 또는 오디오 소스의 *내용*과 실제로 상호작용할 수 있게 해주는 AI 어시스턴트를 위한 도구입니다. 단순히 파일을 저장하는 파이프라인이 아니라, 세션 내에서 이해를 유지하여 요약, 인용, 특정 질문에 대한 답변, 시연에서 코드 추출 등 즉각적인 작업을 수행하는 데 중점을 둡니다. macOS/Apple Silicon에서 작동하는 두 가지 핵심 훅을 제공합니다: 하나는 긴 형식의 오디오를 기기 내에서 텍스트로 변환하는 'hooks/transcribe.py'이고, 다른 하나는 'hooks/video-watch.py'로, 이는 시각적 채널(슬라이드, 코드, 다이어그램)을 분석하여 일반적인 자막이 놓치는 정보를 포착합니다. 이 스킬은 사용자가 '이 영상 봐줘', '요약해줘', 'X 언급하나?' 등의 요청을 할 때 활성화되며, 작업 전에 예상 소요 시간을 알리고 문서는 다른 전용 스킬로 처리하도록 안내합니다.

지원 대상✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/The-AIOS/aios/tree/HEAD/skills/aios/watch-video

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

비디오 감상 — 보관이 아닌 이해

누군가 비디오를 공유하고 그에 대해 물어봅니다. 두 개의 훅이 이를 가능하게 하며, 어느 것도 자체적으로 발견될 수 없습니다 — 훅에는 의미론적 일치가 없으므로, "이거 봐"라는 요청을 받은 세션은 아무것도 찾지 못하고 즉흥적으로 처리합니다. 이 격차가 바로 이 스킬이 존재하는 이유입니다.

경계 — 먼저 읽으세요

이 스킬은 봅니다. 보관하지 않습니다. 그 출력물은 세션에 유지되는 이해이며, 저장소 아티팩트가 아닙니다. 노트, 머리말, 상호 링크, _index 업데이트, 작업 항목 라우팅이 없습니다. 작업 파일은 임시 경로(/tmp)로 이동하며, 절대 vault/로 가지 않습니다.

/aios:ingest는 파일링 파이프라인입니다 — 소스를 영구적이고 연결된 저장소 노트로 전환하는 것이 의도적인 행위이자 규칙을 따르도록 하기 위해 정확히 존재합니다. 운영자가 원한다면 인계하세요 ("이것을 /aios:ingest로 보내서 reflections/ingests/에 상호 링크와 함께 저장할까요?") — 여기서 절반만 구현하지 마십시오. 두 개의 경로, 하나의 경계, 중복 없음.

실행의 형태는 다음과 같습니다: 컨텍스트에 넣기 → 요청된 작업 수행 → 가정하지 말고 제안하기. 요청이 개방형이라면(질문 없이 "이거 봐"), 보고 나서 두세 줄로 무엇인지 말하고 무엇을 원하는지 물어보세요. 아무도 요청하지 않은 결과물을 만들어내지 마십시오.

어떤 도구 — 실제 결정

소스사용 도구이유
문서 (PDF, docx, 프레젠테이션, 시트)MarkItDown 또는 document-skills이 스킬의 작업이 아닙니다. 해당 도구들은 이미 의미론적으로 일치합니다.
긴 오디오/비디오, 오디오만으로 충분한 경우hooks/transcribe.pyMarkItDown은 오디오를 Google Web Speech에 단일 샷으로 전송합니다. 한 문장에는 괜찮지만 49분 인터뷰에는 쓸모없습니다.
YouTube, 오디오만으로 충분한 경우MarkItDown 자막 우선녹취록을 만드는 것보다 훨씬 빠릅니다. 자막이 없거나 형편없을 때 transcribe.py로 대체합니다.
화면이 신호를 전달하는 경우녹취록 위에 hooks/video-watch.py녹취록은 모든 프레임(슬라이드, 코드, 다이어그램, 터미널, 차트, 화면 텍스트)을 버립니다.

화면이 신호를 전달하는 경우는 소스가 슬라이드가 있는 강연, 스크린캐스트, 코드 워크스루, 도구 데모, 다이어그램이 있는 강의, 또는 "여기 보시는 것처럼"이라는 말이 당신을 눈멀게 하는 모든 것입니다. 의심스러우면 물어보세요 — 시각적 패스는 실제 시간이 소요됩니다.

명령어

# 녹취록 기반 (기기 내: ffmpeg → mlx-whisper large-v3-turbo, 길이 제한 없음)
python3 ~/aios/hooks/transcribe.py <파일-또는-URL> /tmp/watch-transcript.txt

# 시각적 채널, 녹취록 위에 레이어링 — 절대 녹취록을 대체하지 않음
python3 ~/aios/hooks/video-watch.py <파일-또는-URL> \
  --transcript /tmp/watch-transcript.txt --reader ocr --code

리더 선택은 유일하게 실제로 중요한 플래그 결정입니다:

  • --reader ocr — Apple Vision을 통해 화면의 텍스트를 그대로 추출합니다. 슬라이드, 코드, 터미널, 정확히 인용해야 하는 모든 것의 기본값입니다. 프레임에 코드가 포함된 경우 --code를 추가하십시오.
  • --reader vlm — Claude Vision이 각 프레임을 설명합니다. 다이어그램, 차트, 아키텍처, UI — 글자 그대로의 텍스트보다 구조가 중요할 때 사용합니다.
  • --reader both — 정확한 단어 와 그림의 의미가 모두 필요할 때 사용합니다. 프레임당 비용이 약 두 배가 됩니다.

다른 모든 것(--scene-threshold, --max-frames, --sample-every, --max-width, --phash-threshold)은 적절한 기본값이 있습니다. 첫 번째 패스가 눈에 띄게 너무 드물거나 너무 시끄러울 때만 건드리십시오. --help에 목록이 있습니다.

플랫폼 현실 — 명시하고, 부딪히지 마십시오

두 훅 모두 macOS / Apple Silicon 전용입니다 (mlx-whisper, hooks/ocr-image.swift를 통한 Apple Vision). Linux나 Windows에서는 이를 말하고 MarkItDown으로 대체하십시오. MarkItDown은 크로스 플랫폼에서 YouTube 자막과 짧은 오디오를 처리합니다. 운영자가 명령 실패를 지켜보며 이것을 배우게 하지 마십시오.

시간을 소모하기 전에 기대치를 설정하십시오

긴 녹음을 녹취하고 프레임을 읽는 것은 몇 초가 아니라 몇 분이 걸립니다. 시각적 패스가 포함된 45분 강연은 이 스킬에서 가장 무거운 작업입니다. 미리 예상 시간을 말하고 확인받으십시오, 특히 시각적 패스의 경우. 일반적으로 무차별 대입보다 나은 두 가지 저렴한 방법:

  • 항상 먼저 녹취록을 만드십시오. 그것이 의미론적 기둥이고, 더 빠르며, 종종 질문에 바로 답을 줍니다. 그러면 시각적 패스가 필요 없습니다.
  • 요청이 좁은 경우 ("그녀가 가격을 언급하나요?"), 전체를 다시 읽는 대신 녹취록을 검색하십시오.

알아둘 만한 실패 모드

  • 녹취록은 비디오가 아닙니다. 운영자가 보여지는 것에 대해 묻는다면, 그것을 언급하지 않는 깔끔한 녹취록은 부재의 증거가 아닙니다. 잘못된 도구를 사용한 것입니다. 시각적 패스를 실행하거나 아직 답할 수 없다고 말하십시오.
  • YouTube 자막은 자동 생성되어 틀릴 수 있습니다 (이름, 전문 용어, 숫자). 인용문이 중요하다면, 출처를 밝히기 전에 transcribe.py로 확인하십시오.
  • 읽지 않은 것을 인용하지 마십시오. 프레임은 장면 변경 시 샘플링되고 중복 제거되므로, 시각적 패스는 샘플이지 완전한 기록이 아닙니다. 주장이 하나의 프레임에 근거한다면, 해당 타임스탬프가 무엇인지 말하십시오.
  • 임시 파일은 임시 파일입니다. 작업이 끝나면 /tmp/watch-*를 정리하거나, 어디에 남겼는지 말하십시오. 절대 vault/에 쓰지 마십시오.

인계

자료가 보관할 가치가 있는 것으로 판명되면:

  • 제대로 파일링하십시오 → /aios:ingest (reflections/ingests/에 저장, {source}-{slug} 이름 지정, 머리말, 상호 링크, 프로젝트 할 일로 라우팅된 작업 항목).
  • 프로젝트 상태를 변경한 경우 → 그렇게 말하고 해당 프로젝트 노트를 업데이트하겠다고 제안하십시오.
  • 지속적인 통찰력을 생성한 경우 → 그것은 무언가를 보는 것의 부작용이 아니라, 일반적인 세션 종료 경로를 통해 저장소에 속합니다.

보는 것은 저렴하고 반복 가능합니다. 파일링은 결정입니다. 둘을 분리하십시오.

관련 스킬