사용 시기
이 기술은 사용자가 TikTok, YouTube, Instagram에서 비디오 콘텐츠를 검색, 가져오기 또는 분석하려 할 때, 녹화된 회의나 강의를 요약하려 할 때, 비디오 콘텐츠에서 검색 가능한 지식 베이스를 구축하려 할 때, 또는 소셜 미디어 트렌드와 크리에이터를 조사하려 할 때 사용합니다.
비디오 검색 및 분석
설명
이 기술은 AI 에이전트가 Memories.ai의 대규모 시각 메모리 모델(LVMM)을 사용하여 비디오 콘텐츠를 검색, 가져오기 및 분석할 수 있게 해줍니다. 일회성 비디오 분석 도구와 달리, 지속적인 비디오 인텔리전스를 제공합니다. 비디오는 한 번 인덱싱되면 여러 세션에 걸쳐 반복적으로 질의할 수 있습니다. 소셜 미디어 가져오기(TikTok, YouTube, Instagram), 회의 요약, 지식 베이스 구축, 그리고 Memory Augmented Generation(MAG)을 통한 교차 비디오 질의응답을 지원합니다.
개요
이 기술은 21개의 API 명령을 워크플로우 중심 참조 가이드로 래핑하여 에이전트가 필요 시 로드할 수 있도록 합니다. SKILL.md의 라우팅 테이블은 사용자 의도를 올바른 워크플로우에 자동으로 매핑합니다.
이 기술을 사용해야 하는 경우
- URL에서 비디오를 분석하거나 질문할 때 사용
- TikTok, YouTube, Instagram에서 주제, 해시태그 또는 크리에이터별로 비디오를 검색할 때 사용
- 녹화된 회의, 강의 또는 웨비나를 요약할 때 사용
- 비디오 콘텐츠와 텍스트 메모리에서 검색 가능한 지식 베이스를 구축할 때 사용
- 소셜 미디어 콘텐츠 트렌드, 인플루언서 또는 바이럴 패턴을 조사할 때 사용
- AI 비전으로 이미지를 분석하거나 설명할 때 사용
작동 방식
1단계: 의도 탐지
에이전트는 SKILL.md 워크플로우 라우터를 읽고 사용자 요청을 6가지 의도 카테고리 중 하나에 매칭합니다.
2단계: 참조 로딩
에이전트는 적절한 참조 파일(예: 비디오 질문의 경우 video_qa.md, 소셜 미디어 조사의 경우 social_research.md)을 로드합니다.
3단계: 워크플로우 실행
에이전트는 단계별 워크플로우를 따릅니다: 업로드/가져오기 -> 처리 대기 -> 분석/채팅 -> 결과 표시
예시
예시 1: 비디오 질의응답
사용자: "이 비디오의 주요 주장은 무엇인가요? https://youtube.com/watch?v=abc123"
에이전트: 비디오 업로드 -> 처리 대기 -> chat_video를 사용하여 질문 -> 구조화된 요약 표시
예시 2: 소셜 미디어 조사
사용자: "지속 가능한 패션에 대해 TikTok에서 트렌드는 무엇인가요?"
에이전트: search_public을 사용하여 트렌드 비디오 검색 -> 상위 결과 가져오기 -> 콘텐츠 패턴 분석
예시 3: 회의 노트
사용자: "이 회의 녹화본을 요약하고 실행 항목을 추출해 주세요"
에이전트: 녹화본 업로드 -> 대기 -> 대본 획득 -> chat_video를 사용하여 실행 항목이 포함된 구조화된 요약 작성
모범 사례
- 비디오 처리가 완료될 때까지 항상 기다린 후 질의하세요
- 빠른 분석에는 caption_video를 사용하세요(업로드 불필요)
- 심층 다중 턴 분석에는 chat_video를 사용하세요(업로드 필요)
- search_audio를 사용하여 비디오에서 특정 순간이나 인용문을 찾으세요
- memory_add를 사용하여 중요한 결과를 나중에 검색할 수 있도록 저장하세요
일반적인 실수
-
문제: 처리가 완료되기 전에 비디오 질의 해결책: 업로드 후 항상
wait명령을 사용한 다음 분석하세요 -
문제: 빠른 캡션만 필요한데 비디오 업로드 해결책: 일회성 분석에는
caption_video를 사용하고, 반복 질의가 필요한 경우에만 업로드하세요
제한 사항
- 비디오 처리 시간은 길이에 따라 1~5분 소요
- 무료 티어는 100크레딧으로 제한
- 소셜 미디어 가져오기는 공개 콘텐츠에만 가능
- 오디오 검색은 처리된 비디오에서만 작동
관련 기술
- 일회성 분석을 위한 비디오 분석 도구
- 비디오가 아닌 콘텐츠 조사를 위한 웹 검색 기술