Communitygithub.com

signal-lab-apify-tools

Signal Lab의 집중화된 Apify 데이터 API 또는 공식 MCP 도구를 사용하여 YouTube 자막, 웹사이트-마크다운 RAG 수집, 채용 공고 추출, Amazon 가격 추적, Google 자동 완성 조사, Reddit 조사, 식당 메뉴 추출을 수행합니다. 에이전트가 이러한 공개 데이터 워크플로 중 하나가 필요할 때, 스크래핑 기능을 임의로 만들지 않고 제한적이고 정확한 Apify 또는 MCP 경로를 선택해야 할 때 사용하세요.

signal-lab-apify-tools란 무엇인가요?

이 스킬은 특정 공개 데이터 워크플로를 위한 라우팅 스킬입니다. 에이전트가 임의로 스크래핑 기능을 만들지 않고, 신뢰할 수 있는 Apify Actor 또는 MCP 도구를 사용하여 YouTube 자막, 웹사이트-마크다운 변환, 채용 공고 추출, Amazon 가격 추적, Google 자동 완성 조사, Reddit 조사, 식당 메뉴 추출과 같은 작업을 수행할 수 있도록 돕습니다. MCP를 지원하는 클라이언트는 Apify의 호스팅 MCP 서버를 통해 이러한 Actor를 도구로 노출할 수 있으며, 비 MCP 워크플로는 Apify REST API를 통해 해당 Actor를 호출할 수 있습니다. 이 스킬은 입력을 제한하고, 실행 전에 항상 Apify Actor의 입력 스키마와 가격 정보를 확인하며, 각 Actor의 실제 출력 데이터에 충실할 것을 강조합니다.

지원 대상✓Claude Code✓Codex CLI✓Cursor
npx skills add https://github.com/VZezelin/first/tree/main/skills/signal-lab-apify-tools

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

Signal Lab Apify 도구

Signal Lab을 소수의 집중된 공개 데이터 워크플로를 위한 라우팅 스킬로 사용하세요. 작업과 가장 일치하는 가장 좁은 Actor를 선호하고, 입력을 제한하며, 라이브 Apify Actor 입력 스키마와 가격 탭을 진실의 원천으로 취급하세요.

사용 시기

  • 사용자가 연구, RAG 또는 분석을 위해 사용 가능한 공개 YouTube 자막이나 타임스탬프 자막 세그먼트를 필요로 하는 경우.
  • 사용자가 공개 웹사이트나 제한된 동일 도메인 크롤을 깨끗한 마크다운으로 변환하여 RAG, 시맨틱 검색, 인덱싱 또는 LLM 분석을 원하는 경우.
  • 사용자가 하나 이상의 공개 채용 공고 URL을 가지고 있으며, 특히 페이지에 노출된 Schema.org JobPosting 데이터가 포함된 정규화된 채용 정보 필드를 필요로 하는 경우.
  • 사용자가 공개 Amazon 제품 가격 또는 재고 추적, 라이브 Google 자동 완성 키워드 제안, 공개 Reddit 조사, 지원되는 식당 메뉴 추출을 필요로 하는 경우.
  • MCP 지원 클라이언트가 Apify의 호스팅 MCP 서버를 통해 하나 이상의 Signal Lab Actor를 도구로 노출해야 하는 경우.
  • 비 MCP 워크플로가 Apify REST API를 통해 해당 Actor를 호출하고 그 데이터셋을 소비해야 하는 경우.

사용하지 말아야 할 경우

  • 작업이 로그인 장벽, 페이월, CAPTCHA, 로봇 제한, 안티봇 제어, 비공개 페이지 또는 기타 접근 제어를 우회해야 하는 경우.
  • 사용자가 액세스 가능한 공개 자막 트랙이 없는 YouTube 비디오의 오디오 전사를 요청하는 경우(YouTube Actor는 사용 가능한 자막을 추출하며 음성-텍스트 서비스가 아님).
  • 웹사이트가 HTTP 전용 크롤러가 제공할 수 없는 클라이언트 측 JavaScript 렌더링을 필요로 하는 경우(Website to Markdown Actor가 SPA를 렌더링한다고 주장하지 마세요).
  • 사용자가 알려진 지원 공개 작업 URL에서 추출하는 것이 아니라 광범위한 구직 게시판 검색을 원하는 경우(Job Vacancy Scraper가 모든 구직 게시판을 검색한다고 암시하지 마세요).
  • 요청된 소스 또는 사용이 관련 법률, 개인정보 요구사항, 저작권 의무, 사이트 약관 또는 사용자의 권한을 위반하는 경우.
  • 작업이 외부 데이터 실행 없이 직접 답변될 수 있는 경우(스킬을 시연하기 위해 Actor를 시작하지 마세요).

워크플로

  1. 정확한 데이터 요구사항을 식별하고 가장 일치하는 가장 좁은 도구를 선택하세요.
    • YouTube 자막: signal_lab/youtube-transcript-scraper
    • 웹사이트를 마크다운으로: signal_lab/website-to-markdown-crawler
    • 알려진 공개 작업 URL 추출: signal_lab/job-vacancy-scraper
    • Amazon 가격 추적: signal_lab/amazon-price-tracker
    • Google 자동 완성 조사: signal_lab/google-autocomplete-keywords
    • Reddit 공개 조사: signal_lab/reddit-search-comments
    • 식당 메뉴 추출: signal_lab/restaurant-menu-extractor
  2. 실행 전에 도구의 라이브 Apify 입력 스키마와 가격 탭을 읽으세요. 가격, 가용성 및 스키마는 변경될 수 있으며, 문서 예제는 라이브 상태를 대체할 수 없습니다.
  3. 실행 표면을 선택하세요.
    • 클라이언트가 MCP를 지원하고 사용자가 Apify로 인증할 수 있는 경우 Apify 호스팅 MCP를 선호하세요.
    • 그렇지 않으면 사용자 자신의 Apify 토큰과 함께 Apify REST Actor API를 사용하세요.
  4. 가장 작은 유용한 제한 입력부터 시작하세요.
    • 크롤의 경우 페이지 수와 깊이를 먼저 최소화하세요.
    • URL/비디오/제품 목록의 경우 확장하기 전에 작은 하위 집합을 테스트하세요.
    • 단순히 더 많은 데이터를 수집하기 위해 지출이나 범위를 늘리지 마세요.
  5. 실행이 완료될 때까지 기다린 다음 기본 데이터셋 또는 Actor의 문서화된 출력을 소비하세요.
  6. 반환된 필드가 실제로 소스에서 왔는지 확인하세요. 누락된 소스 필드는 해당 필드가 존재한다는 증거가 아닙니다.
  7. 첫 번째 제한된 결과가 유용하고 사용자가 라이브 가격/경제성을 수락한 후에만 확장하세요.

직접 도구 링크

사용자 또는 에이전트가 라이브 스키마, 가격 탭, 예제를 검사하거나 실행을 시작해야 할 때 다음 정식 Store 페이지를 사용하세요:

MCP 클라이언트의 경우, 필요한 것보다 더 넓은 도구 표면을 에이전트에 제공하지 않고 현재 작업에 필요한 도구만 Apify의 호스팅 MCP 서버를 통해 노출하세요.

실패, 재시도 및 비용 처리

  • HTTP 429를 백프레셔로 처리하고 동시성을 높일 수 있는 권한으로 처리하지 마세요. Retry-After가 있으면 이를 준수하고, 그렇지 않으면 지터가 있는 제한된 지수 백오프를 사용하세요.
  • 일시적인 5xx, 네트워크 또는 시간 초과 실패는 소수만 재시도하세요. 결정적인 4xx 유효성 검사/인증 오류는 입력 또는 인증 문제가 수정될 때까지 재시도하지 마세요.
  • Actor 실행이 FAILED, TIMED-OUT 또는 ABORTED에 도달하면 재시도가 정당한지 결정하기 전에 실행 상태/로그 증거를 검사하세요. 유료 재시도를 맹목적으로 반복하지 마세요.
  • 폴링의 경우 API를 강타하는 대신 상태 확인 사이에 백오프하세요. 실행이 종료되면 폴링을 중지하세요.
  • 재시도할 때 원래 입력을 제한된 상태로 유지하세요. 일반적인 실패 대응으로 maxPages, 항목 수, 크롤 깊이, 동시성 또는 프록시 범위를 높이지 마세요.
  • 재시도 또는 배치를 실질적으로 확장하기 전에 라이브 가격 탭을 다시 확인하세요. 성공적인 API 요청이 다운스트림 실행이 무료임을 의미하지는 않습니다.
  • 반복적인 일시적 재시도가 실패하거나, 소스가 합법적인 액세스를 차단하거나, 인증을 사용할 수 없거나, 다음 시도가 지출을 실질적으로 증가시키는 경우 중지하고 차단기를 보고하세요.
  • 실패한 유료 실행을 명확한 작업 적합성과 사용자 승인 경제성 없이 다른 유료 Actor를 시작하는 변명으로 사용하지 마세요.

규칙

  • 유료 실행 또는 MCP 인증을 위해 항상 사용자 자신의 Apify 인증을 사용하세요.
  • Signal Lab 소유자 자격 증명을 포함, 노출, 프록시 또는 요청하지 마세요.
  • 공개 Actor 실행 카운터, 총 사용자, 디렉토리 목록 또는 성공적인 API 요청을 제작자 수익의 증거로 취급하지 마세요.
  • 소스 페이지 또는 자막 트랙이 노출하지 않는 필드를 약속하지 마세요.
  • 접근 제어 우회 기능을 주장하지 마세요.
  • 가역적이고 제한된 호출과 최소 필수 데이터 볼륨을 선호하세요.
  • 실행 전에 라이브 Apify 가격 탭을 상업적 진실의 원천으로 사용하세요.
  • 웹사이트를 마크다운으로의 경우, HTTP 크롤러 제한 및 제한된 크롤 제어를 존중하세요.
  • YouTube의 경우, 출력을 사용 가능한 공개 자막/타임스탬프로 설명하고 새로 생성된 전사로 설명하지 마세요.
  • 채용 공고 추출의 경우, 알려진 공개 URL 추출 및 Schema.org 인식 구문 분석으로 설명하고 보편적인 작업 검색으로 설명하지 마세요.

예제

RAG를 위한 YouTube 자막

사용자 요구: "이 공개 YouTube 비디오에서 타임스탬프를 가져와 인용 인식 RAG 인덱스를 구축할 수 있도록 해주세요."

signal_lab/youtube-transcript-scraper를 작은 공개 URL 집합과 함께 사용하고 타임스탬프 세그먼트를 요청한 다음 다운스트림 인덱스를 구축할 때 소스 URL, 언어, 대본 텍스트 및 세그먼트 타이밍을 보존하세요.

웹사이트 문서를 마크다운으로

사용자 요구: "이 문서 사이트를 LLM을 위한 작은 마크다운 코퍼스로 변환해주세요."

signal_lab/website-to-markdown-crawler를 사용하세요. 한 페이지 또는 낮은 maxPages 값으로 시작하고, sameDomainOnly를 활성화된 상태로 유지하며, 크롤 깊이를 낮게 유지하고 robots 규칙을 존중하세요. 확장하기 전에 첫 번째 데이터셋 행을 검사하세요.

알려진 채용 공고를 구조화된 JSON으로

사용자 요구: "이 다섯 개의 작업 URL에서 제목, 회사, 위치, 급여 및 날짜를 정규화해주세요."

제공된 공개 URL에 대해서만 signal_lab/job-vacancy-scraper를 사용하세요. 페이지가 실제로 노출하는 필드를 반환하고 누락된 값은 조작하지 말고 표시하세요.

MCP 연결

집중된 웹사이트-마크다운 도구의 경우 MCP 지원 클라이언트는 다음을 사용할 수 있습니다:

{
  "mcpServers": {
    "signal-lab-markdown": {
      "url": "https://mcp.apify.com?tools=signal_lab/website-to-markdown-crawler"
    }
  }
}

Apify가 인증을 처리합니다. 공유 구성에 소유자 토큰을 넣지 마세요.

엣지 케이스

  • Apify 인증을 사용할 수 없는 경우 올바른 Actor 또는 MCP 연결 경로를 제공하지만 다른 사람의 자격 증명으로 유료 작업을 실행하지 마세요.
  • 라이브 Actor 스키마가 이 스킬과 다른 경우 라이브 스키마를 따르고 그에 따라 가정을 업데이트하세요.
  • 페이지가 JavaScript 전용이고 HTTP 크롤러가 불완전한 콘텐츠를 반환하는 경우 중지하고 접근 제어 우회 기술로 확대하는 대신 렌더링 제한을 설명하세요.
  • YouTube에 사용 가능한 공개 자막이 없는 경우 중지하고 그 제한을 보고하세요. 다른 유료 전사 제품으로 조용히 전환하지 마세요.
  • 작업 페이지에 급여 또는 구조화된 메타데이터가 없는 경우 확인 가능하게 존재하는 필드를 반환하고 나머지는 누락으로 표시하세요.
  • 요청된 실행이 크거나 비용이 많이 들 수 있는 경우 초기 입력을 축소하고 지출을 실질적으로 확장하기 전에 승인을 요청하세요.

참고 자료

관련 스킬