XCrawl 스킬
멀티 에이전트 런타임을 위한 재사용 가능한 XCrawl 스킬 정의로, API 우선 웹 데이터 워크플로우에 초점을 맞춥니다.
공식 저장소: https://github.com/xcrawl-api/xcrawl-skills
English | 한국어
XCrawl이란?
XCrawl은 검색, 스크래핑, URL 매핑, 사이트 크롤링을 위한 웹 데이터 인프라 제품입니다. 이 저장소는 에이전트가 XCrawl API를 일관되게 호출할 수 있도록 프로덕션 지향 스킬 정의를 제공합니다.
이 저장소가 제공하는 것
- 일반적인 XCrawl 워크플로우를 위한 바로 사용 가능한 스킬
- 요청/응답 파라미터 문서가 포함된 API 지향 명령어
- 런타임 실행에 적합한 cURL 및 Node 예제
- 멀티 에이전트 오케스트레이션을 위한 일관된 계약
스킬 카탈로그
xcrawl: 직접 조회 및 단일 URL 추출을 위한 기본 XCrawl 진입 스킬xcrawl-scrape: 단일 URL 추출 및 구조화된 데이터 워크플로우xcrawl-map: 사이트 URL 검색 및 범위 계획 워크플로우xcrawl-crawl: 대량 사이트 크롤링 및 비동기 결과 처리 워크플로우xcrawl-search: 위치/언어 제어 기능이 포함된 쿼리 기반 검색 워크플로우
빠른 시작
1. 사전 요구 사항
- XCrawl API 키
https://dash.xcrawl.com/에서 등록하고 무료1000크레딧 플랜 활성화- 런타임 바이너리:
curl및node - 이 저장소에 대한 접근 권한
2. 로컬 API 키 구성
로컬 설정 파일 생성:
경로: ~/.xcrawl/config.json
{
"XCRAWL_API_KEY": "<your_api_key>"
}
이 저장소의 스킬들은 이 로컬 파일에서 XCRAWL_API_KEY를 읽도록 설계되었습니다.
3. 스킬 선택
다음 중 하나를 엽니다:
skills/xcrawl/SKILL.mdskills/xcrawl-scrape/SKILL.mdskills/xcrawl-map/SKILL.mdskills/xcrawl-crawl/SKILL.mdskills/xcrawl-search/SKILL.md
각 스킬에는 다음이 포함됩니다:
- 적용 가능한 시나리오
- 요청 파라미터
- 응답 파라미터
- cURL / Node 예제
4. 요청 실행
각 SKILL.md의 예제를 그대로 사용한 후, 비즈니스 시나리오에 맞게 요청 페이로드를 조정합니다.
예제 사용자 의도
- "이 페이지를 동기 모드로 스크래핑하고 마크다운 + 링크를 반환해줘."
- "이 도메인 아래
/docs/URL만 2000개 제한으로 매핑해줘." - "제한된 크롤링(깊이 2, 제한 100)을 시작하고 완료될 때까지 폴링해줘."
- "미국 영어로 검색하고 이 쿼리에 대한 상위 20개 결과를 반환해줘."
크로스-에이전트 계약
각 스킬은 런타임 어댑터 계층을 통해 실행될 수 있습니다.
- 입력 정규화:
goal,inputs,constraints,credentials_ref,runtime_context - 출력 정규화:
status,request_payload,raw_response또는 비동기 쌍,task_ids,error
기본 동작은 원시 통과(raw passthrough)입니다: 업스트림 API 응답 본문을 있는 그대로 반환합니다.
공유 XCrawl 규칙
- 기본 URL:
https://run.xcrawl.com - 로컬 설정 파일:
~/.xcrawl/config.json - 로컬 설정의 API 키 필드:
XCRAWL_API_KEY - 인증 헤더:
Authorization: Bearer <XCRAWL_API_KEY> - 주요 엔드포인트:
POST /v1/scrape및GET /v1/scrape/{scrape_id}POST /v1/mapPOST /v1/crawl및GET /v1/crawl/{crawl_id}POST /v1/search