Community연구 & 데이터 분석github.com

spider-rs/spider

저지연 웹 데이터 수집기

spider란 무엇인가요?

spider-rs/spider는 Rust로 작성된 고성능, 저지연 웹 데이터 수집(크롤링/스크래핑) 라이브러리입니다. 비동기 처리와 최적화된 설계로 대규모 웹 데이터를 빠르게 수집해야 하는 작업에 적합합니다. 개발자는 이 스킬을 통해 CLI 도구나 Rust 라이브러리 형태로 웹사이트를 크롤링하고, 링크를 추출하며, HTML/JSON 등 다양한 형식으로 결과를 출력할 수 있습니다. CI/CD 파이프라인, 데이터 분석, 모니터링, AI 모델 학습용 데이터 수집 등에 효과적으로 활용될 수 있습니다.

지원 대상~Claude Code~Codex CLI~Cursor
npx skills add spider-rs/spider

Installed? Explore more 연구 & 데이터 분석 skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

spider은(는) 무엇을 하나요?

저지연 웹 데이터 수집기

관련 스킬