huggingface-datasets은(는) 무엇을 하나요?
허깅페이스 데이터셋 뷰어 API 워크플로우를 위한 이 스킬을 사용하여 서브셋/스플릿 메타데이터를 가져오고, 행을 페이지네이션하고, 텍스트를 검색하고, 필터를 적용하고, Parquet URL을 다운로드하고, 크기 및 통계를 읽을 수 있습니다.
개요
허깅페이스 데이터셋 뷰어 API는 다양한 머신러닝 데이터셋을 탐색하고 메타데이터를 가져올 수 있는 강력한 인터페이스를 제공합니다. 이 스킬은 해당 API와의 상호작용을 간소화하여 데이터셋 작업을 보다 효율적으로 수행할 수 있도록 설계되었습니다.
주요 기능
- 서브셋 및 스플릿 메타데이터: 데이터셋의 서브셋과 스플릿에 대한 정보를 가져옵니다.
- 행 페이지네이션: 데이터셋 행을 페이지 단위로 탐색합니다.
- 텍스트 검색: 데이터셋 내에서 특정 텍스트를 검색합니다.
- 필터 적용: 조건에 따라 데이터를 필터링합니다.
- Parquet URL 다운로드: Parquet 형식의 데이터 파일 URL을 가져옵니다.
- 크기 및 통계: 데이터셋의 크기와 통계 정보를 읽습니다.
사용 예시
메타데이터 가져오기
# 예시: 데이터셋 메타데이터 가져오기
response = client.get_dataset_metadata(dataset="squad")
행 페이지네이션
# 예시: 특정 페이지의 행 가져오기
response = client.get_rows(dataset="imdb", config="plain_text", split="train", page=1)
텍스트 검색
# 예시: 데이터셋에서 텍스트 검색
response = client.search(dataset="wikitext", query="machine learning")
지원 플랫폼
이 스킬은 허깅페이스 데이터셋 뷰어 API를 지원하는 모든 환경에서 사용할 수 있으며, 주로 AI 에이전트(예: Claude Code, Cursor, Codex)와 통합됩니다.