Que fait huggingface-datasets ?
Utilisez cette compétence pour les workflows de l'API Dataset Viewer de Hugging Face : récupération des métadonnées de sous-ensembles/divisions, pagination des lignes, recherche textuelle, application de filtres, téléchargement d'URLs Parquet et consultation des tailles ou statistiques.
Objectif
Cette compétence fournit une interface standardisée pour interagir avec l'API Dataset Viewer de Hugging Face, permettant aux agents IA d'effectuer des opérations courantes sur les jeux de données hébergés sur la plateforme Hugging Face.
Fonctionnalités principales
- Récupération des métadonnées : Obtenir la liste des sous-ensembles et divisions disponibles pour un jeu de données donné.
- Pagination des lignes : Parcourir les lignes d'un jeu de données avec support de la pagination.
- Recherche textuelle : Effectuer des recherches de texte dans les jeux de données.
- Filtrage : Appliquer des filtres sur les colonnes pour affiner les résultats.
- Téléchargement Parquet : Obtenir les URLs des fichiers Parquet pour téléchargement.
- Statistiques : Lire les tailles et les statistiques des jeux de données.
Exemples d'utilisation
# Exemple : Récupérer les métadonnées d'un jeu de données
GET /datasets/{dataset}/rows
# Exemple : Pagination des lignes avec paramètres
GET /datasets/{dataset}/rows?split=train&offset=0&limit=100
Ressources utiles
- Documentation officielle de l'API Hugging Face : Hugging Face Dataset Viewer API
- Référence des endpoints :
/datasets/{dataset}/rows,/datasets/{dataset}/parquet
Notes
- Les chemins de fichiers, variables d'environnement et URLs restent inchangés pour garantir la compatibilité avec les outils existants.
- Les commandes CLI et les blocs de code sont préservés en l'état.