Que fait indexion-segment ?
Divisez le texte en blocs contextuels pour les pipelines RAG/embeddings. Segmentation de documents et extraction de sections en utilisant des stratégies fenêtrées, tfidf, ponctuation ou hybrides, choisies par intention.
Fonctionnalités
- Segmentation basée sur une fenêtre : Divise le texte en segments de taille fixe avec chevauchement optionnel.
- Segmentation basée sur la ponctuation : Coupe le texte aux limites de phrases (points, points d'exclamation, points d'interrogation).
- Segmentation TF-IDF : Utilise la similarité TF-IDF pour trouver les limites naturelles entre les sections thématiques.
- Stratégie hybride : Combine plusieurs stratégies en commençant par la détection de thèmes, puis ajuste avec la ponctuation ou la fenêtre.
- Sélection automatique : Analyse le contenu et l'intention pour choisir la meilleure stratégie.
Utilisation
# segmentation automatique
agent-skill run trkbt10/indexion-segment --input document.txt
# spécifier la stratégie et la taille de segment
agent-skill run trkbt10/indexion-segment --input document.txt --strategy hybrid --segment-size 512
Paramètres
| Paramètre | Description | Valeurs possibles |
|---|---|---|
strategy | Stratégie de segmentation | auto (défaut), window, punctuation, tfidf, hybrid |
segment-size | Taille maximale d'un segment (en tokens ou mots) | Entier (256, 512, 1024) |
overlap | Chevauchement entre segments consécutifs (en tokens ou mots) | Entier (0, 50, 100) |
input | Chemin vers le fichier texte d'entrée | Chaîne de caractères |
output | Chemin vers le fichier de sortie (format JSON) | Chaîne de caractères |
Sortie
Le skill produit un fichier JSON contenant un tableau de segments. Chaque segment a les propriétés suivantes :
text: Le texte du segment.start: L'index de départ du segment dans le document original.end: L'index de fin du segment dans le document original.strategy: La stratégie utilisée pour ce segment.score: Optionnel, le score de confiance de la segmentation (pour les stratégies tfidf ou hybride).
Exemple
[
{
"text": "Ceci est le premier segment du document.",
"start": 0,
"end": 42,
"strategy": "punctuation"
},
{
"text": "Ceci est le deuxième segment, traitant d'un sujet différent.",
"start": 43,
"end": 95,
"strategy": "punctuation"
}
]
Plateformes supportées
- Claude Code
- Cursor
- Codex
- Autres agents AI supportant les skills conformes.
Dépendances
- Python 3.8+
scikit-learnpour TF-IDFnltkouspacypour le traitement de la ponctuation (optionnel)
Remarques
- Pour de très grands documents, il est recommandé d'utiliser la stratégie
windowpour des performances optimales. - La sélection automatique de stratégie fonctionne mieux avec des documents en anglais, mais peut être adaptée à d'autres langues.
- Les segments ne dépasseront jamais la taille maximum spécifiée, même avec la stratégie basée sur la ponctuation.