Que fait scomp-link — Boîte à outils ML de bout en bout ?
Vue d'ensemble
scomp-link automatise l'ensemble du workflow ML : profilage des données → prétraitement → ingénierie des caractéristiques → sélection de modèles → entraînement → validation → explicabilité → supervision → déploiement.
Utilisez scomp-link plutôt que sklearn pur lorsque vous avez besoin de :
- ML sans code via CLI (24 commandes)
- Sélection automatique de modèles basée sur les caractéristiques des données
- Artefacts persistants (format
.scomp: modèle + préprocesseur + configuration + métriques) - Rapports HTML avec graphiques interactifs intégrés
- Supervision de production (dérive + anomalie + équité)
- Optimisation des hyperparamètres en une commande (Optuna/Halving)
Utilisez sklearn pur lorsque vous avez besoin de :
- Architectures de modèles personnalisées absentes de la fabrique
- Contrôle fin de chaque étape de prétraitement
- Workflows de recherche nécessitant une flexibilité totale
Installation
pip install scomp-link
Arbre de décision : Quelle commande utiliser
J'ai des données et je veux...
├─ Les comprendre rapidement → scomp-link describe --data file.csv
├─ Un rapport qualité complet (HTML) → scomp-link quality --data file.csv --output report.html
├─ Ingénierie des caractéristiques → scomp-link engineer --data file.csv --target y --interactions --log-transform
├─ Entraîner un modèle
│ ├─ Régression → scomp-link run --data file.csv --target y --task regression
│ ├─ Classification → scomp-link run --data file.csv --target y --task classification
│ ├─ Classification de texte → scomp-link text --data file.csv --text-col msg --target label
│ ├─ Clustering → scomp-link cluster --data file.csv --n-clusters 5
│ └─ Pipeline complet depuis YAML → scomp-link pipeline --config pipeline.yaml
├─ Optimiser les hyperparamètres → scomp-link tune --data file.csv --target y --task regression --method optuna
├─ Prédire avec un modèle sauvegardé → scomp-link predict --artifact model.scomp --data new.csv
├─ Valider sur des données de test → scomp-link validate --artifact model.scomp --data test.csv --target y
├─ Expliquer les décisions du modèle → scomp-link explain --artifact model.scomp --data test.csv
├─ Superviser la production
│ ├─ Dérive uniquement → scomp-link drift --reference train.csv --current prod.csv
│ ├─ Supervision complète → scomp-link monitor --reference train.csv --current prod.csv --artifact model.scomp
│ └─ Détection d'anomalies → scomp-link anomaly --data prod.csv --methods iforest,lof,tabnet,transformer
├─ Vérifier l'équité / le biais → scomp-link fairness --data preds.csv --target y_true --predicted y_pred --sensitive gender
├─ Prévisions de séries temporelles → scomp-link forecast --data series.csv --column value --horizon 30
├─ Comparer des modèles → scomp-link compare --artifacts v1.scomp v2.scomp
├─ Générer un rapport HTML → scomp-link report --data file.csv --output report.html
├─ Servir comme API REST → scomp-link serve --artifact model.scomp --port 8080
├─ Exporter vers ONNX/pickle → scomp-link export --artifact model.scomp --format onnx
└─ Structurer un nouveau projet → scomp-link init my_project
Workflow recommandé
Pipeline ML standard
# 1. Profilage des données
scomp-link describe --data train.csv --format table
# 2. Vérification de la qualité
scomp-link quality --data train.csv --output quality_report.html
# 3. Ingénierie des caractéristiques
scomp-link engineer --data train.csv --target price --interactions --log-transform --output engineered.csv
# 4. Optimisation des hyperparamètres
scomp-link tune --data engineered.csv --target price --task regression --method optuna --n-trials 100 --save-artifact best_model.scomp
# 5. Validation sur données de test
scomp-link validate --artifact best_model.scomp --data test.csv --target price --report validation.html
# 6. Explicabilité
scomp-link explain --artifact best_model.scomp --data test.csv
# 7. Déploiement
scomp-link serve --artifact best_model.scomp --port 8080
Pipeline YAML (tout-en-un)
# pipeline.yaml
data: train.csv
target: price
task: regression
engineer:
interactions: true
log_transform: true
tune:
method: optuna
n_trials: 50
validate:
test_data: test.csv
report: validation_report.html
save: models/price_model.scomp
scomp-link pipeline --config pipeline.yaml
Visualisations & Rapports
scomp-link dispose de trois moteurs de visualisation. Consultez le guide de visualisation pour plus de détails.
Référence rapide
| Moteur | Idéal pour | Sortie | Interactivité |
|---|---|---|---|
| Plotly | Graphiques ML standards (histogrammes, nuages, barres) | HTML (interactif) | Oui |
| RAWGraphs | Diagrammes de qualité publication (sankey, treemap, chord) | SVG (statique) | Non |
| Highcharts | Séries temporelles (streamgraph, heatmap, gantt) | HTML (interactif) | Oui |
Création d'un rapport HTML (API Python)
from scomp_link.utils.report_html import ScompLinkHTMLReport
from scomp_link.utils.plotly_utils import histogram, barchart, linechart, area_chart
from scomp_link.utils.highcharts import streamgraphs, calendar_heatmap, calendar_gantt
from scomp_link.utils.rawgraphs import treemap, sankey_diagram, sunburst
# 1. Initialisation
report = ScompLinkHTMLReport(title='Mon rapport d\'analyse')
# 2. Ajout de sections avec contenu
report.open_section("Aperçu des données")
report.add_title("Statistiques du jeu de données")
report.add_text("Analyse de 10 000 enregistrements clients.")
report.add_dataframe(summary_df, "Statistiques descriptives")
report.close_section()
# 3. Ajout de graphiques
report.open_section("Distributions")
fig = histogram(df['age'].values, "Distribution des âges")
report.add_graph_to_report(fig, "Histogramme des âges")
report.close_section()
# 4. Ajout de SVG RAWGraphs
report.open_section("Vue hiérarchique")
svg = treemap(labels, parents, values, "Revenu par catégorie")
report.add_rawgraphs_to_report(svg, "Treemap des revenus")
report.close_section()
# 5. Ajout de Highcharts
report.open_section("Tendances temporelles")
html_stream = streamgraphs("Tendance des ventes", dates, series_dict, area=True)
report.html_report += html_stream # Ajout direct HTML pour Highcharts
report.close_section()
# 6. Sauvegarde
report.save_html('analysis_report.html')
report.save_pdf('analysis_report.pdf') # nécessite Playwright
Graphiques disponibles (31 RAWGraphs + 5 Plotly + 3 Highcharts)
Comparaisons : barchart, barchartmultiset, barchartstacked, piechart, radarchart, voronoidiagram Distributions : beeswarm, boxplot, violinplot Séries temporelles : bumpchart, gantt_chart, horizongraph, linechart, slopechart, streamgraph Corrélations : bubblechart, contour_plot, convex_hull, hexagonal_binning, matrixplot, parallelcoordinates Hiérarchies : circlepacking, circular_dendrogram, dendrogram, sunburst, treemap, voronoi_treemap Réseaux : alluvial_diagram, arc_diagram, chord_diagram, sankey_diagram Plotly : histogram, multiple_histograms, barchart, linechart, area_chart Highcharts : streamgraphs, calendar_heatmap, calendar_gantt
Chaînage des commandes
Les commandes sont conçues pour être chaînées — la sortie de l'une est l'entrée de la suivante :
describe → (comprendre les colonnes) → engineer → (engineered.csv) → tune → (model.scomp) → validate → (métriques)
↓
predict (nouvelles données)
↓
serve (API REST)
Motifs clés :
--save-artifact model.scomp→ utilisé avec--artifact model.scompdans predict/validate/explain/export/serve--output file.csv→ utilisé comme--data file.csvdans la commande suivante--report file.html→ sortie HTML autonome (consultable dans un navigateur)--plot file.html→ sortie graphique pour forecast/drift/anomaly/cluster/compare
Erreurs courantes et correctifs
| Erreur | Cause | Correctif |
|---|---|---|
ValueError: could not convert string to float | Colonnes catégorielles dans un modèle numérique | Utilisez le paramètre --engineer ou prétraitez les catégorielles |
FileNotFoundError: artifact not found | Mauvais chemin vers le fichier .scomp | Vérifiez que le chemin existe, utilisez des chemins absolus |
ImportError: torch required | Dépendances NLP/deep learning manquantes | pip install scomp-link inclut toutes les dépendances |
ArrowInvalid: 1-dimensional array | Données image/tableau dans le prétraitement | Corrigé dans v1.2.0 — mettez à jour scomp-link |
No module named 'click' | Dépendance spaCy manquante | pip install click (dépendance transitive) |
WeasyPrint: cannot load gobject | Bibliothèques système manquantes pour PDF | Utilisez save_pdf() (Playwright) au lieu de WeasyPrint |
Serveur MCP
scomp-link inclut un serveur MCP pour l'intégration avec les agents :
# Démarrez le serveur MCP (mode stdio pour Claude Desktop / Kiro / Cursor)
scomp-link mcp
# Ou exécutez directement
python -m scomp_link.mcp_server
Consultez le guide des patterns de workflow pour des exemples complets de workflows.