scomp-link – End-to-End ML-Toolkit
Übersicht
scomp-link automatisiert den gesamten ML-Workflow: Datenprofilierung → Vorverarbeitung → Feature-Engineering → Modellauswahl → Training → Validierung → Erklärbarkeit → Überwachung → Bereitstellung.
Verwenden Sie scomp-link anstelle von rohem sklearn, wenn Sie Folgendes benötigen:
- ML ohne Code via CLI (24 Befehle)
- Automatisierte Modellauswahl basierend auf Datenmerkmalen
- Dauerhafte Artefakte (
.scomp-Format: Modell + Preprozessor + Konfiguration + Metriken) - HTML-Berichte mit eingebetteten interaktiven Diagrammen
- Produktionsüberwachung (Drift + Anomalie + Fairness)
- Hyperparameter-Optimierung mit einem Befehl (Optuna/Halving)
Verwenden Sie rohes sklearn, wenn Sie Folgendes benötigen:
- Benutzerdefinierte Modellarchitekturen, die nicht in der Factory enthalten sind
- Detaillierte Kontrolle über jeden Vorverarbeitungsschritt
- Forschungsworkflows, die maximale Flexibilität erfordern
Installation
pip install scomp-link
Entscheidungsbaum: Welcher Befehl zu verwenden ist
Ich habe Daten und möchte...
├─ Schnell verstehen → scomp-link describe --data datei.csv
├─ Vollständigen Qualitätsbericht (HTML) → scomp-link quality --data datei.csv --output bericht.html
├─ Features entwickeln → scomp-link engineer --data datei.csv --target y --interactions --log-transform
├─ Ein Modell trainieren
│ ├─ Regression → scomp-link run --data datei.csv --target y --task regression
│ ├─ Klassifikation → scomp-link run --data datei.csv --target y --task classification
│ ├─ Textklassifikation → scomp-link text --data datei.csv --text-col msg --target label
│ ├─ Clustering → scomp-link cluster --data datei.csv --n-clusters 5
│ └─ Vollständige Pipeline aus YAML → scomp-link pipeline --config pipeline.yaml
├─ Hyperparameter optimieren → scomp-link tune --data datei.csv --target y --task regression --method optuna
├─ Mit gespeichertem Modell vorhersagen → scomp-link predict --artifact model.scomp --data neue.csv
├─ Mit Testdaten validieren → scomp-link validate --artifact model.scomp --data test.csv --target y
├─ Modellentscheidungen erklären → scomp-link explain --artifact model.scomp --data test.csv
├─ Produktion überwachen
│ ├─ Nur Drift → scomp-link drift --reference train.csv --current prod.csv
│ ├─ Vollständige Überwachung → scomp-link monitor --reference train.csv --current prod.csv --artifact model.scomp
│ └─ Anomalieerkennung → scomp-link anomaly --data prod.csv --methods iforest,lof,tabnet,transformer
├─ Fairness/Bias prüfen → scomp-link fairness --data vorhersagen.csv --target y_wahr --predicted y_vorhergesagt --sensitive geschlecht
├─ Zeitreihen prognostizieren → scomp-link forecast --data reihe.csv --column wert --horizon 30
├─ Modelle vergleichen → scomp-link compare --artifacts v1.scomp v2.scomp
├─ HTML-Bericht generieren → scomp-link report --data datei.csv --output bericht.html
├─ Als REST-API bereitstellen → scomp-link serve --artifact model.scomp --port 8080
├─ Nach ONNX/pickle exportieren → scomp-link export --artifact model.scomp --format onnx
└─ Neues Projekt gerüsten → scomp-link init mein_projekt
Empfohlener Workflow
Standard-ML-Pipeline
# 1. Daten profilieren
scomp-link describe --data train.csv --format table
# 2. Datenqualität prüfen
scomp-link quality --data train.csv --output qualitaetsbericht.html
# 3. Features entwickeln
scomp-link engineer --data train.csv --target preis --interactions --log-transform --output entwickelte.csv
# 4. Hyperparameter optimieren
scomp-link tune --data entwickelte.csv --target preis --task regression --method optuna --n-trials 100 --save-artifact bestes_modell.scomp
# 5. Mit zurückgehaltenen Testdaten validieren
scomp-link validate --artifact bestes_modell.scomp --data test.csv --target preis --report validierung.html
# 6. Erklären
scomp-link explain --artifact bestes_modell.scomp --data test.csv
# 7. Bereitstellen
scomp-link serve --artifact bestes_modell.scomp --port 8080
YAML-Pipeline (alles in einem)
# pipeline.yaml
data: train.csv
target: preis
task: regression
engineer:
interactions: true
log_transform: true
tune:
method: optuna
n_trials: 50
validate:
test_data: test.csv
report: validierungsbericht.html
save: modelle/preismodell.scomp
scomp-link pipeline --config pipeline.yaml
Visualisierung und Berichte
scomp-link verfügt über drei Visualisierungs-Engines. Vollständige Details finden Sie unter visualization-guide.md.
Kurzübersicht
| Engine | Am besten geeignet für | Ausgabe | Interaktivität |
|---|---|---|---|
| Plotly | Standard-ML-Diagramme (Histogramme, Streudiagramme, Balken) | HTML (interaktiv) | Ja |
| RAWGraphs | Publikationsqualität-Diagramme (Sankey, Treemap, Chord) | SVG (statisch) | Nein |
| Highcharts | Zeitreihen (Streamgraph, Heatmap, Gantt) | HTML (interaktiv) | Ja |
Erstellen eines HTML-Berichts (Python-API)
from scomp_link.utils.report_html import ScompLinkHTMLReport
from scomp_link.utils.plotly_utils import histogram, barchart, linechart, area_chart
from scomp_link.utils.highcharts import streamgraphs, calendar_heatmap, calendar_gantt
from scomp_link.utils.rawgraphs import treemap, sankey_diagram, sunburst
# 1. Initialisieren
bericht = ScompLinkHTMLReport(title='Mein Analysebericht')
# 2. Abschnitte mit Inhalt hinzufügen
bericht.open_section("Datenübersicht")
bericht.add_title("Datensatzstatistiken")
bericht.add_text("Analyse von 10.000 Kundendatensätzen.")
bericht.add_dataframe(zusammenfassung_df, "Zusammenfassungsstatistiken")
bericht.close_section()
# 3. Diagramme hinzufügen
bericht.open_section("Verteilungen")
fig = histogram(df['alter'].values, "Altersverteilung")
bericht.add_graph_to_report(fig, "Altershistogramm")
bericht.close_section()
# 4. RAWGraphs-SVG hinzufügen
bericht.open_section("Hierarchische Ansicht")
svg = treemap(labels, parents, values, "Umsatz nach Kategorie")
bericht.add_rawgraphs_to_report(svg, "Umsatz-Treemap")
bericht.close_section()
# 5. Highcharts hinzufügen
bericht.open_section("Zeittrends")
html_stream = streamgraphs("Verkaufstrend", daten, serien_dict, area=True)
bericht.html_report += html_stream # Direktes HTML-Anhängen für Highcharts
bericht.close_section()
# 6. Speichern
bericht.save_html('analysebericht.html')
bericht.save_pdf('analysebericht.pdf') # erfordert Playwright
Verfügbare Diagramme (31 RAWGraphs + 5 Plotly + 3 Highcharts)
Vergleiche: barchart, barchartmultiset, barchartstacked, piechart, radarchart, voronoidiagram Verteilungen: beeswarm, boxplot, violinplot Zeitreihen: bumpchart, gantt_chart, horizongraph, linechart, slopechart, streamgraph Korrelationen: bubblechart, contour_plot, convex_hull, hexagonal_binning, matrixplot, parallelcoordinates Hierarchien: circlepacking, circular_dendrogram, dendrogram, sunburst, treemap, voronoi_treemap Netzwerke: alluvial_diagram, arc_diagram, chord_diagram, sankey_diagram Plotly: histogram, multiple_histograms, barchart, linechart, area_chart Highcharts: streamgraphs, calendar_heatmap, calendar_gantt
Verkettungsmuster
Die Befehle sind so konzipiert, dass sie verkettet werden können – die Ausgabe des einen ist die Eingabe des nächsten:
describe → (Spalten verstehen) → engineer → (entwickelte.csv) → tune → (modell.scomp) → validate → (Metriken)
↓
predict (neue Daten)
↓
serve (REST-API)
Wichtige Muster:
--save-artifact modell.scomp→ verwenden mit--artifact modell.scompin predict/validate/explain/export/serve--output datei.csv→ verwenden als--data datei.csvim nächsten Befehl--report datei.html→ eigenständige HTML-Ausgabe (im Browser anzeigbar)--plot datei.html→ Diagrammausgabe für forecast/drift/anomaly/cluster/compare
Häufige Fehler und Lösungen
| Fehler | Ursache | Lösung |
|---|---|---|
ValueError: could not convert string to float | Kategoriale Spalten in numerischem Modell | --engineer-Flag verwenden oder Kategorien vorverarbeiten |
FileNotFoundError: artifact not found | Falscher Pfad zur .scomp-Datei | Pfad prüfen, absolute Pfade verwenden |
ImportError: torch required | NLP/Deep-Learning-Abhängigkeiten fehlen | pip install scomp-link enthält alle Abhängigkeiten |
ArrowInvalid: 1-dimensional array | Bild-/Array-Daten in der Vorverarbeitung | Behoben in v1.2.0 – scomp-link aktualisieren |
No module named 'click' | spaCy-Abhängigkeit fehlt | pip install click (transitive Abhängigkeit) |
WeasyPrint: cannot load gobject | Systembibliotheken für PDF fehlen | save_pdf() (Playwright) anstelle von WeasyPrint verwenden |
MCP-Server
scomp-link enthält einen MCP-Server für die Agentenintegration:
# MCP-Server starten (Stdio-Modus für Claude Desktop / Kiro / Cursor)
scomp-link mcp
# Oder direkt ausführen
python -m scomp_link.mcp_server
Vollständige Workflow-Beispiele finden Sie unter workflow-patterns.md.