scomp-link — エンドツーエンドMLツールキット は何をしますか?
概要
scomp-linkはMLワークフロー全体を自動化します:データプロファイリング → 前処理 → 特徴量エンジニアリング → モデル選択 → 学習 → 検証 → 説明可能性 → 監視 → デプロイメント
生のsklearnの代わりにscomp-linkを使うべき場合:
- CLIによるノーコードML(24コマンド)
- データ特性に基づく自動モデル選択
- 永続的なアーティファクト(
.scomp形式:モデル + 前処理器 + 設定 + メトリクス) - インタラクティブなチャートを埋め込んだHTMLレポート
- 本番監視(ドリフト + 異常 + 公平性)
- ワンコマンドのハイパーパラメータチューニング(Optuna / Halving)
生のsklearnを使うべき場合:
- ファクトリにないカスタムモデルアーキテクチャ
- すべての前処理ステップの細かい制御
- 完全な柔軟性が必要な研究ワークフロー
インストール
pip install scomp-link
決定木:どのコマンドを使うか
データがあり、次の処理をしたい...
├─ すぐに理解する → scomp-link describe --data file.csv
├─ 完全な品質レポート(HTML)→ scomp-link quality --data file.csv --output report.html
├─ 特徴量エンジニアリング → scomp-link engineer --data file.csv --target y --interactions --log-transform
├─ モデルを学習させる
│ ├─ 回帰 → scomp-link run --data file.csv --target y --task regression
│ ├─ 分類 → scomp-link run --data file.csv --target y --task classification
│ ├─ テキスト分類 → scomp-link text --data file.csv --text-col msg --target label
│ ├─ クラスタリング → scomp-link cluster --data file.csv --n-clusters 5
│ └─ YAMLによる完全パイプライン → scomp-link pipeline --config pipeline.yaml
├─ ハイパーパラメータチューニング → scomp-link tune --data file.csv --target y --task regression --method optuna
├─ 保存済みモデルで予測 → scomp-link predict --artifact model.scomp --data new.csv
├─ テストデータで検証 → scomp-link validate --artifact model.scomp --data test.csv --target y
├─ モデルの決定を説明 → scomp-link explain --artifact model.scomp --data test.csv
├─ 本番監視
│ ├─ ドリフトのみ → scomp-link drift --reference train.csv --current prod.csv
│ ├─ 完全監視 → scomp-link monitor --reference train.csv --current prod.csv --artifact model.scomp
│ └─ 異常検知 → scomp-link anomaly --data prod.csv --methods iforest,lof,tabnet,transformer
├─ 公平性/バイアスをチェック → scomp-link fairness --data preds.csv --target y_true --predicted y_pred --sensitive gender
├─ 時系列予測 → scomp-link forecast --data series.csv --column value --horizon 30
├─ モデルを比較 → scomp-link compare --artifacts v1.scomp v2.scomp
├─ HTMLレポートを生成 → scomp-link report --data file.csv --output report.html
├─ REST APIとして提供 → scomp-link serve --artifact model.scomp --port 8080
├─ ONNX / pickleにエクスポート → scomp-link export --artifact model.scomp --format onnx
└─ 新規プロジェクトをスキャフォールド → scomp-link init my_project
推奨ワークフロー
標準MLパイプライン
# 1. データをプロファイリング
scomp-link describe --data train.csv --format table
# 2. データ品質をチェック
scomp-link quality --data train.csv --output quality_report.html
# 3. 特徴量エンジニアリング
scomp-link engineer --data train.csv --target price --interactions --log-transform --output engineered.csv
# 4. ハイパーパラメータチューニング
scomp-link tune --data engineered.csv --target price --task regression --method optuna --n-trials 100 --save-artifact best_model.scomp
# 5. ホールドアウトテストデータで検証
scomp-link validate --artifact best_model.scomp --data test.csv --target price --report validation.html
# 6. 説明
scomp-link explain --artifact best_model.scomp --data test.csv
# 7. デプロイ
scomp-link serve --artifact best_model.scomp --port 8080
YAMLパイプライン(オールインワン)
# pipeline.yaml
data: train.csv
target: price
task: regression
engineer:
interactions: true
log_transform: true
tune:
method: optuna
n_trials: 50
validate:
test_data: test.csv
report: validation_report.html
save: models/price_model.scomp
scomp-link pipeline --config pipeline.yaml
可視化とレポート
scomp-linkには3つの可視化エンジンがあります。詳細はvisualization-guide.mdを参照してください。
クイックリファレンス
| エンジン | 最適な用途 | 出力 | インタラクティブ性 |
|---|---|---|---|
| Plotly | 標準的なMLチャート(ヒストグラム、散布図、棒グラフ) | HTML(インタラクティブ) | はい |
| RAWGraphs | 出版品質の図(サンキー、ツリーマップ、コード図) | SVG(静的) | いいえ |
| Highcharts | 時系列(ストリームグラフ、ヒートマップ、ガント) | HTML(インタラクティブ) | はい |
HTMLレポートの作成(Python API)
from scomp_link.utils.report_html import ScompLinkHTMLReport
from scomp_link.utils.plotly_utils import histogram, barchart, linechart, area_chart
from scomp_link.utils.highcharts import streamgraphs, calendar_heatmap, calendar_gantt
from scomp_link.utils.rawgraphs import treemap, sankey_diagram, sunburst
# 1. 初期化
report = ScompLinkHTMLReport(title='分析レポート')
# 2. セクションを追加
report.open_section("データ概要")
report.add_title("データセット統計")
report.add_text("10,000件の顧客レコードの分析。")
report.add_dataframe(summary_df, "要約統計量")
report.close_section()
# 3. チャートを追加
report.open_section("分布")
fig = histogram(df['age'].values, "年齢分布")
report.add_graph_to_report(fig, "年齢ヒストグラム")
report.close_section()
# 4. RAWGraphsのSVGを追加
report.open_section("階層ビュー")
svg = treemap(labels, parents, values, "カテゴリ別収益")
report.add_rawgraphs_to_report(svg, "収益ツリーマップ")
report.close_section()
# 5. Highchartsを追加
report.open_section("時系列トレンド")
html_stream = streamgraphs("売上トレンド", dates, series_dict, area=True)
report.html_report += html_stream # HighchartsはHTMLを直接追加
report.close_section()
# 6. 保存
report.save_html('analysis_report.html')
report.save_pdf('analysis_report.pdf') # Playwrightが必要
利用可能なチャート(31 RAWGraphs + 5 Plotly + 3 Highcharts)
比較:barchart、barchartmultiset、barchartstacked、piechart、radarchart、voronoidiagram 分布:beeswarm、boxplot、violinplot 時系列:bumpchart、gantt_chart、horizongraph、linechart、slopechart、streamgraph 相関:bubblechart、contour_plot、convex_hull、hexagonal_binning、matrixplot、parallelcoordinates 階層:circlepacking、circular_dendrogram、dendrogram、sunburst、treemap、voronoi_treemap ネットワーク:alluvial_diagram、arc_diagram、chord_diagram、sankey_diagram Plotly:histogram、multiple_histograms、barchart、linechart、area_chart Highcharts:streamgraphs、calendar_heatmap、calendar_gantt
連結パターン
コマンドはチェーンするように設計されています — あるコマンドの出力が次のコマンドの入力になります:
describe → (列を理解) → engineer → (engineered.csv) → tune → (model.scomp) → validate → (メトリクス)
↓
predict (新しいデータ)
↓
serve (REST API)
キーパターン:
--save-artifact model.scomp→ predict / validate / explain / export / serve で--artifact model.scompとして使用--output file.csv→ 次のコマンドで--data file.csvとして使用--report file.html→ スタンドアロンのHTML出力(ブラウザで表示可能)--plot file.html→ forecast / drift / anomaly / cluster / compare のチャート出力
よくあるエラーと修正方法
| エラー | 原因 | 修正方法 |
|---|---|---|
ValueError: could not convert string to float | 数値モデルにカテゴリ列が含まれている | --engineer フラグを使用するか、カテゴリ変数を前処理する |
FileNotFoundError: artifact not found | .scompファイルへのパスが間違っている | パスが存在することを確認し、絶対パスを使用する |
ImportError: torch required | NLP/ディープラーニングの依存関係が不足 | pip install scomp-link ですべての依存関係がインストールされる |
ArrowInvalid: 1-dimensional array | 前処理中の画像/配列データ | v1.2.0で修正 — scomp-linkをアップデート |
No module named 'click' | spaCyの依存関係が不足 | pip install click(推移的依存関係) |
WeasyPrint: cannot load gobject | PDF用のシステムライブラリが不足 | WeasyPrintの代わりに save_pdf()(Playwright)を使用 |
MCPサーバー
scomp-linkにはエージェント統合用のMCPサーバーが含まれています:
# MCPサーバーを起動(Claude Desktop / Kiro / Cursor用のstdioモード)
scomp-link mcp
# または直接実行
python -m scomp_link.mcp_server
完全なワークフロー例はworkflow-patterns.mdを参照してください。