Communitygithub.com

scomp-link — エンドツーエンドMLツールキット

データプロファイリング、前処理、特徴量エンジニアリング、モデル選択、学習、検証、説明可能性、ドリフト監視、公平性チェック、インタラクティブなHTMLレポートまで、MLワークフロー全体を自動化する包括的なツールキット。CLIでノーコードのMLパイプラインを実現。Python 3.10+。

scomp-link — エンドツーエンドMLツールキット とは?

scomp-linkは、生データから本番運用までのMLワークフロー全体を自動化するエンドツーエンドのMLツールキットです。24のCLIコマンドによりコードを書かずにデータプロファイリング、前処理、特徴量エンジニアリング、モデル選択・学習、ハイパーパラメータチューニング、予測、検証、説明可能性、ドリフト監視、異常検知、公平性チェック、時系列予測、モデル比較、HTMLレポート生成、REST APIサーブ、ONNXエクスポート、プロジェクトスキャフォールディングを実行できます。Python APIも提供しており、Plotly、RAWGraphs、Highchartsの3つの可視化エンジンでインタラクティブなHTMLレポートを作成可能。`.scomp`形式でモデル、前処理パイプライン、設定、メトリクスを一元保存し、再現性とポータビリティを確保します。MCPサーバーも内蔵しており、Claude Desktop、Cursor、CodexなどのAIエージェントと統合してMLワークフローを自律的に実行できます。

対応✓Claude Code~Codex CLI✓Cursor
npx skills add GiacomoSaccaggi/scomp_link

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

scomp-link — エンドツーエンドMLツールキット は何をしますか?

概要

scomp-linkはMLワークフロー全体を自動化します:データプロファイリング → 前処理 → 特徴量エンジニアリング → モデル選択 → 学習 → 検証 → 説明可能性 → 監視 → デプロイメント

生のsklearnの代わりにscomp-linkを使うべき場合:

  • CLIによるノーコードML(24コマンド)
  • データ特性に基づく自動モデル選択
  • 永続的なアーティファクト(.scomp形式:モデル + 前処理器 + 設定 + メトリクス)
  • インタラクティブなチャートを埋め込んだHTMLレポート
  • 本番監視(ドリフト + 異常 + 公平性)
  • ワンコマンドのハイパーパラメータチューニング(Optuna / Halving)

生のsklearnを使うべき場合:

  • ファクトリにないカスタムモデルアーキテクチャ
  • すべての前処理ステップの細かい制御
  • 完全な柔軟性が必要な研究ワークフロー

インストール

pip install scomp-link

決定木:どのコマンドを使うか

データがあり、次の処理をしたい...
├─ すぐに理解する          → scomp-link describe --data file.csv
├─ 完全な品質レポート(HTML)→ scomp-link quality --data file.csv --output report.html
├─ 特徴量エンジニアリング  → scomp-link engineer --data file.csv --target y --interactions --log-transform
├─ モデルを学習させる
│  ├─ 回帰                  → scomp-link run --data file.csv --target y --task regression
│  ├─ 分類                  → scomp-link run --data file.csv --target y --task classification
│  ├─ テキスト分類          → scomp-link text --data file.csv --text-col msg --target label
│  ├─ クラスタリング        → scomp-link cluster --data file.csv --n-clusters 5
│  └─ YAMLによる完全パイプライン → scomp-link pipeline --config pipeline.yaml
├─ ハイパーパラメータチューニング → scomp-link tune --data file.csv --target y --task regression --method optuna
├─ 保存済みモデルで予測    → scomp-link predict --artifact model.scomp --data new.csv
├─ テストデータで検証      → scomp-link validate --artifact model.scomp --data test.csv --target y
├─ モデルの決定を説明      → scomp-link explain --artifact model.scomp --data test.csv
├─ 本番監視
│  ├─ ドリフトのみ          → scomp-link drift --reference train.csv --current prod.csv
│  ├─ 完全監視              → scomp-link monitor --reference train.csv --current prod.csv --artifact model.scomp
│  └─ 異常検知              → scomp-link anomaly --data prod.csv --methods iforest,lof,tabnet,transformer
├─ 公平性/バイアスをチェック → scomp-link fairness --data preds.csv --target y_true --predicted y_pred --sensitive gender
├─ 時系列予測              → scomp-link forecast --data series.csv --column value --horizon 30
├─ モデルを比較            → scomp-link compare --artifacts v1.scomp v2.scomp
├─ HTMLレポートを生成      → scomp-link report --data file.csv --output report.html
├─ REST APIとして提供      → scomp-link serve --artifact model.scomp --port 8080
├─ ONNX / pickleにエクスポート → scomp-link export --artifact model.scomp --format onnx
└─ 新規プロジェクトをスキャフォールド → scomp-link init my_project

推奨ワークフロー

標準MLパイプライン

# 1. データをプロファイリング
scomp-link describe --data train.csv --format table

# 2. データ品質をチェック
scomp-link quality --data train.csv --output quality_report.html

# 3. 特徴量エンジニアリング
scomp-link engineer --data train.csv --target price --interactions --log-transform --output engineered.csv

# 4. ハイパーパラメータチューニング
scomp-link tune --data engineered.csv --target price --task regression --method optuna --n-trials 100 --save-artifact best_model.scomp

# 5. ホールドアウトテストデータで検証
scomp-link validate --artifact best_model.scomp --data test.csv --target price --report validation.html

# 6. 説明
scomp-link explain --artifact best_model.scomp --data test.csv

# 7. デプロイ
scomp-link serve --artifact best_model.scomp --port 8080

YAMLパイプライン(オールインワン)

# pipeline.yaml
data: train.csv
target: price
task: regression
engineer:
  interactions: true
  log_transform: true
tune:
  method: optuna
  n_trials: 50
validate:
  test_data: test.csv
  report: validation_report.html
save: models/price_model.scomp
scomp-link pipeline --config pipeline.yaml

可視化とレポート

scomp-linkには3つの可視化エンジンがあります。詳細はvisualization-guide.mdを参照してください。

クイックリファレンス

エンジン最適な用途出力インタラクティブ性
Plotly標準的なMLチャート(ヒストグラム、散布図、棒グラフ)HTML(インタラクティブ)はい
RAWGraphs出版品質の図(サンキー、ツリーマップ、コード図)SVG(静的)いいえ
Highcharts時系列(ストリームグラフ、ヒートマップ、ガント)HTML(インタラクティブ)はい

HTMLレポートの作成(Python API)

from scomp_link.utils.report_html import ScompLinkHTMLReport
from scomp_link.utils.plotly_utils import histogram, barchart, linechart, area_chart
from scomp_link.utils.highcharts import streamgraphs, calendar_heatmap, calendar_gantt
from scomp_link.utils.rawgraphs import treemap, sankey_diagram, sunburst

# 1. 初期化
report = ScompLinkHTMLReport(title='分析レポート')

# 2. セクションを追加
report.open_section("データ概要")
report.add_title("データセット統計")
report.add_text("10,000件の顧客レコードの分析。")
report.add_dataframe(summary_df, "要約統計量")
report.close_section()

# 3. チャートを追加
report.open_section("分布")
fig = histogram(df['age'].values, "年齢分布")
report.add_graph_to_report(fig, "年齢ヒストグラム")
report.close_section()

# 4. RAWGraphsのSVGを追加
report.open_section("階層ビュー")
svg = treemap(labels, parents, values, "カテゴリ別収益")
report.add_rawgraphs_to_report(svg, "収益ツリーマップ")
report.close_section()

# 5. Highchartsを追加
report.open_section("時系列トレンド")
html_stream = streamgraphs("売上トレンド", dates, series_dict, area=True)
report.html_report += html_stream  # HighchartsはHTMLを直接追加
report.close_section()

# 6. 保存
report.save_html('analysis_report.html')
report.save_pdf('analysis_report.pdf')  # Playwrightが必要

利用可能なチャート(31 RAWGraphs + 5 Plotly + 3 Highcharts)

比較:barchart、barchartmultiset、barchartstacked、piechart、radarchart、voronoidiagram 分布:beeswarm、boxplot、violinplot 時系列:bumpchart、gantt_chart、horizongraph、linechart、slopechart、streamgraph 相関:bubblechart、contour_plot、convex_hull、hexagonal_binning、matrixplot、parallelcoordinates 階層:circlepacking、circular_dendrogram、dendrogram、sunburst、treemap、voronoi_treemap ネットワーク:alluvial_diagram、arc_diagram、chord_diagram、sankey_diagram Plotly:histogram、multiple_histograms、barchart、linechart、area_chart Highcharts:streamgraphs、calendar_heatmap、calendar_gantt

連結パターン

コマンドはチェーンするように設計されています — あるコマンドの出力が次のコマンドの入力になります:

describe → (列を理解) → engineer → (engineered.csv) → tune → (model.scomp) → validate → (メトリクス)
                                                                                ↓
                                                                         predict (新しいデータ)
                                                                                ↓
                                                                         serve (REST API)

キーパターン:

  • --save-artifact model.scomp → predict / validate / explain / export / serve で --artifact model.scomp として使用
  • --output file.csv → 次のコマンドで --data file.csv として使用
  • --report file.html → スタンドアロンのHTML出力(ブラウザで表示可能)
  • --plot file.html → forecast / drift / anomaly / cluster / compare のチャート出力

よくあるエラーと修正方法

エラー原因修正方法
ValueError: could not convert string to float数値モデルにカテゴリ列が含まれている--engineer フラグを使用するか、カテゴリ変数を前処理する
FileNotFoundError: artifact not found.scompファイルへのパスが間違っているパスが存在することを確認し、絶対パスを使用する
ImportError: torch requiredNLP/ディープラーニングの依存関係が不足pip install scomp-link ですべての依存関係がインストールされる
ArrowInvalid: 1-dimensional array前処理中の画像/配列データv1.2.0で修正 — scomp-linkをアップデート
No module named 'click'spaCyの依存関係が不足pip install click(推移的依存関係)
WeasyPrint: cannot load gobjectPDF用のシステムライブラリが不足WeasyPrintの代わりに save_pdf()(Playwright)を使用

MCPサーバー

scomp-linkにはエージェント統合用のMCPサーバーが含まれています:

# MCPサーバーを起動(Claude Desktop / Kiro / Cursor用のstdioモード)
scomp-link mcp

# または直接実行
python -m scomp_link.mcp_server

完全なワークフロー例はworkflow-patterns.mdを参照してください。

関連スキル