3Dコンピュータビジョンラベリングエキスパート (2026) は何をしますか？
自動運転車、ロボティクス、インフラ点検、地理空間アプリケーションにおけるLiDAR/点群コンピュータビジョン向けの3Dアノテーションツール、AI支援ラベリングワークフロー、トレーニングアーキテクチャに関する専門的なガイダンス。
このスキルを使用すべき場合
✅ 使用するケース:
- 3D点群アノテーションツールの選定 (BasicAI, Supervisely, Segments.ai, Deepen AI)
- SAM4D/Point-SAMを用いた自動ラベリングワークフローの実装
- Human-in-the-Loopアノテーションパイプラインの設計
- センサーフュージョンアノテーション (カメラ + LiDAR + レーダー)
- トレーニングアーキテクチャの意思決定: 専用モデル vs VLM
- 垂直特化型3D検出 (自動運転、点検、農業、山火事)
❌ 使用しないケース:
- 3Dコンテキストがない2D画像ラベリング (clip-aware-embeddings または Label Studio ドキュメントを使用)
- 一般的なMLモデルのトレーニング (ml-engineer を使用)
- 点群を伴わないビデオアノテーション (computer-vision-pipeline を使用)
- VLMプロンプトエンジニアリング (prompt-engineer を使用)
- フォトグラメトリー/3D再構成 (ジオプロセッシングツールを使用)
2026年のツールランドスケープ概要
商用リーダー
| ツール | 強み | 最適な用途 | 主要なAI機能 |
|---|---|---|---|
| BasicAI | ワンクリック検出 | 自動運転 | AV向けに微調整された事前ラベリングモデル |
| Supervisely | カスタマイズ性 | 研究開発チーム | AIトラッキング、2D→3Dシングルクリック |
| Segments.ai | 2D+3D同期 | ロボティクス知覚 | シーケンシャルプロパゲーション |
| Deepen AI | センサーキャリブレーション | 社内知覚 | ピクセルパーフェクトなマルチセンサー |
| Dataloop | エンタープライズMLOps | 大規模アノテーションチーム | モデルアシスト + 点群フォーカス |
| Encord | 完全なワークフロー | マルチモーダルプロジェクト | トラックID管理 |
| Ango Hub (iMerit) | 高密度アノテーション | 複雑なマルチモーダル | フレーム間プロパゲーション |
オープンソースオプション
| ツール | 成熟度 | 制限事項 |
|---|---|---|
| CVAT | 安定 | 3Dバウンディングボックスのみ、補間機能に限り |
| 3D BAT | 良好 | 全方位アノテーション、半自動トラッキング |
| Label Studio | 部分的な3D | マルチフォーマット向き、3D特化ではない |
3D向けSAMの進化 (2024-2026)
SAM4D (ICCV 2025) - マルチモーダル + 時間的
主要な革新: UMPE（統一マルチモーダル位置エンコーディング）により、カメラとLiDARを共有3D空間で位置合わせ。
カメラストリーム → 特徴抽出 → ┐
├→ UMPEアラインメント → プロンプト可能な3Dセグメンテーション
LiDARストリーム → 点群エンコーディング → ┘
データエンジンのブレークスルー: 人間によるアノテーションより100倍以上高速な自動疑似ラベル生成。以下を使用:
- VFM駆動のビデオマスクレット
- 時空間4D再構成
- クロスモーダルマスクレット融合
データセット: Waymo-4DSeg (30万以上のカメラ-LiDAR位置合わせマスクレット)
Point-SAM (ICLR 2025) - ネイティブ3Dプロンプティング
アーキテクチャ: 2Dから適応されたものではなく、点群専用に設計された効率的なトランスフォーマー。
知識蒸留: 2D SAM → 3D Point-SAM へのデータエンジン経由の蒸留。以下を生成:
- パーツレベルの疑似ラベル
- オブジェクトレベルの疑似ラベル
ベンチマーク: 屋内 (ScanNet) および屋外 (nuScenes, Waymo) データセットで最先端を達成。
SAMNet++ (2025) - ハイブリッドパイプライン
2段階アプローチ:
- SAMによる教師なしセグメンテーション
- 適応されたPointNet++によるセマンティック精度の洗練
最適な用途: L1 LiDAR + RGBカメラからカラー化された点群が利用可能なUAV/ドローンワークフロー。
Human-in-the-Loopアーキテクチャ
Model-in-the-Loopパラダイム (2023-2026)
従来のアプローチ: 人間がラベル → モデルをトレーニング → デプロイ 新しいアプローチ: モデルがアシスト → 人間が検証 → 迅速な反復
┌─────────────────────────────────────────────────────────┐
│ ラベリングパイプライン │
├─────────────────────────────────────────────────────────┤
│ 生データ → AI事前ラベル → 人間レビュー → QAチェック │
│ │ │ │ │ │
│ │ SAM4D/VLM 修正のみ コンセンサス │
│ │ が提案を生成 AIが不確かな サンプリング │
│ │ 箇所のみ │
└─────────────────────────────────────────────────────────┘
効率性の向上
| アプローチ | 10,000フレームあたりの時間 | アノテーション品質 |
|---|---|---|
| 手動のみ | 400時間 | 95% (エキスパート) |
| AI事前ラベル + レビュー | 50時間 | 97% (AI+人間) |
| SAM4Dデータエンジン | 4時間 | 92% (疑似) |
80/20ルール: MLプロジェクト時間の約80%はデータ準備。Model-in-the-Loopによりこれを大幅に削減。
品質保証戦略
- コンセンサスサンプリング: サブセットに対して複数のアノテーターが作業し、一致率を測定
- アクティブラーニング: 不確かな予測を専門家にルーティング
- 階層化レビュー: Tier 1 (重要オブジェクト) はSME検証必須、Tier 2/3はAI信頼度しきい値を使用
3DにおいてVLMよりも専門トレーニングが優れている理由
核心的なトレードオフ
| 側面 | 専用モデル (YOLO, PointPillars) | VLM (GPT-4V, Gemini) |
|---|---|---|
| レイテンシ | 10-50ms (リアルタイム) | 500-2000ms |
| 3D精度 | 強力な幾何学的事前知識 | ノイズの多いテキスト-3Dアラインメント |
| 新奇オブジェクト | クローズドセット (トレーニングしたもの) | オープンボキャブラリ |
| 計算リソース | エッジ展開可能 | GPUクラスター必須 |
| ハルシネーション | なし (決定論的) | あり (セーフティクリティカルなリスク) |
| ドメインシフト | 苦手 (霧、夜間) | より良い汎化 |
各アプローチを使用すべき場合
専用モデルを使用すべき場合:
- リアルタイム推論が必要な場合 (自動運転車、ロボティクス)
- 既知のオブジェクトクラス (インフラ欠陥、作物の種類)
- セーフティクリティカルなデプロイメント (ハルシネーションを許容できない)
- エッジデプロイメント (ドローン、組み込みシステム)
VLM/ファンデーションモデルを使用すべき場合:
- 新しいドメインのゼロショット探索
- トレーニングデータの生成 (弱ラベル)
- オープンボキャブラリ要件 ("破損しているものをすべて見つけて")
- ドメイン適応のブートストラッピング
ハイブリッドアーキテクチャ (2025+ ベストプラクティス)
┌───────────────────────┐
│ VLM (スローブレイン) │
│ • シーン理解 │
│ • オープンボキャブラリ│
│ • 異常検知 │
└──────────┬────────────┘
│ 高レベルコンテキスト
▼
┌──────────────────────────────────────────────────────────┐
│ 専用検出器 (ファストブレイン) │
│ • リアルタイム推論 (YOLO, PointPillars, CenterPoint) │
│ • 既知オブジェクトの検出とトラッキング │
│ • セーフティクリティカルな意思決定 │
└──────────────────────────────────────────────────────────┘
例:
- VOLTRON: YOLOv8 + LLaMA2 による危険性識別
- DrivePI: 点群 + マルチビュー + 言語命令 (0.5B Qwen2.5)
垂直特化型トレーニングアーキテクチャ
インフラ点検
オブジェクト: 電柱、碍子、導体、植生、損傷タイプ センサーフュージョン: RGB + 熱 + LiDAR トレーニングデータに必要なもの:
- 熱異常サンプル (様々な温度)
- 損傷分類 (ひび割れ、腐食、錆のグレード)
- 植生クリアランス測定
アーキテクチャ:
LiDAR → 点群エンコーダ → ┐
熱 → 2Dエンコーダ → ├→ フュージョン → マルチタスクヘッド
RGB → 2Dエンコーダ → ┘ ├→ 物体検出
├→ 欠陥分類
└→ クリアランス回帰
自動運転
オブジェクト: 車両、歩行者、自転車、交通標識、車線区画線 主要要件: 時間的一貫性 (フレーム間のトラックID) トレーニングデータに必要なもの:
- ロングテールシナリオ (緊急車両、動物、破片)
- 悪天候 (霧、雨、雪、夜間)
- エッジケース (工事区域、事故)
アーキテクチャ: BEV（鳥瞰図）表現を用いたCenterPoint、PointPillars、またはVoxelベースの検出器。
農業/山火事
オブジェクト: 作物列、樹冠高、燃料負荷量、火災延焼境界 センサーフュージョン: RGB + マルチスペクトル + LiDAR トレーニングデータに必要なもの:
- 作物の成長段階
- 病気/害虫の視覚的特徴
- LiDAR CHM（樹冠高モデル）からの燃料負荷密度
なぜVLMだけではダメか？ VLMは以下が不可能:
- 正確な高さの測定 (LiDAR回帰)
- ハイパースペクトル波長での分類
- プリスクリプションマップのための空間精度の維持
よくあるアンチパターン
アンチパターン: 「すべてにSAMを使う」
初心者の考え方: 「SAMはすべてをセグメント化するので、LiDARデータにもそのまま実行すればよい」
現実:
- SAM 1/2は2Dモデルであり、3Dジオメトリを理解しない
- 点群にはPoint-SAMまたはSAM4Dが具体的に必要
- そのまま適用すると、幾何学的な事前知識なしにノイズの多いマスクを生成する
正しいアプローチ: ネイティブ3DにはPoint-SAMを使用するか、2Dに投影してSAM→3Dにリフトする。
アンチパターン: 人間による検証の省略
初心者の考え方: 「AI事前ラベルの精度は95%なので、レビューは省略できる」
現実:
- 100,000個のオブジェクトに対する5%のエラー = 5,000個の誤ったラベル
- エッジケースではエラーが増幅される (まさに精度が必要な箇所)
- モデルはアノテーションの誤りを再現することを学習する
正しいアプローチ: Tier 1（セーフティクリティカル）は常に人間が検証する。Tier 2/3には信頼度しきい値を使用する。
アンチパターン: VLMによるリアルタイム推論
初心者の考え方: 「GPT-4Vは私の写真の損傷を識別できる」
現実:
- フレームあたり500-2000msのレイテンシ
- エッジデバイスでは実行不可
- セーフティクリティカルなコンテキストでのハルシネーションリスク
正しいアプローチ: VLMはデータ生成/探索に、専用モデルはデプロイメントに使用する。
アンチパターン: 単一モーダルトレーニング
初心者の考え方: 「3D検出にはLiDARで十分」
現実:
- LiDAR: 正確なジオメトリ、色/テクスチャなし
- カメラ: リッチなセマンティクス、深度なし
- フュージョンは単一モーダルより5-15% mAPが高い
正しいアプローチ: 初日からセンサーフュージョン。SAM4Dはフュージョン疑似ラベルが単一モーダルより優れていることを示している。
意思決定ツリー: アプローチの選択
リアルタイム推論が必要か？
/ \
YES NO
| |
専用検出器を使用 これは探索か？
(YOLO, CenterPoint) / \
| YES NO
ラベル付きデータはあるか？ | |
/ \ VLMを使用 SAM4Dで疑似
YES NO ゼロショット ラベルを生成
| |
モデルをトレーニング SAM4D/Point-SAMで
自動ラベリング
ツール選択決定マトリクス
| 要件 | 推奨ツール |
|---|---|
| 大規模な自動運転 | Deepen AI または BasicAI |
| 研究開発/研究の柔軟性 | Supervisely または Segments.ai |
| マルチモーダル (カメラ+LiDAR+レーダー) | Ango Hub または Dataloop |
| セルフホスト/オープンソース | CVAT + 3Dプラグイン または 3D BAT |
| ロボティクス知覚 | Segments.ai (2D+3D同期) |
| 予算重視 | Label Studio + カスタムスクリプト |
参考資料
/references/sam4d-architecture.md- SAM4DのUMPEとデータエンジンの詳細/references/tool-comparison-matrix.md- 全ツールの詳細な機能比較/references/hybrid-architecture-examples.md- VOLTRON、DrivePIの実装パターン/references/vertical-training-recipes.md- インフラ、自動運転、農業の詳細