fclo3635/ホログラムビルダー

ホログラムビルダー は何をしますか？

ジェスチャーベースのハンドトラッキングとAIを使用して、3Dオブジェクトをリアルタイムで構築・操作します。ElectronとThree.jsを搭載したクロスプラットフォームデスクトップアプリケーションです。

はじめに

このアプリケーションは、手のジェスチャーを認識して3D空間内でオブジェクトを操作するためのツールです。AIが補助機能を提供し、より直感的なモデリング体験を実現します。

主な機能

• ハンドトラッキング: カメラを使って手の動きをリアルタイムで追跡
• ジェスチャー認識: 特定の手の形でオブジェクトの選択、移動、変形
• AI支援: 機械学習によるオブジェクトの自動生成とレイアウト最適化
• クロスプラットフォーム: Windows、macOS、Linuxで動作

技術スタック

• Electron: デスクトップアプリケーションフレームワーク
• Three.js: 3Dレンダリングエンジン
• TensorFlow.js: ハンドトラッキング用機械学習
• Node.js: バックエンド処理

インストール

# リポジトリをクローン
git clone https://github.com/fclo3635/hologram-builder.git
cd hologram-builder

# 依存関係をインストール
npm install

# アプリケーションを起動
npm start

使用方法

1. アプリケーションを起動すると、カメラへのアクセス許可を求められます。許可してください。
2. 手をカメラの前にかざすと、手の骨格が検出されます。
3. 以下のジェスチャーで操作します:
   • 握る: オブジェクトを選択
   • 開く: オブジェクトを解放
   • スワイプ: オブジェクトを移動
   • ピンチ: オブジェクトを拡大縮小
4. AIアシスタントは、"新しい球体を作成" などの音声コマンドにも対応しています。

設定

設定ファイル (config.json) で以下の項目を変更できます:

{
  "camera": {
    "deviceId": "default",
    "resolution": [640, 480]
  },
  "gesture": {
    "sensitivity": 0.8,
    "smoothing": 0.5
  },
  "ai": {
    "modelPath": "./models/",
    "autoGenerate": true
  }
}

開発者向け情報

ビルド

npm run build

テスト

npm test

貢献

プルリクエストは歓迎します。大きな変更を加える場合は、まずイシューを開いて変更内容を議論してください。

ライセンス

MIT