Community画像github.com

写真深度化

1枚の写真、絵画、またはAI生成画像にWeb上で本物の奥行きを与えます。MoGe-2(MITライセンス)で深度マップを推定し、three.jsシーンでウィンドウのように動作させる(カメラ移動時にエッジが破綻しないパララックス)か、画像内の位置を特定します(壁や看板に平面をフィッティングして看板を設置、キャラクターの下の地面、ピクセル下の3D点を特定)。背景、ポータル、スカイボックス画像やマットペイントが平面的に見えるのを防ぎたい場合、深度マップ、パララックス、2.5D、MoGe、Depth Anything、単眼深度が話題に上った場合、または画像に3Dオブジェクトを配置する必要がある場合に使用します。

写真深度化 とは?

このスキルは、1枚の画像から単眼深度推定を行い、Web上でインタラクティブな3D効果を実現するためのツールセットです。MoGe-2モデル(MITライセンス)を使用して深度マップを生成し、その深度情報を活用した2つの主要機能を提供します。「ウィンドウ」機能では、three.jsを使って画像をまるで窓のように動作させ、カメラが移動してもパララックス効果が持続し、エッジが破綻しません。一方、「配置」機能では、画像内の壁や地面などの平面を識別し、その上に3Dオブジェクトを配置するための3D座標を計算できます。このスキルは、背景画像を3Dシーンに自然に溶け込ませたい、あるいは画像内に正確に3Dオブジェクトを配置したいあらゆる開発者にとって有用です。CLAUDE_SKILL_DIR内のスクリプトを使用し、Python環境で動作します。セットアップ時にユーザーに確認を促し、ライセンス(MoGe-3はMITライセンス)と元画像のライセンスに注意する必要があります。

対応✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/skyeyesec333/photo-depth/tree/main/skills/photo-depth

Installed? Explore more 画像 skills: steipete/songsee, affaan-m/frontend-design, mattpocock/improve-codebase-architecture · View all 6 →

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

写真深度化: 場所のように振る舞う画像

0. セットアップ     MoGe-2 を使うPython環境(一度だけ。ダウンロード前に確認)        scripts/setup.sh
1. 深度化     画像 → 近接マップ(+ 16ビット距離、カメラ、生npz)                     scripts/depth.py
2a. ウィンドウ   three.jsで画像を窓のように表示                                    examples/portal.js
2b. 配置    画像自身の3D空間内の平面と点                                    scripts/fit_plane.py
3. 確認     実際に使用するであろう極端な視点から確認

scripts/ と examples/ は、このスキル自身のディレクトリ(プラグインでもコピーされたスキルでも ${CLAUDE_SKILL_DIR})内のフォルダを指し、ユーザーのプロジェクトではありません。S をその scripts/ フォルダに設定し、"$S/depth.py" などのスクリプトをフルパスで実行してください。

0. セットアップ(一度だけ)

まず確認:import moge が動作する既存の環境があれば再利用可能です(ユーザーにその場所を尋ねてください)。そうでなければ、ダウンロード前にユーザーに確認を求め、ダウンロード内容を明示してください。PyTorchとPyPIからのヘルパー(インストール後約1 GB)、MoGeのソースとGitHubからの2つの小さなライブラリ(固定コミット、数 MB)、および後でモデルウェイト(約1.3 GB、Hugging Face上の Ruicheng/moge-2-vitl)です。その後:

"$S/setup.sh" <環境用フォルダ> --yes

詳細、GPUに関する注意、その他のモデルについては、references/setup.md を参照してください。

1. 深度化

<env>/.venv/bin/python "$S/depth.py" picture.jpg --out public/depth/ [--dist16] [--npz]
  • 常に <stem>-near.webp を書き出します:近接度(視差)。0 は空、1 は最も近い物体。物体のエッジが動きに追従するよう、エッジは2ピクセル拡大されます。1~2K画像で10~25 KB。
  • --dist16:<stem>-dist16.webp(対数距離を16ビット、R高G低、ロスレス)と <stem>-camera.json(推定された内部パラメータ)を出力。画像をサーフェスとして再構築するため。
  • --npz:fit_plane.py 用の生のメートル深度。
  • --allow-download が渡されない限り、ウェイトのダウンロードを拒否します。最初にユーザーに確認してください。
  • 有効割合、深度パーセンタイル、推定視野角を出力します。これらを読んでください:「有効20%」や視野角150°は、モデルが画像を理解できなかったことを意味します。

画像が変更されたら常に再実行してください。古いバージョンの画像からの深度マップは、すべてのエッジを誤って配置します。

2a. ウィンドウ

examples/portal.js は自己完結型の three.js マテリアルです(プロジェクトにコピーしてください)。画像は 静止点(デフォルトのカメラ位置)から見たシーンです。他の場所からは、ガラスの各ピクセルは、視線に沿って見えるものを表示します。これは近接マップを16ステップでウォークすることで実現され、近い物体が遠い物体を覆い、エッジが破綻しません。詳細、調整、および失敗モードについては、references/portal.md を参照してください。

import { makePortal } from "./portal.js";
const portal = makePortal({ map, near, width: 4, height: 2.5 });
scene.add(portal.mesh); portal.setRest(defaultCameraPosition);
// 毎フレーム: portal.update(camera);

examples/portal.html は1ファイルのデモです。画像、その近接マップ、portal.js、およびページを含むフォルダをサーブし、portal.html?pic=<ファイル>&near=<ファイル> を開き、ポインタを移動します。

実際に見られる方法で確認してください: サイトが実際に使用する最も左、最も右、最も上、最も下の位置にカメラを固定し(自動チェックのために、デモは window.__view = [x, y] を尊重します)、それぞれを確認します:

  • まったく奥行きが見えない? 実サイトでこの効果の最初のバージョンは、弱すぎて気づかれませんでした:uQ.y を下げてください(0.6 → 0.4)。
  • 近いものがフレームに対して最も動く、または空が揺れる? 深度が逆(距離が近接度として使用されている)です。
  • 大きな移動でにじみや二重オブジェクトが発生:1枚の画像には、近い物体の背後に何もありません。カメラの移動を小さく保つか、エフェクトを緩和する(uEase)、または背景レイヤーをペイントしてください(references/placing.md)。

2b. 画像内への配置

<env>/.venv/bin/python "$S/fit_plane.py" plane out/city-depth.npz --box 410,120,520,260
<env>/.venv/bin/python "$S/fit_plane.py" plane out/city-depth.npz --box 410,120,520,260 --corners 415,128 515,124 516,250 414,255
<env>/.venv/bin/python "$S/fit_plane.py" point out/city-depth.npz 640,700

ピクセルは画像自身のものです(--norm で0~1)。出力は three.js カメラ空間(カメラは原点で -Z 方向を見る、メートル単位)のJSONです。flatness_rms_m は領域が実際にどの程度平坦かを示します:40 m 離れた壁で数センチメートルは平坦です。コーナーはパネル自身のエッジの内側(それを囲むボックスではない)で選択し、看板が歪んで見えないようにします。画像全体を3Dサーフェスとして再構築する場合、破れたエッジ、背景レイヤーについては、references/placing.md を参照してください。

ルール

  • ライセンス: MoGe-2のコードとウェイトはMITライセンスです。いくつかの人気のある深度モデルは、商用利用が許可されていません(references/setup.md 参照)。クライアントや作品を販売するポートフォリオのためにモデルを切り替える前に確認してください。
  • 画像自身のライセンスは、そこから作成されたすべてのものにも適用されます。
  • アルファチャンネルのマスク: 画像がアルファチャンネルにマスク(水、空)を持っている場合、WebPをロスレスで正確なRGBで保存してください(cwebp -lossless -exact、Pillow exact=True)。ロッシーアルファは透明ピクセルの下の色をゼロにし、にじませます。
  • 何かをダウンロードする前に確認を求め(パッケージ、ウェイト)、何を、どこから、どのくらいのサイズかを明示してください。

関連スキル