写真深度化: 場所のように振る舞う画像
0. セットアップ MoGe-2 を使うPython環境(一度だけ。ダウンロード前に確認) scripts/setup.sh
1. 深度化 画像 → 近接マップ(+ 16ビット距離、カメラ、生npz) scripts/depth.py
2a. ウィンドウ three.jsで画像を窓のように表示 examples/portal.js
2b. 配置 画像自身の3D空間内の平面と点 scripts/fit_plane.py
3. 確認 実際に使用するであろう極端な視点から確認
scripts/ と examples/ は、このスキル自身のディレクトリ(プラグインでもコピーされたスキルでも ${CLAUDE_SKILL_DIR})内のフォルダを指し、ユーザーのプロジェクトではありません。S をその scripts/ フォルダに設定し、"$S/depth.py" などのスクリプトをフルパスで実行してください。
0. セットアップ(一度だけ)
まず確認:import moge が動作する既存の環境があれば再利用可能です(ユーザーにその場所を尋ねてください)。そうでなければ、ダウンロード前にユーザーに確認を求め、ダウンロード内容を明示してください。PyTorchとPyPIからのヘルパー(インストール後約1 GB)、MoGeのソースとGitHubからの2つの小さなライブラリ(固定コミット、数 MB)、および後でモデルウェイト(約1.3 GB、Hugging Face上の Ruicheng/moge-2-vitl)です。その後:
"$S/setup.sh" <環境用フォルダ> --yes
詳細、GPUに関する注意、その他のモデルについては、references/setup.md を参照してください。
1. 深度化
<env>/.venv/bin/python "$S/depth.py" picture.jpg --out public/depth/ [--dist16] [--npz]
- 常に
<stem>-near.webpを書き出します:近接度(視差)。0 は空、1 は最も近い物体。物体のエッジが動きに追従するよう、エッジは2ピクセル拡大されます。1~2K画像で10~25 KB。 --dist16:<stem>-dist16.webp(対数距離を16ビット、R高G低、ロスレス)と<stem>-camera.json(推定された内部パラメータ)を出力。画像をサーフェスとして再構築するため。--npz:fit_plane.py用の生のメートル深度。--allow-downloadが渡されない限り、ウェイトのダウンロードを拒否します。最初にユーザーに確認してください。- 有効割合、深度パーセンタイル、推定視野角を出力します。これらを読んでください:「有効20%」や視野角150°は、モデルが画像を理解できなかったことを意味します。
画像が変更されたら常に再実行してください。古いバージョンの画像からの深度マップは、すべてのエッジを誤って配置します。
2a. ウィンドウ
examples/portal.js は自己完結型の three.js マテリアルです(プロジェクトにコピーしてください)。画像は 静止点(デフォルトのカメラ位置)から見たシーンです。他の場所からは、ガラスの各ピクセルは、視線に沿って見えるものを表示します。これは近接マップを16ステップでウォークすることで実現され、近い物体が遠い物体を覆い、エッジが破綻しません。詳細、調整、および失敗モードについては、references/portal.md を参照してください。
import { makePortal } from "./portal.js";
const portal = makePortal({ map, near, width: 4, height: 2.5 });
scene.add(portal.mesh); portal.setRest(defaultCameraPosition);
// 毎フレーム: portal.update(camera);
examples/portal.html は1ファイルのデモです。画像、その近接マップ、portal.js、およびページを含むフォルダをサーブし、portal.html?pic=<ファイル>&near=<ファイル> を開き、ポインタを移動します。
実際に見られる方法で確認してください: サイトが実際に使用する最も左、最も右、最も上、最も下の位置にカメラを固定し(自動チェックのために、デモは window.__view = [x, y] を尊重します)、それぞれを確認します:
- まったく奥行きが見えない? 実サイトでこの効果の最初のバージョンは、弱すぎて気づかれませんでした:
uQ.yを下げてください(0.6 → 0.4)。 - 近いものがフレームに対して最も動く、または空が揺れる? 深度が逆(距離が近接度として使用されている)です。
- 大きな移動でにじみや二重オブジェクトが発生:1枚の画像には、近い物体の背後に何もありません。カメラの移動を小さく保つか、エフェクトを緩和する(
uEase)、または背景レイヤーをペイントしてください(references/placing.md)。
2b. 画像内への配置
<env>/.venv/bin/python "$S/fit_plane.py" plane out/city-depth.npz --box 410,120,520,260
<env>/.venv/bin/python "$S/fit_plane.py" plane out/city-depth.npz --box 410,120,520,260 --corners 415,128 515,124 516,250 414,255
<env>/.venv/bin/python "$S/fit_plane.py" point out/city-depth.npz 640,700
ピクセルは画像自身のものです(--norm で0~1)。出力は three.js カメラ空間(カメラは原点で -Z 方向を見る、メートル単位)のJSONです。flatness_rms_m は領域が実際にどの程度平坦かを示します:40 m 離れた壁で数センチメートルは平坦です。コーナーはパネル自身のエッジの内側(それを囲むボックスではない)で選択し、看板が歪んで見えないようにします。画像全体を3Dサーフェスとして再構築する場合、破れたエッジ、背景レイヤーについては、references/placing.md を参照してください。
ルール
- ライセンス: MoGe-2のコードとウェイトはMITライセンスです。いくつかの人気のある深度モデルは、商用利用が許可されていません(references/setup.md 参照)。クライアントや作品を販売するポートフォリオのためにモデルを切り替える前に確認してください。
- 画像自身のライセンスは、そこから作成されたすべてのものにも適用されます。
- アルファチャンネルのマスク: 画像がアルファチャンネルにマスク(水、空)を持っている場合、WebPをロスレスで正確なRGBで保存してください(
cwebp -lossless -exact、Pillowexact=True)。ロッシーアルファは透明ピクセルの下の色をゼロにし、にじませます。 - 何かをダウンロードする前に確認を求め(パッケージ、ウェイト)、何を、どこから、どのくらいのサイズかを明示してください。