CommunityBildgithub.com

Foto-Szene-Rekonstruktion

Erstelle eine Blender-Szene aus einem Referenzfoto, das wie eine Aufnahme aus derselben Kamera wirkt – mit einem Multi-Agenten-System, Render-Vergleichs-Schleife, festgelegter Detailreihenfolge und echtem Mesh statt primitiver Platzhalter.

Was ist Foto-Szene-Rekonstruktion?

Dieses Skill beschreibt eine bewährte Methode zur fotorealistischen 3D-Rekonstruktion einer Referenzfotografie in Blender. Es setzt auf ein Multi-Agenten-System, bei dem verschiedene Domänen (z. B. Licht, Straße, Gebäude, Heldenelement) parallel arbeiten, jedoch strengen Verträgen folgen. Die Kamera wird aus dem Foto gelöst (Fluchtpunkte, Brennweite, Neigung) und für die gesamte Szene eingefroren. Die Arbeit folgt einer festen Reihenfolge (Silhouette → Proportion → Farbe → Kleinteile → Variation und Abnutzung), wobei jeder Schritt eine ‚Gate‘-Bedingung erfüllen muss, bevor der nächste beginnt. Komplexe Objekte (Bäume, Fahrzeuge, Skulpturen) müssen aus echten Meshes bestehen, die über eine Beschaffungsleiter (eigene Bibliothek → Poly Haven → generierter Mesh) bezogen werden. Die Methode wird durch eine ‚CG-Tell‘-Checkliste und eine ständige Render-Vergleichs-Schleife mit dem Originalfoto ergänzt, um Abweichungen sofort sichtbar zu machen. Unterstützte Plattformen sind Blender (Version 5.1, Cycles), Python mit numpy, opencv und pillow sowie eine Agenten-Laufzeitumgebung, die Sub-Agenten starten kann. Der Workflow ist in Abschnitte unterteilt: Einrichtung durch den ‚Lead‘, Domänenverwaltung, iterative Render-Schleife und finale Integration mit optionalen Stimmungs-Overlays.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/liangjunglj-cpu/ginkgo-skills/tree/main/skills/photo-scene-reconstruction

Installed? Explore more Bild skills: steipete/songsee, affaan-m/frontend-design, mattpocock/improve-codebase-architecture · View all 6 →

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht Foto-Szene-Rekonstruktion?

Diese Methode wurde im November 2026 an drei Projekten entwickelt: einem Straßenfoto mit einer Straßenbahn (Freiburg), einem Platz mit einem gotischen Brunnen (dem Fischbrunnen, Freiburg) und drei code-generierten Dioramen (Stadt, Laden, Hafen). Die folgenden Beispiele stammen von diesen Projekten. Der generische Rahmen (Kamera, Orchestrator, Render- und Vergleichswerkzeuge) befindet sich im Ordner harness/ neben dieser Datei: Kopieren Sie harness/blender und harness/tools in einen neuen Ausführungsordner. Werkzeugnamen, die hier nicht in harness/ aufgeführt sind (z. B. facade_solve.py), sind domänenspezifische Sonden, die jeder Durchlauf selbst erstellt; ihr Zweck wird beschrieben, wo sie genannt werden.

Voraussetzungen: Blender (geschrieben für 5.1, Cycles), Python mit numpy, opencv und pillow für die 2D-Werkzeuge (tools/py.sh führt sie mit uv aus) und eine Agenten-Laufzeitumgebung, die Sub-Agenten starten kann.

Der Benutzer beurteilt die Detailtreue mit dem Auge, Seite an Seite mit dem Foto. Alles, was folgt, dient dazu, diesen Vergleich kostengünstig, häufig und ehrlich zu machen.

0. Lead-Einrichtung vor Start der Agenten

Der Lead (die Hauptsitzung) erledigt diese Schritte allein. Agenten starten erst, wenn alle erledigt sind.

  1. Ausführungsordner. <runs>/<szene>/ mit ref/photo.jpg, blender/, tools/, layout/, gen/, renders/, work/, final/. Kopieren Sie lib.py, arch.py, assets.py, render.py, build_scene.py und die generischen Werkzeuge (cam.py, vp.py, solve_cam.py, iterate.sh, overlay.py, edges.py, pair.py, crop.py, stats.py, py.sh, fetch_polyhaven.py, fetch_ph_model.py) aus harness/.

  2. Lösen Sie die Kamera mit tools/vp.py. Finden Sie den vertikalen Fluchtpunkt und einen horizontalen Fluchtpunkt entlang der Hauptfassade. tools/solve_cam.py ermittelt dann:

    • die Brennweite, da die beiden Richtungen im rechten Winkel zueinander stehen (gehen Sie nicht von einem Objektiv aus);
    • die Neigung aus dem vertikalen Fluchtpunkt;
    • die Drehung, so dass die Fassade entlang der Welt-X-Achse verläuft.

    Schreiben Sie das Ergebnis in layout/camera.json. Die Kamera ist dann für den gesamten Durchlauf eingefroren.

  3. Messen Sie Ankerpunkte mit tools/cam.py:

    • on_z trifft eine horizontale Ebene, on_y eine vertikale Ebene, project liefert ein Pixel, und ray gibt einen Sichtstrahl.
    • Messen Sie die Bodenlinien, Fassadenebenen und den Abstand jedes Orientierungspunkts.
    • Schreiben Sie die ersten Schätzungen des Leads als Startwerte in das Regelwerk.
    • Bei flachen Winkeln kann ein Pixel einer Bodenlinie einen halben Meter Tiefe bedeuten. Bevorzugen Sie die Höhen und Breiten bekannter Dinge (Tür 2,1 m, Auge 1,6 m, Bordstein 0,12 m) gegenüber einzelnen Bodenpunkten.
  4. Objekterfassung. Listen Sie jedes im Foto sichtbare Objekt auf und markieren Sie es als scripted oder mesh (Abschnitt 3). Diese Liste bestimmt die Domänenaufteilung und die Beschaffung der Assets.

  5. Schreiben Sie AGENTS.md für den Durchlauf: Ziel, Weltkoordinatensystem, Ankerpunkte, Domänentabelle, starre Regeln, die Schleife, die Arbeitsreihenfolge, die Abschlussregel.

1. Domänenverwaltung (wie Agenten eine Szene teilen)

Aufteilen der Szene

  • Eine Domäne = ein Modul mit build(L, ctx) + eine layout/<domäne>.json + ein Dateipräfix für alles Neue (tools/<domäne>_*.py, tex/<domäne>_*, gen/<domäne>_*).
  • Teilen Sie nach Bildschirmbereich und Art der Arbeit, nicht nach Objektanzahl. Eine gute Aufteilung gibt jedem Agenten eine Region, die er allein zuschneiden und beurteilen kann. Freiburg verwendete fünf: Licht, Straße, linke Gebäude, Heldenfassade, Requisiten.
  • Licht ist immer eine eigene Domäne und besitzt Himmel, Belichtung, Farbmanagement und Grading. Kein anderer Agent berührt die Belichtung, um sein eigenes Material richtig aussehen zu lassen.
  • Das Heldenelement (das, worauf das Auge fällt) bekommt eine eigene Domäne.
  • Vier bis sechs Domänen. Weniger, und Agenten kollidieren innerhalb einer Datei; mehr, und der Lead kann sie nicht überprüfen.

Verträge

  • build_scene.py orchestriert nur: Zusammenführen von layout/*.json in L, Erstellen der Kamera, Aufruf jedes Moduls in einer festgelegten Reihenfolge, Speichern. Keine Geometrie lebt dort.
  • Jeder Agent darf jeden Layout-Schlüssel LESEN und darf nur seine eigene Layout-Datei und sein eigenes Modul SCHREIBEN.
  • Geteilte Helfer (lib.py, arch.py, assets.py, cam.py, iterate.sh) sind eingefroren. Ein Agent, der einen geänderten Helfer benötigt, kopiert ihn unter einem neuen Namen in sein eigenes Modul. assets.py enthält die Mesh-Anpassungsschritte, sodass jede Domäne Meshes auf die gleiche Weise anpasst:
    • import_gltf importiert und setzt die XYZ-Drehung;
    • world_bounds berechnet Grenzen aus Scheitelpunkten;
    • fit skaliert auf eine gemessene Höhe oder Breite, dreht und legt den niedrigsten Scheitelpunkt auf seine Unterlage.
  • Die Domäne, die einen Ankerpunkt misst, besitzt ihn. Die Anker des Leads sind Startwerte. Die besitzende Domäne verfeinert sie und veröffentlicht das Ergebnis in ihrer Layout-Datei, z. B. L['facade']['plane_y'] oder L['fountain']['centre']. Jede andere Domäne liest den Wert aus L und kopiert die Zahl niemals in ihren eigenen Code, sodass eine Verfeinerung beim nächsten Bau alle erreicht.
  • Speichern Sie Messungen in Fotopixeln neben den abgeleiteten Weltwerten (z. B. facade.px neben facade.sec). Ein Löser-Skript (tools/facade_solve.py) wandelt Pixel in Weltzahlen um und schreibt sie in das Layout. Neu messen bedeutet dann, ein Pixel zu bearbeiten und den Löser erneut auszuführen, nicht die Koordinaten von Hand zu editieren.
  • Namen, die von anderen Modulen importiert werden, sind im Regelwerk mit der Regel "neue Funktionen hinzufügen, diese niemals ändern" aufgeführt. Domänenübergreifende Werte reisen über ctx (z. B. ctx['track_x']), nicht über Bearbeitungen.
  • build(L, ctx) muss jederzeit funktionieren. Jeder Agent baut die gesamte Szene neu, daher blockiert ein kaputtes Modul alle. Überprüfen Sie die Syntax, bevor Sie eine riskante Bearbeitung speichern.

Ausführen der Agenten

  • Jeder Agent baut in seine eigene work/<domäne>.blend; Render werden durch work/.gpu_lock serialisiert (ein Lock, der älter als 6 Minuten ist, ist veraltet). only= überspringt andere Domänen zur Geschwindigkeitssteigerung; verwenden Sie die vollständige Szene, wenn Sie Farben beurteilen, da Nachbarn Licht reflektieren.
  • Höchstens zwei oder drei Agenten, die gleichzeitig rendern. Mehrere Blender-Prozesse ließen die Windows-Auslagerungsdatei auf über 50 GB anwachsen und füllten C:. Löschen Sie die work/<domäne>.blend eines Agenten, sobald er fertig ist. Warten Sie auf eine bestimmte Prozess-ID, niemals auf "kein Blender läuft".
  • Führen Sie in Wellen aus. Welle 1 sind die Domänen, die Geometrie erzeugen (z. B. Boden, Fassade und das Heldenelement), höchstens drei gleichzeitig. Welle 2 sind Licht und die organische oder Möbel-Domäne, die die Geometrie benötigen, um Licht, Schatten und Wachstum zu setzen. Licht, das auf unfertiger Geometrie beurteilt wird, ist verschwendete Arbeit.
  • Halten Sie den Rechner wach (request_keep_awake) vor jeder Welle. Wenn der PC in den Leerlauf ging, froren Render für neun Stunden ein.
  • Runden. Nach jeder Welle oder Runde baut der Lead main, vergleicht das Rendering mit dem Foto per Auge und schreibt die schlimmsten Unterschiede als Briefings für die nächste Runde. Die Notizen des Benutzers auf einem gesendeten Vergleichsbogen, z. B. "rauere Textur" oder "Beleuchtung wirkt künstlich", werden zu einer eigenen Runde.
  • Jeder Agent behält seine letzten drei Vorschaurenders in renders/ und löscht ältere mit seinem eigenen Präfix.
  • Agenten geben kein Geld aus. Sie berichten, was ein generiertes Asset beheben würde, mit dem zu verwendenden Fotozuschnitt; der Lead bringt dies mit den Kosten zum Benutzer.
  • Agenten committen nicht, berühren kein Git und schreiben nicht außerhalb des Ausführungsordners.

Agenten-Briefing (was der Lead sendet)

Halten Sie es kurz; das Regelwerk trägt den Rest.

  • "Lesen Sie zuerst AGENTS.md." Dann: Ihre Domäne, Ihr Modul und Ihre Layout-Datei, Ihr Fotobereich in Pixeln.
  • Was bereits vorhanden ist und was daran falsch ist (nennen Sie die drei schlimmsten Unterschiede zum Foto).
  • Die Mesh-Liste für diese Domäne aus der Bestandsaufnahme, bereits in gen/ abgelegt.
  • Die Abschlussregel und das Berichtsformat (unten).

Abschluss und Integration

  • Ein Agent hört auf, wenn sein Bereich in einem 960 px großen Zuschnitt neben dem Foto bestehen kann, oder nach etwa 12 Iterationen.
  • Abschlussbericht, unter 250 Wörtern: Was sich geändert hat, was sich immer noch vom Foto unterscheidet, wo ein generiertes Asset helfen würde, das Tag des letzten Renders.
  • Der Lead baut dann work/main.blend aus allen Modulen, rendert das Vollbild und vergleicht es mit dem Foto, ohne zuerst die Berichte der Agenten zu lesen. Berichte beschreiben Absichten; das Bild ist der Beweis. Unterschiede werden zu Briefings für die nächste Runde.
  • Beleuchtungsstimmungen und Effekte werden anschließend als zerstörungsfreies Overlay auf main.blend angewendet, sodass eine Änderung des Looks niemals die genehmigte Detailtreue stört. Der Straßenbahn-Durchlauf verwendete blender/mood.py auf main.blend. Fischbrunnen führt mood/<variante>.json (geschrieben von tools/mood_make.py) tief in die Layouts ein, wenn FB_MOOD gesetzt ist; es akzeptiert eine durch Komma getrennte Liste, z. B. warm_a,film. Verwenden Sie die Fischbrunnen-Form: Die Stimmung wird durch dieselben Module neu aufgebaut und benötigt keine zweite Szenendatei.

2. Detailreihenfolge und die Schleife

Die Schleife bei jeder Änderung

tools/iterate.sh <domäne> <n> [width=480] [spp=24] [only=a,b] [x0 y0 x1 y1]

Sie baut, rendert und schreibt ovl_* (Foto | Render | 50 % Überblendung) und edg_* (Fotokanten in Rot über dem Render mit einem Pixelgitter). Mit einem Kasten in Fotopixeln rendert sie nur diese Region und schreibt crop_* (Fotoausschnitt | Renderausschnitt, vergrößert); bei einer Breite von 960 dauert das etwa 25 s. Öffnen Sie die Bilder und schauen Sie sie an. Berichten Sie niemals eine Änderung als Verbesserung, ohne den Vergleich gesehen zu haben.

Arbeiten Sie in dieser Reihenfolge; überspringen Sie keine Schritte

Jede Stufe hat ein Tor. Detail, das hinzugefügt wird, bevor ein früheres Tor passiert ist, ist verschwendet, weil es sich bewegt, wenn der frühere Fehler behoben wird.

StufeWas zu tun istTor vor dem Fortfahren
1. LesenVergrößern Sie den Fotoausschnitt Ihres Bereichs. Schreiben Sie auf, was tatsächlich vorhanden ist: Anzahl, Materialien, was berührt was.Eine geschriebene Liste existiert; jeder Punkt ist in der Bestandsaufnahme.
2. SilhouettePlatzieren Sie Massen aus cam.py-Messungen.Umrisse liegen innerhalb weniger Pixel auf den roten Kanten in edg_* bei 960 px Breite.
3. ProportionÖffnungen, Geschosslinien, Achsen, Wiederholungsanzahlen.Fenster- und Türkanten stimmen mit den Fotokanten überein; Anzahlen passen.
4. FarbeMaterialgrundfarben gemessen am Foto, vollständige Szene gebaut, Belichtung der Lichtdomäne unberührt. Vergleichen Sie Materialversionen als Albedo (Abschnitt 4.2).tools/stats.py und die Regionsprüfungen der Domäne liegen nahe am Foto, und die 50 % Überblendung zeigt keine getönten Flecken.
5. KleinteileVerkleidungen, Beschläge, Kabel, Schilder, Dachrinnen, Lampen, Straßenmobiliar. Meshes gemäß Abschnitt 3.Jeder Bestandspunkt für den Bereich existiert im Zuschnitt.
6. Variation und AbnutzungFasen, Farbvariation, Flecken unter Fensterbänken, Schlieren, Bodenabnutzung, Glaswellen und Reflexionen.Der Zuschnitt besteht den CG-Tell-Check unten und die Textur-Energie-Prüfung (Abschnitt 4.3) liegt nahe am Foto.

Regeln, die in jeder Stufe gelten:

  • Realwelt-Abmessungen, in Millimetern für Muster. Messen Sie mit cam.py; raten Sie nicht.
  • Nichts schwebt oder durchdringt sich. Dinge stehen auf dem Boden oder sind an einer Wand befestigt.
  • Eine Änderung pro Iteration, wenn Sie einer Abweichung nachgehen, damit der Vergleich zeigt, was die Änderung bewirkt hat.

CG-Tell-Check (nach jedem Rendering: "Was verrät mir noch, dass es CG ist?")

IndikatorÜbliche Behebung
Perfekt scharfe KantenFase oder Anschrägung, 2 bis 10 mm an gebauten Teilen
Einheitliche einfarbige OberflächeGemessene Farbvariation, Flecken, Schlieren, Textur im wahren Maßstab
Sichtbare WiederholungAbweichung pro Instanz in Ton, Drehung, Abnutzung
Fehlender KontaktschattenÜberprüfen, ob das Objekt den Boden berührt; Licht und Denoise prüfen
Glas ohne dahinterliegendes oder reflektiertesInnenfläche oder Tönung, echte Reflexion, leichte Welligkeit
Falscher TexturmaßstabMuster erneut in Millimetern aus dem Foto messen
Primitive geformtes ObjektDurch ein echtes Mesh ersetzen (Abschnitt 3)
Zu sauberer BodenAbnutzung, feuchte Stellen, Blätter, Fugen

Nachdem der Benutzer die Detailtreue genehmigt hat

Erst dann, in dieser Reihenfolge:

  1. Realismus-Durchgang: Fasen, Glas und Bodenabnutzung. Der Straßenbahn-Durchlauf tat dies als ein Modul (ein weather-Modul); Fischbrunnen tat es innerhalb jeder Domäne. Beides funktioniert, aber eine Domäne muss jede Oberfläche besitzen.
  2. Renderqualität: 2160 px Supersample und genaues Denoising.
  3. Sensor-Finish (Abschnitt 4.1).
  4. Beweisansichten aus anderen Winkeln (ein proof.py, das zusätzliche Kameras rendert).
  5. Beleuchtungsstimmungen.
  6. Film (Abschnitt 5).

Senden Sie bei jedem dieser Prüfpunkte ein Foto-gegen-Render-Blatt und warten Sie auf den Benutzer.

3. Meshes: Keine Primitive für komplexe Objekte

Regel: Komplexe Objekte werden niemals aus einfachen primitiven Geometrien gebaut. Verwenden Sie stattdessen ein vorhandenes echtes Mesh.

Was zählt

  • Skriptgeometrie ist erlaubt für Architektur und Infrastruktur: Wände, Platten, Dächer, Fenster- und Türrahmen, Gesimse und profilierte Verkleidungen, Bordsteine, Pflaster, Schienen, Pfosten, Drähte, flache Schilder.
  • Ein echtes Mesh ist erforderlich für alles Organische oder Objektähnliche: Bäume, Sträucher, Topfpflanzen, Menschen, Fahrzeuge, Fahrräder, Stühle, Tische, Bänke, Pflanzgefäße, Sonnenschirme, Lampen mit geformten Körpern, skulpturale Ornamente, Statuen, Stoff mit Falten.
  • Test: Wenn eine Person Ihr Gebilde als "eine Kugel auf einem Stiel", "eine Kiste mit vier Beinen" oder "einen Zylinder" beschreiben würde, ist es ein primitiver Platzhalter und nicht erlaubt, selbst als Platzhalter in einem an den Benutzer gesendeten Rendering.

Beschaffungsleiter (halten Sie beim ersten passenden an)

  1. Ihre eigene Mesh-Bibliothek. Führen Sie einen Index (Kategorie, Größe, Dreiecksanzahl, Pfad, Lizenz) jedes Requisiten-Meshes, das frühere Projekte produziert oder heruntergeladen haben, und durchsuchen Sie ihn zuerst. Wiederverwendung schlägt Kauf.
  2. Poly Haven CC0, kostenlos: tools/fetch_ph_model.py <id> (glTF 2k in gen/ph/<id>/), Texturen und Himmel mit tools/fetch_polyhaven.py <id>. Halten Sie die Downloads pro Agent unter etwa 150 MB.
  3. Generiertes Mesh, kostenpflichtig, nur über den Lead und nur, nachdem der Benutzer die Kosten gesehen hat: Meshy für weiche oder organische Requisiten und Ornamente, Tripo H3.1 detailliert für hartflächige Helden. Bereiten Sie das Mesh vor und passen Sie es in drei Schritten an:
    • Bereinigen Sie den Zuschnitt. Schneiden Sie das Objekt aus dem Foto aus (gen/meshy_refs/<name>_crop.jpg). Führen Sie einen günstigen Bildbearbeitungsdurchlauf durch, um Verdecker zu entfernen, abgeschnittene Teile zu vervollständigen und einen einfachen Hintergrund zu geben, und speichern Sie <name>_clean.png. Erst dann rufen Sie Bild-zu-3D auf. Beim Brunnen-Durchlauf machte dies alle vier Statuen und den Baldachin beim ersten Versuch nutzbar.
    • Dezimieren Sie einmal, offline, in gen/<domain>_meshes.blend mit einer ...

Verwandte Skills