Was macht Foto-Szene-Rekonstruktion?
Diese Methode wurde im November 2026 an drei Projekten entwickelt: einem Straßenfoto mit einer Straßenbahn (Freiburg), einem Platz mit einem gotischen Brunnen (dem Fischbrunnen, Freiburg) und drei code-generierten Dioramen (Stadt, Laden, Hafen). Die folgenden Beispiele stammen von diesen Projekten. Der generische Rahmen (Kamera, Orchestrator, Render- und Vergleichswerkzeuge) befindet sich im Ordner harness/ neben dieser Datei: Kopieren Sie harness/blender und harness/tools in einen neuen Ausführungsordner. Werkzeugnamen, die hier nicht in harness/ aufgeführt sind (z. B. facade_solve.py), sind domänenspezifische Sonden, die jeder Durchlauf selbst erstellt; ihr Zweck wird beschrieben, wo sie genannt werden.
Voraussetzungen: Blender (geschrieben für 5.1, Cycles), Python mit numpy, opencv und pillow für die 2D-Werkzeuge (tools/py.sh führt sie mit uv aus) und eine Agenten-Laufzeitumgebung, die Sub-Agenten starten kann.
Der Benutzer beurteilt die Detailtreue mit dem Auge, Seite an Seite mit dem Foto. Alles, was folgt, dient dazu, diesen Vergleich kostengünstig, häufig und ehrlich zu machen.
0. Lead-Einrichtung vor Start der Agenten
Der Lead (die Hauptsitzung) erledigt diese Schritte allein. Agenten starten erst, wenn alle erledigt sind.
-
Ausführungsordner.
<runs>/<szene>/mitref/photo.jpg,blender/,tools/,layout/,gen/,renders/,work/,final/. Kopieren Sielib.py,arch.py,assets.py,render.py,build_scene.pyund die generischen Werkzeuge (cam.py,vp.py,solve_cam.py,iterate.sh,overlay.py,edges.py,pair.py,crop.py,stats.py,py.sh,fetch_polyhaven.py,fetch_ph_model.py) ausharness/. -
Lösen Sie die Kamera mit
tools/vp.py. Finden Sie den vertikalen Fluchtpunkt und einen horizontalen Fluchtpunkt entlang der Hauptfassade.tools/solve_cam.pyermittelt dann:- die Brennweite, da die beiden Richtungen im rechten Winkel zueinander stehen (gehen Sie nicht von einem Objektiv aus);
- die Neigung aus dem vertikalen Fluchtpunkt;
- die Drehung, so dass die Fassade entlang der Welt-X-Achse verläuft.
Schreiben Sie das Ergebnis in
layout/camera.json. Die Kamera ist dann für den gesamten Durchlauf eingefroren. -
Messen Sie Ankerpunkte mit
tools/cam.py:on_ztrifft eine horizontale Ebene,on_yeine vertikale Ebene,projectliefert ein Pixel, undraygibt einen Sichtstrahl.- Messen Sie die Bodenlinien, Fassadenebenen und den Abstand jedes Orientierungspunkts.
- Schreiben Sie die ersten Schätzungen des Leads als Startwerte in das Regelwerk.
- Bei flachen Winkeln kann ein Pixel einer Bodenlinie einen halben Meter Tiefe bedeuten. Bevorzugen Sie die Höhen und Breiten bekannter Dinge (Tür 2,1 m, Auge 1,6 m, Bordstein 0,12 m) gegenüber einzelnen Bodenpunkten.
-
Objekterfassung. Listen Sie jedes im Foto sichtbare Objekt auf und markieren Sie es als scripted oder mesh (Abschnitt 3). Diese Liste bestimmt die Domänenaufteilung und die Beschaffung der Assets.
-
Schreiben Sie
AGENTS.mdfür den Durchlauf: Ziel, Weltkoordinatensystem, Ankerpunkte, Domänentabelle, starre Regeln, die Schleife, die Arbeitsreihenfolge, die Abschlussregel.
1. Domänenverwaltung (wie Agenten eine Szene teilen)
Aufteilen der Szene
- Eine Domäne = ein Modul mit
build(L, ctx)+ einelayout/<domäne>.json+ ein Dateipräfix für alles Neue (tools/<domäne>_*.py,tex/<domäne>_*,gen/<domäne>_*). - Teilen Sie nach Bildschirmbereich und Art der Arbeit, nicht nach Objektanzahl. Eine gute Aufteilung gibt jedem Agenten eine Region, die er allein zuschneiden und beurteilen kann. Freiburg verwendete fünf: Licht, Straße, linke Gebäude, Heldenfassade, Requisiten.
- Licht ist immer eine eigene Domäne und besitzt Himmel, Belichtung, Farbmanagement und Grading. Kein anderer Agent berührt die Belichtung, um sein eigenes Material richtig aussehen zu lassen.
- Das Heldenelement (das, worauf das Auge fällt) bekommt eine eigene Domäne.
- Vier bis sechs Domänen. Weniger, und Agenten kollidieren innerhalb einer Datei; mehr, und der Lead kann sie nicht überprüfen.
Verträge
build_scene.pyorchestriert nur: Zusammenführen vonlayout/*.jsoninL, Erstellen der Kamera, Aufruf jedes Moduls in einer festgelegten Reihenfolge, Speichern. Keine Geometrie lebt dort.- Jeder Agent darf jeden Layout-Schlüssel LESEN und darf nur seine eigene Layout-Datei und sein eigenes Modul SCHREIBEN.
- Geteilte Helfer (
lib.py,arch.py,assets.py,cam.py,iterate.sh) sind eingefroren. Ein Agent, der einen geänderten Helfer benötigt, kopiert ihn unter einem neuen Namen in sein eigenes Modul.assets.pyenthält die Mesh-Anpassungsschritte, sodass jede Domäne Meshes auf die gleiche Weise anpasst:import_gltfimportiert und setzt die XYZ-Drehung;world_boundsberechnet Grenzen aus Scheitelpunkten;fitskaliert auf eine gemessene Höhe oder Breite, dreht und legt den niedrigsten Scheitelpunkt auf seine Unterlage.
- Die Domäne, die einen Ankerpunkt misst, besitzt ihn. Die Anker des Leads sind Startwerte. Die besitzende Domäne verfeinert sie und veröffentlicht das Ergebnis in ihrer Layout-Datei, z. B.
L['facade']['plane_y']oderL['fountain']['centre']. Jede andere Domäne liest den Wert ausLund kopiert die Zahl niemals in ihren eigenen Code, sodass eine Verfeinerung beim nächsten Bau alle erreicht. - Speichern Sie Messungen in Fotopixeln neben den abgeleiteten Weltwerten (z. B.
facade.pxnebenfacade.sec). Ein Löser-Skript (tools/facade_solve.py) wandelt Pixel in Weltzahlen um und schreibt sie in das Layout. Neu messen bedeutet dann, ein Pixel zu bearbeiten und den Löser erneut auszuführen, nicht die Koordinaten von Hand zu editieren. - Namen, die von anderen Modulen importiert werden, sind im Regelwerk mit der Regel "neue Funktionen hinzufügen, diese niemals ändern" aufgeführt. Domänenübergreifende Werte reisen über
ctx(z. B.ctx['track_x']), nicht über Bearbeitungen. build(L, ctx)muss jederzeit funktionieren. Jeder Agent baut die gesamte Szene neu, daher blockiert ein kaputtes Modul alle. Überprüfen Sie die Syntax, bevor Sie eine riskante Bearbeitung speichern.
Ausführen der Agenten
- Jeder Agent baut in seine eigene
work/<domäne>.blend; Render werden durchwork/.gpu_lockserialisiert (ein Lock, der älter als 6 Minuten ist, ist veraltet).only=überspringt andere Domänen zur Geschwindigkeitssteigerung; verwenden Sie die vollständige Szene, wenn Sie Farben beurteilen, da Nachbarn Licht reflektieren. - Höchstens zwei oder drei Agenten, die gleichzeitig rendern. Mehrere Blender-Prozesse ließen die Windows-Auslagerungsdatei auf über 50 GB anwachsen und füllten C:. Löschen Sie die
work/<domäne>.blendeines Agenten, sobald er fertig ist. Warten Sie auf eine bestimmte Prozess-ID, niemals auf "kein Blender läuft". - Führen Sie in Wellen aus. Welle 1 sind die Domänen, die Geometrie erzeugen (z. B. Boden, Fassade und das Heldenelement), höchstens drei gleichzeitig. Welle 2 sind Licht und die organische oder Möbel-Domäne, die die Geometrie benötigen, um Licht, Schatten und Wachstum zu setzen. Licht, das auf unfertiger Geometrie beurteilt wird, ist verschwendete Arbeit.
- Halten Sie den Rechner wach (
request_keep_awake) vor jeder Welle. Wenn der PC in den Leerlauf ging, froren Render für neun Stunden ein. - Runden. Nach jeder Welle oder Runde baut der Lead
main, vergleicht das Rendering mit dem Foto per Auge und schreibt die schlimmsten Unterschiede als Briefings für die nächste Runde. Die Notizen des Benutzers auf einem gesendeten Vergleichsbogen, z. B. "rauere Textur" oder "Beleuchtung wirkt künstlich", werden zu einer eigenen Runde. - Jeder Agent behält seine letzten drei Vorschaurenders in
renders/und löscht ältere mit seinem eigenen Präfix. - Agenten geben kein Geld aus. Sie berichten, was ein generiertes Asset beheben würde, mit dem zu verwendenden Fotozuschnitt; der Lead bringt dies mit den Kosten zum Benutzer.
- Agenten committen nicht, berühren kein Git und schreiben nicht außerhalb des Ausführungsordners.
Agenten-Briefing (was der Lead sendet)
Halten Sie es kurz; das Regelwerk trägt den Rest.
- "Lesen Sie zuerst
AGENTS.md." Dann: Ihre Domäne, Ihr Modul und Ihre Layout-Datei, Ihr Fotobereich in Pixeln. - Was bereits vorhanden ist und was daran falsch ist (nennen Sie die drei schlimmsten Unterschiede zum Foto).
- Die Mesh-Liste für diese Domäne aus der Bestandsaufnahme, bereits in
gen/abgelegt. - Die Abschlussregel und das Berichtsformat (unten).
Abschluss und Integration
- Ein Agent hört auf, wenn sein Bereich in einem 960 px großen Zuschnitt neben dem Foto bestehen kann, oder nach etwa 12 Iterationen.
- Abschlussbericht, unter 250 Wörtern: Was sich geändert hat, was sich immer noch vom Foto unterscheidet, wo ein generiertes Asset helfen würde, das Tag des letzten Renders.
- Der Lead baut dann
work/main.blendaus allen Modulen, rendert das Vollbild und vergleicht es mit dem Foto, ohne zuerst die Berichte der Agenten zu lesen. Berichte beschreiben Absichten; das Bild ist der Beweis. Unterschiede werden zu Briefings für die nächste Runde. - Beleuchtungsstimmungen und Effekte werden anschließend als zerstörungsfreies Overlay auf
main.blendangewendet, sodass eine Änderung des Looks niemals die genehmigte Detailtreue stört. Der Straßenbahn-Durchlauf verwendeteblender/mood.pyaufmain.blend. Fischbrunnen führtmood/<variante>.json(geschrieben vontools/mood_make.py) tief in die Layouts ein, wennFB_MOODgesetzt ist; es akzeptiert eine durch Komma getrennte Liste, z. B.warm_a,film. Verwenden Sie die Fischbrunnen-Form: Die Stimmung wird durch dieselben Module neu aufgebaut und benötigt keine zweite Szenendatei.
2. Detailreihenfolge und die Schleife
Die Schleife bei jeder Änderung
tools/iterate.sh <domäne> <n> [width=480] [spp=24] [only=a,b] [x0 y0 x1 y1]
Sie baut, rendert und schreibt ovl_* (Foto | Render | 50 % Überblendung) und edg_* (Fotokanten in Rot über dem Render mit einem Pixelgitter). Mit einem Kasten in Fotopixeln rendert sie nur diese Region und schreibt crop_* (Fotoausschnitt | Renderausschnitt, vergrößert); bei einer Breite von 960 dauert das etwa 25 s. Öffnen Sie die Bilder und schauen Sie sie an. Berichten Sie niemals eine Änderung als Verbesserung, ohne den Vergleich gesehen zu haben.
Arbeiten Sie in dieser Reihenfolge; überspringen Sie keine Schritte
Jede Stufe hat ein Tor. Detail, das hinzugefügt wird, bevor ein früheres Tor passiert ist, ist verschwendet, weil es sich bewegt, wenn der frühere Fehler behoben wird.
| Stufe | Was zu tun ist | Tor vor dem Fortfahren |
|---|---|---|
| 1. Lesen | Vergrößern Sie den Fotoausschnitt Ihres Bereichs. Schreiben Sie auf, was tatsächlich vorhanden ist: Anzahl, Materialien, was berührt was. | Eine geschriebene Liste existiert; jeder Punkt ist in der Bestandsaufnahme. |
| 2. Silhouette | Platzieren Sie Massen aus cam.py-Messungen. | Umrisse liegen innerhalb weniger Pixel auf den roten Kanten in edg_* bei 960 px Breite. |
| 3. Proportion | Öffnungen, Geschosslinien, Achsen, Wiederholungsanzahlen. | Fenster- und Türkanten stimmen mit den Fotokanten überein; Anzahlen passen. |
| 4. Farbe | Materialgrundfarben gemessen am Foto, vollständige Szene gebaut, Belichtung der Lichtdomäne unberührt. Vergleichen Sie Materialversionen als Albedo (Abschnitt 4.2). | tools/stats.py und die Regionsprüfungen der Domäne liegen nahe am Foto, und die 50 % Überblendung zeigt keine getönten Flecken. |
| 5. Kleinteile | Verkleidungen, Beschläge, Kabel, Schilder, Dachrinnen, Lampen, Straßenmobiliar. Meshes gemäß Abschnitt 3. | Jeder Bestandspunkt für den Bereich existiert im Zuschnitt. |
| 6. Variation und Abnutzung | Fasen, Farbvariation, Flecken unter Fensterbänken, Schlieren, Bodenabnutzung, Glaswellen und Reflexionen. | Der Zuschnitt besteht den CG-Tell-Check unten und die Textur-Energie-Prüfung (Abschnitt 4.3) liegt nahe am Foto. |
Regeln, die in jeder Stufe gelten:
- Realwelt-Abmessungen, in Millimetern für Muster. Messen Sie mit
cam.py; raten Sie nicht. - Nichts schwebt oder durchdringt sich. Dinge stehen auf dem Boden oder sind an einer Wand befestigt.
- Eine Änderung pro Iteration, wenn Sie einer Abweichung nachgehen, damit der Vergleich zeigt, was die Änderung bewirkt hat.
CG-Tell-Check (nach jedem Rendering: "Was verrät mir noch, dass es CG ist?")
| Indikator | Übliche Behebung |
|---|---|
| Perfekt scharfe Kanten | Fase oder Anschrägung, 2 bis 10 mm an gebauten Teilen |
| Einheitliche einfarbige Oberfläche | Gemessene Farbvariation, Flecken, Schlieren, Textur im wahren Maßstab |
| Sichtbare Wiederholung | Abweichung pro Instanz in Ton, Drehung, Abnutzung |
| Fehlender Kontaktschatten | Überprüfen, ob das Objekt den Boden berührt; Licht und Denoise prüfen |
| Glas ohne dahinterliegendes oder reflektiertes | Innenfläche oder Tönung, echte Reflexion, leichte Welligkeit |
| Falscher Texturmaßstab | Muster erneut in Millimetern aus dem Foto messen |
| Primitive geformtes Objekt | Durch ein echtes Mesh ersetzen (Abschnitt 3) |
| Zu sauberer Boden | Abnutzung, feuchte Stellen, Blätter, Fugen |
Nachdem der Benutzer die Detailtreue genehmigt hat
Erst dann, in dieser Reihenfolge:
- Realismus-Durchgang: Fasen, Glas und Bodenabnutzung. Der Straßenbahn-Durchlauf tat dies als ein Modul (ein
weather-Modul); Fischbrunnen tat es innerhalb jeder Domäne. Beides funktioniert, aber eine Domäne muss jede Oberfläche besitzen. - Renderqualität: 2160 px Supersample und genaues Denoising.
- Sensor-Finish (Abschnitt 4.1).
- Beweisansichten aus anderen Winkeln (ein
proof.py, das zusätzliche Kameras rendert). - Beleuchtungsstimmungen.
- Film (Abschnitt 5).
Senden Sie bei jedem dieser Prüfpunkte ein Foto-gegen-Render-Blatt und warten Sie auf den Benutzer.
3. Meshes: Keine Primitive für komplexe Objekte
Regel: Komplexe Objekte werden niemals aus einfachen primitiven Geometrien gebaut. Verwenden Sie stattdessen ein vorhandenes echtes Mesh.
Was zählt
- Skriptgeometrie ist erlaubt für Architektur und Infrastruktur: Wände, Platten, Dächer, Fenster- und Türrahmen, Gesimse und profilierte Verkleidungen, Bordsteine, Pflaster, Schienen, Pfosten, Drähte, flache Schilder.
- Ein echtes Mesh ist erforderlich für alles Organische oder Objektähnliche: Bäume, Sträucher, Topfpflanzen, Menschen, Fahrzeuge, Fahrräder, Stühle, Tische, Bänke, Pflanzgefäße, Sonnenschirme, Lampen mit geformten Körpern, skulpturale Ornamente, Statuen, Stoff mit Falten.
- Test: Wenn eine Person Ihr Gebilde als "eine Kugel auf einem Stiel", "eine Kiste mit vier Beinen" oder "einen Zylinder" beschreiben würde, ist es ein primitiver Platzhalter und nicht erlaubt, selbst als Platzhalter in einem an den Benutzer gesendeten Rendering.
Beschaffungsleiter (halten Sie beim ersten passenden an)
- Ihre eigene Mesh-Bibliothek. Führen Sie einen Index (Kategorie, Größe, Dreiecksanzahl, Pfad, Lizenz) jedes Requisiten-Meshes, das frühere Projekte produziert oder heruntergeladen haben, und durchsuchen Sie ihn zuerst. Wiederverwendung schlägt Kauf.
- Poly Haven CC0, kostenlos:
tools/fetch_ph_model.py <id>(glTF 2k ingen/ph/<id>/), Texturen und Himmel mittools/fetch_polyhaven.py <id>. Halten Sie die Downloads pro Agent unter etwa 150 MB. - Generiertes Mesh, kostenpflichtig, nur über den Lead und nur, nachdem der Benutzer die Kosten gesehen hat: Meshy für weiche oder organische Requisiten und Ornamente, Tripo H3.1 detailliert für hartflächige Helden. Bereiten Sie das Mesh vor und passen Sie es in drei Schritten an:
- Bereinigen Sie den Zuschnitt. Schneiden Sie das Objekt aus dem Foto aus (
gen/meshy_refs/<name>_crop.jpg). Führen Sie einen günstigen Bildbearbeitungsdurchlauf durch, um Verdecker zu entfernen, abgeschnittene Teile zu vervollständigen und einen einfachen Hintergrund zu geben, und speichern Sie<name>_clean.png. Erst dann rufen Sie Bild-zu-3D auf. Beim Brunnen-Durchlauf machte dies alle vier Statuen und den Baldachin beim ersten Versuch nutzbar. - Dezimieren Sie einmal, offline, in
gen/<domain>_meshes.blendmit einer ...
- Bereinigen Sie den Zuschnitt. Schneiden Sie das Objekt aus dem Foto aus (