Panorama Community

Perfektes Equi, super.
Mit dem Bild im Controlnet ist es mir nicht gelungen, die Kamera auf den Boden zu kriegen. Leider sind Leute "unter" der Kamera nicht "von oben" gesehen im Bild, das scheint nicht möglich zu sein, so gut ist die 360° Simulation nicht. Nur leerer Boden unten wird perfekt.

Mit der Zeit will ich rauskriegen, welche Bilder sich am besten eignen in Controlnet, um den Horizont in die Mitte zu kriegen um das View360 Lora zu ersetzen - vielleicht dann mit 2 Controlnet Units. Die besten Bilder hab ich eigentlich immer gekriegt, wenn das View360 Lora nicht aktiv war.

Die Zeit von 41m 52 Sekunden ist aber nicht real, oder? Bzw. du hast gleich einen Haufen Bilder gerendert, oder?
Ich empfehle Dir übrigens das New Reality XL all in one-Model zu testen. Damit mache ich eigentlich immer die erste Versuche, bester Allrounder. Das Hephaistos-Model hat diese guten Autos, deshalb war das auf dem Schrottplatz besser.

Ja, Automatic1111 ist extrem zickig, und Controlnet noch zickiger.
Ich habe gerade mal versucht, mit tile_resample ein Bild zu vergrößern. Die Idee ist super: unscharf machen und dann das Bild quasi neu aufbauen, Kachel für Kachel. Das ist keine Schärfung mehr, sonder eine (fast) identische Neuerzeugung in großer Größe.
Funktioniert leider bei mir hartnäckig nicht. Alle möglichen Fehlermeldungen, vielleicht irgendein Versionsproblem. Die Extensions und Modelle werden anscheinend in verschiedenen Geschwindigkeiten weiterentwickelt.

Die Vergrößerung unter "Extras" funktioniert aber immer, und im Bereich 1 Minute für 4-fach auf 8192ger Breite.

Neuerzeugungen von Bildern 2048x1024 dauern bei mir maximal 4 Minuten. Allerdings setze ich die Steps fast nie höher als 25. Viele Bilder rauschen aber unter 2 Minuten durch, und mit dem Checkpoint Dreamshaper XL ca. 1:30 min. Der ist aber nicht gut in Landschaften.

Du bräuchtest eine RX4xxx Grafikkarte. Damit sind ganz andere Geschwindigkeiten möglich als z.b. mit meinem Mac Studio.

Weiter Controlnet:

Als Depth-Map hier ein Versuch mit dem Inneren eines U-Boots, was eine perfekte Equi-Orientierung erzeugt. Die beiden Resultate sind mit zwei unterschiedlichen Depth-Map Modellen con ControlnetxlCNXL erzeugt und nur vergrößert, sonst nicht bearbeitet.
Der Zenith ließe sich vermutlich fast perfekt hinkriegen. Das Lora View360 ist nicht verwendet.

Vorlage: U-Boot H.M.S. Otus Oberon Klasse - Maschinenraum


Halle ohne Dach: (Controlnet Depth Model 1)




Röhrenmaschine: Controlnet Depth Model 1)

Das Model "Realitys Edge" gefällt mir nicht gut. Meine SDXL Favouriten sind weiterhin "New Reality all in one", "Hephaistos" und "7 of 9".
Momentan gibt es viele Erweiterungen noch nicht für SDXL, deshalb hatte der Versuch mit tile_resample nicht geklappt.

Hier noch ein Resultat ohne jegliche Bearbeitung mit dem "7 of 9" Model, Controlnet mit dem SAI-Depth-Modell von civitai.com
Endzeit des Control Net Einflusses bei 0,3. Dadurch gibt das Vorlagenbild die grundsätzliche equirectangulare Struktur vor, es bleibt aber viel Freiheit, das auszufüllen. Rendert in 1.20 min durch, sagenhaft. Wegen DPM++ 2M Karras ist es etwas chaotisch in den Details.

gigantic ancient machine made of tubes, boilers, motors, windmills, steam engines and Egyptian pyramids , Ancient Egypt, large crowd praying, steampunk, Hieronymus Bosch, Salvador Dalí, 360 degrees equirectangular panorama photo, 8k, high resolution, photo realistic, rich colors

Steps: 12, Sampler: DPM++ 2M Karras, CFG scale: 5, Seed: 2130632788, Size: 2048x1024, Model hash: b6d99be02b, Model: 7Of9YmirsLight_v51YmirsLightFixed, Tile X: True, Tile Y: False, Start Tiling From Step: 0, Stop Tiling After Step: -1, ControlNet 0: "Module: none, Model: controlnetxlCNXL_saiDepth [9fe0fd3b], Weight: 1, Resize Mode: Just Resize, Low Vram: False, Guidance Start: 0, Guidance End: 0.3, Pixel Perfect: True, Control Mode: Balanced, Hr Option: Both, Save Detected Map: True", Version: v1.7.0 Upscaler 4xUltrasharp.

Depth-Vorlage Anatomisches Theater Berlin:



Ägyptischer Hochofen:

Einen Schritt zurück:
Für große Bilder ist in Stable Diffusion eigentlich das neue SDXL unerlässlich. Leider gibt es die (echte) KI Vergrößerung mit Controlnet tile resize noch nicht für SDXL.
SD1.5 kann maximal 1024x512 Pixel große Bilder erzeugen, so dass kräftig vergrößert werden muss.

Her ein Test mit einem "alten" SD1.5 Model, Realistic Vision 1.5. Als Vorlage in Controlnet depth diente ein Parkhaus-Panorama aus Bremen, was für ein perfektes Equi gesorgt hat.

Mit verschiedenen SD1.5 Modellen gab es fast immer schwarze Streifen oben und unten. Ich hab nicht rausgefunden, wie man das vermeiden kann.
Außerdem ist der Anschluss rechts/Links nicht perfekt, es gibt eine Naht. Das lässt sich scheinbar nur mit nachträglicher Retusche reparieren, blöd.

gigantic ancient machine made of tubes, boilers, motors, windmills, steam engines and Egyptian pyramids , Ancient Egypt, large crowd praying, steampunk, Hieronymus Bosch, Salvador Dalí, 360 degrees equirectangular panorama photo, 8k, high resolution, photo realistic, rich colors
Steps: 12, Sampler: DPM++ 2M Karras, CFG scale: 5, Seed: 1403817167, Size: 1024x512, Model hash: ef76aa2332, Model: 1-5realisticVisionV60B1_v51VAE, Tile X: True, Tile Y: False, Start Tiling From Step: 0, Stop Tiling After Step: -1, ControlNet 0: "Module: none, Model: control_v11f1p_sd15_depth [cfd03158], Weight: 1, Resize Mode: Just Resize, Low Vram: False, Guidance Start: 0.1, Guidance End: 0.6, Pixel Perfect: True, Control Mode: Balanced, Hr Option: High res only, Save Detected Map: True", Version: v1.7.0

Der Trick kommt danach:
In img2img Controlnet mit "tile resize" aufrufen, darunter in den Scripten dann "Ultimate SD upscale", was man als Extension in der Automatic1111 Oberflächer installieren muss.
Dort dann 2-fach vergrößern. Das Besondere ist, dass kachelweise mit 512x512 großen Kacheln gearbeitet wird, was auf jedem RAM läuft.
Den Schritt mit dem Ergebnisbild dann 2x wiederholen, so dass ein 8192x4096 großes Bild entsteht. Das sind dann 128 Stück 512er Kacheln, brauchte bei mir etwas mehr als 15 Minuten.

Denoising:
Anpassen muss man hauptsächlich das img2img Denoising. Das entscheidet, wieweit die Änderungen gehen im Bild.
Bei dem krutscheligen 1024x512 Original ist ein Wert von 0,25 zu niedri g- alle kleinen Bildelemente bleiben quasi ungeklärt und vergurkt.
Bei einem Wert von 0,4 wird das alles in erkennbare strukturierte Elemente umgewandelt. Das ist etwas ganz anderes als Bildschärfen.




Vorlage Bremen Parkhaus:


Labyrint 8k Ergebnis 1 zu 1 ohne Bearbeitungen:

Gute Idee mit generative Fill, hab ich noch nicht ausprobiert. Da ist die Größe auf 1024x1024 beschränkt und es kostet, oder?
Ich hab jetzt das Bild in der mittleren Größe von 4096 mit einem Offset von 50% versehen, so das die Naht in der Mitte ist, und dann in Automatic1111 mit den selben Einstellungen (nur Seed = -1) die Vergrößerung mit tile_resize auf 8196 noch mal machen lassen.
Erst bei einem Denoise-Wert von 0,5 wurde die Naht verbessert. Das müsste man vor dem Upscalen vermutlich schon etwas vorbereiten in PSD.

Der Denoising-Wert von 0,5 hat auch viel mehr Details erzeugt, der sterile Eindruck ist weg. Also bei den Vergrößerungsschritten nicht immer den selben Denoising-Wert verwenden, sondern testen.
Es gibt allerding schon defekte Stellen im Panorama, Denoising 0,5 ist grenzwertig.

Der Wermutstropfen ist weiterhin die fehlende Unterstützung von SDXL bei tile_resample, was einfach bessere interessantere Bilder erzeugt als SD, vor allem im Format 2 zu 1.


Bei den Anhängen unten ist der Vergleich 0,3 zu 0,5 Denoising als gif, und hier das Panorama mit (recht schnell gemachten) Retuschen and Denoising 0,5 im letzten Schritt:

Hier der Versuch einer Umwandlung eines Panoramas aus dem Serrahn Buchenwald in eine Nachtversion. Der Nebel wurde mit dem Cloudify-Lora verstärkt.
Die Depth-Map der Vorlage ist nicht perfekt geworden, die Entfernung zu manchen Ästen stimmt nicht. Vermutlich muss man das bei Naturpanoramen manuell korrigieren.

Viele Versuche waren nötig. Das Resultat ist eine Kombination aus zwei Bildern. Das Hauptbild:
strong visible star-shaped light beams from a invisible yellow light in image center behind the trees , photo realistic, night scene, ((((absolute darkness)))), ((((everything from front to back in very dense dark fog)))), trees in Background, clearing in densse fog, dead tree with moss in dense fog, ((heavy fog)), 360 degrees equirectangular panorama photo, 8k, high resolution, photo realistic, rich colors, <lora:Cloudify-SDXL:2>
Negative prompt: several lights, artificial lights, glow behind the trees
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 5, Seed: 478113654, Size: 2048x1024, Model hash: db51618546, Model: nightvisionXLPhotorealisticPortrait_v0791Bakedvae, Tile X: True, Tile Y: False, Start Tiling From Step: 0, Stop Tiling After Step: -1, ControlNet 0: "Module: none, Model: controlnetxlCNXL_saiDepth [9fe0fd3b], Weight: 1, Resize Mode: Just Resize, Low Vram: False, Guidance Start: 0, Guidance End: 1, Pixel Perfect: True, Control Mode: Balanced, Hr Option: Both, Save Detected Map: True", Lora hashes: "Cloudify-SDXL: af954341de9b", Version: v1.7.0

Serrahn-Pilzbaum:

Hast recht - da schreibt Automatic 1111 eine falsche Bezeichnung in die Exif-Daten. Eigentlich Start/End Control Step in Controlnet, nicht Guidance. SD Version ist 1.7.

Die verschiedenen Modelle beachten den Promt sehr unterschiedlich. Bei 16 Durchgängen sind dann vielleicht 2, bei denen das meiste stimmt.
Hephaistos erzeugt zum Beispiel keine Lampe, Nightvision kam der Sache am Nächsten. Außerdem sind auch die SDXL Modelle eher auf quadratische Formate trainiert, deshalb werden sehr oft 2 Elemente nebeneinander erzeugt im 2 zu 1 Format.
Entgegen dem Plan und dem Prompt fand ich den glühenden Nebel am Ende am besten
Das Depth-Bild in Controlnet erzeuge ich immer nur einmal und lade die Depth Map dann direkt. Meist benutze ich dazu leres++ im Preprocessor..

Hier der Screenshot:

Ein Test mit Sternen bzw. Nachthimmel war ernüchternd, nicht präsentabel. Die Milchstraße war fast nicht abzuschalten - und immer miserabel, bildzerstörend. Es gab meist 2 oder 3 Milchstraßen - oder der Himmel war voll davon. Wieder sind entsprechende Loras nur mit quadratischen Bildern trainiert. (FDESIGN_Starry_Sky_SDXL).

Hier der Test mit Hemmelsdorf- Fischereihof als Vorlage. Es entstanden einige wenige Himmel ohne Milchstraße. Da ist jetzt ein realer Sternenhimmel in PSD dazumontiert (nur die Sterne als Overlay).

Das Feuer ist mit dem Aether_Fire_v1_SDXL_LoRA verstärkt. Es ist eine PSD Montage aus 3 Versionen Feuer + den Sternen.
Die Reflexionen auf dem Wasser sind halbwegs gut. Das erzeugt SDXL von Hause aus.

((((no milky way)))), nightshot realistic photo, gigantic fire that looks like large medieval hut burning down , lake with perfect reflections of burning hut on the water, wooden footbridge, ((((absolute darkness)))), ((((clear sky full of stars without miky way)))),360 degrees equirectangular panorama photo, 8k, high resolution, photo realistic, rich color, <lora:Aether_Fire_v1_SDXL_LoRA:1>
Negative prompt: ((((milky way)))), artificial lights, lights, clouds, lights on the horizon, asteroids. meteorites, falling stars,
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 5, Seed: 3286951254, Size: 2048x1024, Model hash: c1adaf9d0c, Model: newrealityxlAllInOne_20, Tile X: True, Tile Y: False, Start Tiling From Step: 0, Stop Tiling After Step: -1, ControlNet 0: "Module: none, Model: controlnetxlCNXL_saiDepth [9fe0fd3b], Weight: 1, Resize Mode: Just Resize, Low Vram: False, Guidance Start: 0, Guidance End: 1, Pixel Perfect: False, Control Mode: Balanced, Hr Option: Both, Save Detected Map: True", Lora hashes: "Aether_Fire_v1_SDXL_LoRA: d1616e800f8a", Version: v1.7.0

Hemmelsdorf- Fischereihof:

Die Größe von 2048x1024 Pixeln reicht für ein Panorama nicht aus. Per KI Upscaler lässt sich das Panorama aber quasi beliebig vergrößern, wobei eine Größe von 8192x4096 Pixeln meist ausreichen sollte.

Die Bilddaten inkl. Prompt und Seed am besten über PNG Info nach img2img laden. Dort auch den original verwendeten Checkpoint einstellen.
Größe auf 2048x1024 bzw. die Panoramagröße einstellen (größer geht standardmäßig nicht).
Der Denoiser ist der wichtigste Hebel für die Vergrößerung. Werte von 0,1 (Original quasi nur Schärfen) bis 0,55 (viele Details dazuerfinden) sind sinnvoll.
Controlnet bleibt ausgeschaltet.

Unten unter "Scripts" die Extension "Ultimate SD Upscale" wählen (bei Bedarf installieren), "Scale from image size" auf 4 stellen, als Upscaler 4xUltrasharp. Tilesize 1024 einstellen.

Nicht alle Vergrößerer und nicht alle Sampler funktionieren in dieser Kombination. Da die Vergrößerung kachelweise abläuft, schafft das jeder Computer.
Man kann auch 2x hintereinander nur 2-fach vergrößern und zwei verschiedene Denoise-Werte verwenden, z.B. zuerst 0,3, dann 0,15.

Night, ((((absolute darkness)))), 360 degrees equirectangular panorama photo, hyper realistic night scene, photo of many curves detached rusted corroded stairs hanging in the air, mysterious forrest with twisted trees in the background, (((forest floor))) , M. C. Escher, steampunk, Hieronymus Bosch, Salvador Dalí, 8k, high resolution, photo realistic, rich colors
Negative prompt: houses, moon, lights
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 5, Seed: 1695419895, Size: 8192x4096, Model hash: db51618546, Model: nightvisionXLPhotorealisticPortrait_v0791Bakedvae, Denoising strength: 0.15, Ultimate SD upscale upscaler: 4xUltrasharp_4xUltrasharpV10, Ultimate SD upscale tile_width: 1024, Ultimate SD upscale tile_height: 1024, Ultimate SD upscale mask_blur: 16, Ultimate SD upscale padding: 64, Version: v1.7.0


Vorlage Depth Map: Endlose Treppe München, mit Bäumen aus Brandenburg kombiniert.


4x KI-vergrößert, Lost Places KI Baumwipfelpfad

Wenn es um große Strukturen oder eine genaue Geometrie oder Perspektive in equirectangularen Panoramen geht, ist es momentan noch unmöglich, das in Stable Diffusion nur durch einen Promt oder ein Lora zu erzeugen.

1. Möglich ist die Zuhilfenahme einer realen Panoramavorlage als Depth-Map, wie weiter oben schon erklärt.
2. Man könnte versuchen, eine equirectangulare Vorlage zu zeichnen. Sehr schwierig.
3. Man baut ein rohes 3D-Modell nach Wunsch und erzeugt mit einer virtuellen spärischen Kamera eine (perfekte) Depth-Map im 3D-Programm, als Vorlage für Depth in Controlnet in Automatic1111.


Hier ein Beispiel einer Achterbahn.
Bei der Erzeugung des Bildes wurde duch den niedrigen Steps-Wert eine richtig trashige lebendige Welt erzeugt. Durch höhere Steps-Werte bei den beiden Upscale-Vorgängen auf 8192x4096px in img2img wurde das dann wieder etwas geglättet und in Form gebracht.

((((deep green tropical steamy dense rainforest with trees everywhere)))), 360 degrees realistic equirectangular panorama photo, heavily corroded rotten rusted moss-covered rollercoaster, moss-covered human skeletons sitting in 3 carts, looking straight to the front, 8k, high resolution, photo realistic, rich colors, <lora:Cloudify-SDXL:1.5>.Steps: 10, Sampler: DPM++ 2M Karras, CFG scale: 5, Seed: 518283627, Size: 2048x1024, Model hash: a928fee35b, Model: albedobaseXL_v20, Tile X: True, Tile Y: False, Start Tiling From Step: 0, Stop Tiling After Step: -1, ControlNet 0: "Module: none, Model: controlnetxlCNXL_saiDepth [9fe0fd3b], Weight: 1, Resize Mode: Just Resize, Low Vram: False, Guidance Start: 0.15, Guidance End: 0.6, Pixel Perfect: True, Control Mode: Balanced, Hr Option: Both, Save Detected Map: True", Lora hashes: "Cloudify-SDXL: af954341de9b", Version: v1.7.0


3D-Modell:


Depth-Map aus dem 3D-Programm:




Rollercoaster:

Stimmt, bei den meisten Durchgängen fehlten einige der Figuren. Der Einfluss des Controlnet hat bei 15% begonnen und hat bei 60% geendet, die KI hält sich dann nicht so stringent an die Vorgabe, das Resultat wird aber besser. Die equirectangulare Struktur wird trotzdem eingeprägt.

Ich habe in den vorherigen Thread jetzt eine andere Variante reingeladen, wo mehr Figuren entstanden sind und zusätzlich der Schwerpunkt mehr auf den Schienen liegt, gefällt mir besser.
Ganz entscheidend ist der verwendete gerade erschienene Checkpoint, Albedo Base XL 2, nach den letzten Erfahrungen mit Abstand das beste Modell für die Größe von 2048x1024px. Damit funktioniert jetzt auch endlich Inpaint in einem 2048x2048px Bild.

Dann könnte es sein, dass Dein CFG zu hoch ist., das führt bei mir jedenfalls zu diesen irgendwie überscharfen poppigen Ergebnissen.

Oder es liegt am Depth-Modell in Controlnet, das muss controlnetxlCNXL_saiDepth.safetensors sein, das ist das einzige SDXL-Depth Modell was gut funktioniert. Gibts bei Civitai.
Bei Verwenung eines Depth-Map Bildes den Preprozessor ausschalten.
Der erste Durchgang müsste sehr passiv und fransig und eher schlecht aussehen, mit viel Kram im Bild.
Erst bei ersten Upscalen auf 4096px wird dann eine bessere Qualität entstehen, dabei hab ich Denoise 0,55 verwendet, bei zweiten Upscalen auf 8196px dann Denoise 0,3.

Das ist quasi die Basis-Seite für alle SDXL Controlnet Models. Viele der angebotenen Dateien funktionieren nicht oder schlecht, die Entwicklung geht vielleicht zu schnell.
Hier ist die Sub.Seite für das Controlnet-Depth-Mode zum Downloadl:

https://civitai.com/models/136070?modelVersionId=152324
Hast Du das Depth-Bild auch invertiert? Die Achterbahn muss weiß sein, Hintergrund schwarz. Die 3D Programme rendern anders rum.

Der Checkpoint:
https://civitai.com/models/140737/albedo…ersionId=281176