Panorama Community

(Die in diesem Thread von mir gezeigten Panoramen sind unter https://www.kubische-panoramen.de/themen…KI-Panorama&p=i gesammelt zu sehen.)

Hallo Forum,

Wetter ist schlecht - da hab ich mal einen Haufen KI-Panoramen mit dem Thema "Unterwasser-Schrottplatz" oder "Holland 2050" erstellt.
In Automatic1111 ist momentan die maximale Auflösung 2048x1024. Per Upscaler sind die Panoramen dann auf 8192x4096 vergrößert.

Dazu braucht man einen SDXL 1.0 Checkpoint, hier "7 of 9" und "Hephaistos..., findet man alles bei Civitai.com.
Dazu ist die Extension "asymmetric-tiling" sinnvoll, die (meist) für einen nahtfreien Anschluss der beiden Seiten sorgt.

Dann bekommt man leider noch keine equirectangulare Entzerrung. Für SDXL 1.0 habe ich nur das Lora "View360" gefunden, was nur schlecht funktioniert momentan.
Die safetensors-Datei bekommt man unter https://huggingface.co/artificialguybr/3…360.safetensors

Das ist momentan noch ein Spiel mit der Unperfektion, ich habe mich auch nicht bemüht perfekte Bilder zu erzeugen - langweilig. Die bekommt man in Computerspielen schon zur Genüge zu sehen.

Würde mich interessieren, ob jemand anderes schon lokal erzeugte KI-Panoramen gemacht hat. Vor allem die equirectangulare Entzerrung funktioniert bisher schlecht. Es biegt sich alles. In Photoshop sind die Panoramen noch etwas in der Höhe gezerrt und versetzt, um das Biegen zu minimieren - als einzige Bearbeitung neben schneller Nadir-Retusche.

Im Screenshot unten im ersten Thread stehen eigentlich alle Informationen. Die Installation von Automatic1111 ist nicht von Pappe und auch durchaus instabil, startet z.B. immer mal wieder nicht sauber.

Nochmal wegen Übersicht:
In Automatic1111 ist momentan die maximale Auflösung 2048x1024. Per Upscaler kann man die Panoramen dann auf 8192x4096 vergrößern.
Dazu braucht man ein SDXL 1.0 Checkpoint Model, z.b. "Hephaistos..., findet man bei civitai.com.
Dann ist die Extension "asymmetric-tiling" nötig, die für einen nahtfreien Anschluss der beiden Seiten sorgt.
Für die equirectangulare Entzerrung gibt es das Lora "View360" für SDXL 1.0 Models, was leider nur schlecht funktioniert. Diese View360 safetensors-Datei bekommt man unter https://huggingface.co/artificialguybr/3…360.safetensors


Also:
Automatic1111 installieren.
Auf civitai.com eine SDXL 1.0 safetenors-Datei laden (ca. 6 GB), z.B. hephaistosNextgenDPO_v10.safetensors und einfach in den Models-Ordner legen.
Die Erweiterungen asymmetric-tiling-sd-webui und zum Upscalen 4xUltrasharp_4xUltrasharpV10.pt besorgen, installiert man aus Automatic1111 heraus (wird von git geladen).
Das Lora 360Diffusion_v1.safetensors installieren, in den Lora-Ordner legen.
Dann alles so einstellen wie in dem Screenshot oben.

Die nötigen Einstellungen sind je nach Model sehr unterschiedlich. Das Hephaistos-Model erfordert diese speziellen Einstellungen u.a. mit nur 10 Steps, CFG = 3 und Hires Denoising.
Leider beeinflusst das 360 Lora Plugin sehr die Erzeugung des Inhalts - dürftigerer Bildinhalt. Deshalb ist das Weight nur auf 0.7 gesetzt (<lora:View360:0.7> im Prompt). Ist ein Kompromiss. Mit Weight 1 wird das Bild besser equirectangular - aber meist uninteressanter.
Den Startpunkt für das asymmetric-tiling hab ich immer auf halben Steps-Wert gesetzt.
Das Upscalen ist sinnvoll erst später zu machen, im Extras-Reiter.

Der Prompt:
car cemetery with densely packed corroded cars stacked on top of each other, underwater photo, human skulls and skeletons, corroded cars floating in water, rusted corroded Jaguar and rusted corroded Mercedes and rusted corroded Corvette, low angle shot, whales, sharks, many fishes, colorful red green blue tropical fish very close in center, tropical coral reef in background, 360 degree equirectangular panorama photograph, 8k, high resolution, photo realistic, rich colors, <lora:View360:0.7>

---------------------------------------------------------------------
Auf Civitai bekommt man mit dem Prompt und ähnlichen Einstellungen sowas, das ist aber ein normales Bild. Die beiden Erweiterungen für Equirectangular und nahtlose Seiten fehlen und die Bildgröße ist nicht 2 zu 1.

Zu Automatic1111 gibt es ewig viele Infos im Web, auch zum Troubleshooting. Am besten erst einmal Grundsätzliches erfoschen.

Auf meinem Mac ist meist die verlässlichste Methode, das WebUI zu starten, die Datei webui.sh auf das Terminal zu ziehen. Der Prozess läuft dann im Terminal ab, ein Browserfenster mit der Stable Diffusion Oberfläche öffnet sich. Alle anderen Methoden funktionieren oft nicht, es wird dann über die fehlende Connection gemeckert, weil Python nicht gestartet wurde u.ä.

Panoramaspezifisch muss dann das View360 Lora noch in den Lora-Ordner.
Gibts hier:
https://huggingface.co/artificialguybr/3…360.safetensors

Außerdem die asymmetric-tiling Extension installieren, unter "Extensions / Install from URL" das hier eingeben:
https://github.com/tjm35/asymmetric-tiling-sd-webui.git

Der Screenshot unten deckt die nötigen Einstellungen ab. 4 Parameter sind am wichtigsten:
Checkpoint (Model) ganz oben
Sampling Method (ich verwende quasi immer DPM++ 2m Karras oder DPM++ SDE Karras)
Samping Steps
CFG Scale (bei zu hohem Wert wird das Bild schlecht)

Bei den Models bei civitai.com stehen meist Anweisungen, wie manche der 3 unteren Punkte einzustellen sind - sollte man sich notieren.

Um ein 360 Grad Panorama zu erzeugen, muss die Anweisung <lora:View360:0.7> oder aber <lora:View360:1> in den Prompt.
Die Formulierung "360 degree equirectangular panorama photograph" im Prompt verbessert die Sache noch etwas.
Außerdem muss asymmetric-tiling aktiv sein mit Tile X. Den Startwert dort auf die Hälfte vom Sampling Steps-Wert setzen als Faustregel.

View360 bietet sogar einen Panorama-Viewer an in Automatic1111 unter dem Ergebnisbild, mit dem man die equirectangulare Qualität des Bildes direkt checken kann.

Hier noch einmal der Screenshot. Alle nötigen Einstellungen sind sichtbar.

Deine CFG sind vermutlich zu hoch, deshalb das cruselige Ergebnis. Z.B. auf 2 oder 3 stellen wie es aussieht.

Die equirectangulare Verzerrung ist definitiv nicht perfekt, das schwankt durchaus.
Hast Du unter dem "Lora"-Tab geprüft, ob View360 aktiv ist? Beim Kick dort auf die Box sollte im Promt <lora:View360:0.7> erscheinen oder verschwinden.

In den Promt muss jedenfalls:
<lora:View360:0.7> (am besten immer alles mit Kommas abtrennen)
Außerdem wirds meistens besser mit "360 degree equirectangular panorama photograph, 8k, high resolution, photo realistic" o.ä.
Und nicht vergessen, asymetric tiling unten einzuschalten und einzurichten.



-------------------------------------
Ich habe vorhin mal Tests mit einem Kachelraum gemacht, mit vielen unterschiedlichen Checkpoints und Einstellungen.
Es ist nicht gelungen, einen Raum mit 4 Wänden zu erzeugen, es waren immer nur 3 Wände - die Wand "hinter der Kamera" fehlte immer. Dementsprechend ist das Panorama also "verkürzt" und eiert, die Wände sind rund in der interaktiven Darstellung. Nadir und Zenith waren nie perfekt. Architektonische Motive innen sind momentan also nicht sinnvoll. Wenn das jemand hinkriegt wäre ich sehr interessiert.

Der Prompt:
<lora:View360:1>, empty room with black and white perfect checkerboard tiles on the walls and on the ceiling and on the floor, one chair in the middle, 360 degree equirectangular panorama photograph, 8k, high resolution, photo realistic, rich colors

ist doch super - vor allem sind die Bilder perfekt entzerrt.
Würdest Du genau alle Einstellungen inkl. verwendeten Checkpoint und Promts posten, ggf. per Screenshot? Anscheinend hast Du ja die Lösung gefunden.
(Vermutlich hast Du den Reiter "PNG Info" schon entdeckt. Da kann man ein generiertes Originalbild draufziehen und dann alle Einstellungen wieder herstellen, nur den Checkpoint muss man manuell einrichten.)

Was die Fehlermerldungen angeht: Automatic1111 ist anscheinend sehr RAM hungrig.
Auch mit meinem Mac Studio mit 32GB RAM kann ich manche Sachen nicht machen, Upscalen schon in txt2img oder Batch size verwenden, es reicht nur für Batch count.
Ansonsten gibt es im Betrieb keinerlei Fehler. Nur Start, Relaunch des Webui, Neuinstallaionen usw. machen teils heftigen Ärger.
Man kann Automatic1111 ja mit diversen Startparametern zur Speicheroptimierung versehen, vielleicht findest Du da eine Lösung.

Diese Skybox-Panoramen scheinen mir sehr langweilig zu sein, wenn auch technisch perfekt.
Hast Du da schon mal ein interessantes Resultat rausbekommen, was nicht nach Computerspiel aussieht?

Aha - schade eigentlich, mit Stable Diffusion braucht es noch eine Weile, bis sich so eine perfekte Entzerrung erreichen lässt.
Hast Du denn einen bezahlten Account bei Skybox? Wie waren dort denn die Einstellungen und der Prompt, wenn Du das noch weißt?

Klar, momentan ist das mit KI nur für die Schönheit. Das Ganze wird aber bestimmt nicht mehr verschwinden, da ist Kompetenz, die über das Erstellen eines Prompts hinausgeht, sicher ganz nützlich.
Und das ist ja erst der Anfang der Möglichkeiten.

Hab ich alles noch nicht probiert:
Per Controlnet eigene Panoramen als Weight oder Map einsetzen und daraus was ganz Neues kreieren. Das würde dann vermutlich richtig equirectangular sein.
Evtl kann man Skybox-Panoramen sogar als Weight einsetzen als Equi-Basis, wenn es irgendwas Utopisches sein soll, für das keine reale Vorgabe existiert.
Eigene Loras trainieren für verschiedene Anwendungszwecke wäre dann die Konsequenz.
Impainting oder Outpainting für alle Arten von Bildmodifikationen. ( was allerdings Photoshop mittlerweile teils auch kann)
Das sind nur die Dinge, über die ich bisher gestolpert bin. Es gibt sicher noch viel mehr Optionen.


Alien-Orchester





Wassermaschine

Checkpoint:
Du hast nicht geschrieben, welchen Checkpoint Du verwendet hast.
Grundsätzlich habe ich die Erfahrung gemacht, dass DPM++ 2M Karras quasi mehr "Rauschen" erzeugt, d.h. mehr Elemente im Bild, sehr lebendig alles.
DPM++ SDE Karras sortiert viel mehr, Oberflächen sind ruhiger, alles ist glatter, perfekter.
Vor allem sind viele Checkpoints nur für einen der beiden Sampler optimiert. Es sieht so aus, dass Du eher den DPM++ SDE Karras Sampler verwenden solltest.

Die Infos z.B. zu Hephaistos NextGENXL: DPM++ SDE/Karras or DPM++ 2Sa, CFG 3-3,5, Steps 5-12 , highresfix 0.2- 0.5 denoise

CFG:
Der zweite Wert, der zu kruseligen Resultaten führt, ist der CFG. Das ist eigentlich der Parameter, der festlegt, wie genau sich Stable Diffusion an den Prompt halten soll.
Wenn der Wert aber zu hoch ist, gibt es teils grausame Resultate. Deshalb unbedingt nachsehen, ob beim Checkpoint Infos dazu stehen. Hephaistos sollte nicht mehr als CFG 3 haben.

Upscaler:
Außerdem schärft der Upscaler sehr. 4xUltrasharpV10 z.B.schärft extrem, das ist manchmal zu viel. Der eingebaute R-ESRGAN 4x+ ist deutlich weicher.

Equirectangular:
Was die Entzerrung angeht: Momentan gibt es für die SDXL-Models nur VIEW360, was ja leider nicht sehr gut ist. Vor allem versaut ein Weight von 1 auch die Bilderzeugung, alles wird clean und leer.
Deshalb setze ich den Weight auf 0.7 oder sogar 0.5.
Bei interessanten Resultaten kann man durch manuelles Entzerren noch viel verbessern. Aber Innenräume funktionieren einfach nicht.

Für SD1.5 Models, die alte aber immer noch viel benutzte Version gibt es LatentLabs360, was fast perfektes Equi erzeugt, auch innen. Aber die Auflösung ist auf 1024x512 beschränkt, definitiv zu wenig. Nur kann man daran sehen, dass es möglich wäre.


Hier als Vergleich vorher/nachher der Aktion, die ich mit dem Alienorchester gemacht habe. Das war ganz ohne View360 erzeugt, aber mit Abstand das beste Bild der Serie (40-50 Versuche).
Der Horizont sitzt viel zu hoch.Deshalb sind In der Höhe in PSD diverse Stauchungen gemacht, und oben viel Himmel und unten etwas Boden dazugebaut.



Man kann ggf. einfacher in einem 3D Programm die Höhen entzerren durch Zerrung der UVW Koodinaten.

Irgendwas machst Du noch falsch. Hier eine Version mit New Reality xl all in one und ohne View360 Plugin. Das braucht man bei so einem Motiv eigentlich nicht.

Klar ist das keine super Schärfe, aber eigentlich akzeptabel. Vielleich müsste man Gras und Tower unterschiedlich vergrößern.Man kann übrigens durch Klammern Begriffe im Prompt verstärken. Je mehr Klammern desto stärker. In New Reality kam sonst kein gescheiter Tower. Im Bild ist nur das Flugzeug dazumontiert, sonst 1zu1 Output.

Scenery of an abandoned airport, ((close up to airport tower and
runway)), no trees or bushes around, the asphalt runway is criss-crossed
with cracks, tufts of plants protrude from it, the airport tower
already looks old and fragile, no planes, the scene is gloomy and
cloudy, end-time atmosphere, only a few black-feathered birds are
flying, 360 degree equirectangular panorama photograph, 8k, high
resolution, photo realistic, rich colors, horizon is exact in the middle
of the image,

Negative prompt: No planes

Steps: 12, Sampler: DPM++ 2M Karras, CFG scale: 5, Seed: 3255836142,
Size: 2048x1024, Model hash: c1adaf9d0c, Model: newrealityxlAllInOne_20,
Tile X: True, Tile Y: False, Start Tiling From Step: 0, Stop Tiling
After Step: -1, Version: v1.7.0



4x vergrößert unter "Extras" mit Upscaler 1: R-ESRGAN 4x+ und Upscaler 2: 4x Ultrasharp 0,5

Klasse, liebzeizende Kandidaten dabei.

Mit img2img hatte ich nur versucht, Elemente ins Bild zu kriegen, aber ohne Erfolg. Für img2img gibt es speziell trainierte Checkpoints, müsste man auf die Suche gehen.
Wie schon erwähnt interessiert mich noch das Einsetzten von eigenen Panoramen per Controlnet. Das geht dann noch einen Schritt weiter, da gibt das Ausgangspanorama nur die Struktur des neuen Panoramas vor.

Hier sind die ersten Versuche mit Controlnet, einer Automatic1111 Erweiterung. Wie fast erwartet grandiose Möglichkeiten.
https://github.com/Mikubill/sd-webui-controlnet
und
https://civitai.com/models/136070?modelVersionId=267507
als Controlnet Depth-Model
Oben in den Bildern gab es eine Störung, warum auch immer. Der Horizont ist in der Depth Map nicht erkennbar, deshalb musste ich das wieder für die interaktive Version korrigieren.

((Eye-level)), Ancient Egypt, large crowd praying, gigantic ancient machine made of tubes, boilers, motors, windmills, steam engines and Egyptian pyramids , steampunk, Hieronymus Bosch, Salvador Dalí, 360 grad equirectangular panorama photo, 8k, high resolution, photo realistic, rich colors
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 543904400, Size: 2048x1024, Model hash: c1adaf9d0c, Model: newrealityxlAllInOne_20, Tile X: True, Tile Y: False, Start Tiling From Step: 0, Stop Tiling After Step: -1, ControlNet 0: "Module: depth_zoe, Model: controlnetxlCNXL_bdsqlszDepth [c4d5ca3b], Weight: 1, Resize Mode: Resize and Fill, Low Vram: False, Processor Res: 1024, Guidance Start: 0, Guidance End: 1, Pixel Perfect: False, Control Mode: Balanced, Hr Option: Both, Save Detected Map: True", Version: v1.7.0


Depth-Bild in Controlnet, vom Landschaftspark Nord in Duisburg:



4 Resultate:



Himmelsauge: