Panorama Community

Hallo Panox,

wunderbar, extrem plastisch, klasse Qualität.
Die Equi-Verzerrung scheint nicht optimal zu sein, Astronaut und das Tierchen biegen sich irgendwie noch. ist der Horizont vielleicht noch zu tief?

Du arbeitest jetzt mit auch Fooocus? Taugt das was? Was sind die Vorteile?

Super Astronaut und Tierchen - jetzt stimmt auch die Equi-Verzerrung perfekt.

Durch Zufall bin ich auf einen eigentlich naheliegenden Trick beim Upscalen gekommen.
Das Upscalen in Automatic1111 mit Ultimate SD upscale und Faktor 2 bringt ja immer einen richtigen Qualtitätsschub. Von 4096 auf 8192 mit 32x 1024-Kacheln ist das gut zu handeln.
Das weitere Upscalen auf 16384 mit 128 Kacheln ist leider eine andere Nummer. Das ist bei mir gestern nach 1,5 Std abgebrochen aus unerfindlichen Gründen, hatte schon oft funktioniert.

Upscalen, verkleinern und erneut upscalen
Quasi das selbe Ergebnis oder sogar besser bekommt man, wenn man das 8192 px Resultat in PSD verkleinert auf 4096 px und dann erneut upscaled.
Das kann man sogar mehrere Male durchführen.

http://www.panorama-community.de/wbb/ind…97083#post97083
Die alte Biblothek ist so noch mal überarbeitet. Da sind jetzt Bildteile drin, die von Schärfe und Inhalt m.E. nicht mehr von einem echten Foto zu unterscheiden sind.
Denoising war 0,3 bei 20 Steps.

Einfaches Upscalen (Ausschnitt):


Doppeltes Upscalen (Ausschnitt):

Bei diesem Sternen-Observatorium war es sehr schwierig, ein "gerades" Teleskop hinzukriegen in der interaktiven Version.
Dabei hat sich ein Effekt ganz stark gezeigt, den ich auch schon früher bemerkt hatte:

Begradigung von Equi-Biegung bei höheren Step-Werten
In equirectangularen Bildern sind ja alle geraden Kanten außer senkrechten Linien gebogen. Leider begradigt Stable Diffusion manche krumme Linien bei höheren Step-Werten. 20 Steps können schon zu viel sein.

Bei dem Teleskop im Bild war das extrem: Alles über 15 Steps führte zu einem geknickten, verbogenen Teleskop, mit allen getesteten Checkpoints. Das 3D Modell ist dabei so optimiert, dass das leres++ Dept-Bild die Biegung optimal erfassen konnte.
Die entstandene Variante ist auch nicht perfekt gerade, obwohl die beste Version von 64 Durchgängen.

Das Bild ist ansonsten wieder eine Montage aus mehreren Durchgängen und viel Retusche. Die Kuppel war nur bei wenigen Durchgängen vorhanden bzw. undurchsichtig, das Teleskop meist notorisch verbogen.

Es sind jetzt viele Fehler im Bild verblieben. das Resultat ist m.E. interessanter als eine perfekte, cleane Version, die es auch hätte geben können.
Ich hatte auch mit Blockade Labs Skybox probiert - kein auch nur annähernd ähnliches Bild bekommen. Keine Teleskop-Kuppeln in den Trainingsdaten.

photo from elevated position, huge telescope in a observatory with a white dome,, night sky outside the white dome with white covering, large run down sky observatory, corroded dome, control desks, several walks, some people, highly detailed, 360 degrees realistic equirectangular panoramic photo, 8k, high resolution, photo realistic, rich colors.Steps: 12, Sampler: DPM++ 2M Karras, CFG scale: 3, Seed: 495964492, Size: 2048x1024, Model hash: c1adaf9d0c, Model: newrealityxlAllInOne_20, Tile X: True, Tile Y: False, Start Tiling From Step: 0, Stop Tiling After Step: -1, ControlNet 0: "Module: none, Model: controlnetxlCNXL_saiDepth [9fe0fd3b], Weight: 1, Resize Mode: Just Resize, Low Vram: False, Guidance Start: 0, Guidance End: 1, Pixel Perfect: True, Control Mode: Balanced, Hr Option: Both, Save Detected Map: True", Version: v1.7.0


Depth-3D-Vorlage:


Montage Sternen-Observatorium:

Hier ein weiteres Problemkind, "Circus".
Höhere Step-Werte führten zu einer quasi leeren Szenerie mit geraden Kanten. Das 3D Modell optimal aufzubereiten für ein prall gefülltes geometrisch korrektes Bild war sehr aufwändig.

Das Panorama ist jetzt mit niedrigen Step-Werten in ca. 8 Durchgängen upgescaled, dabei 3x wieder verkleinert, einmal sogar 4-fach verkleinert. Erst am Ende konnte ich dann einen Step-Wert von 20 zum Upscalen ansetzen, um eine halbwegs saubere Szenerie zu erzeugen.
Das Panorams ist wieder eine Montage aus diesmal 4 Varianten mit sogar verschiedenen Checkpoints. Es gab dabei tatsächlich eine Variante, die eine Farbgebung des Zeltes fast der Vorlage entsprechend erzeugte. De Depth Map gibt ja keine Farbinformationen weiter.

two carousels with many painted wooden horses, lost place, inside rotten circus tent with red and yellow pattern, broken merry go rounds, old corroded circus waggons, highly detailed, 360 degrees realistic equirectangular panoramic photo, 8k, high resolution, photo realistic, rich colors..
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 3, Seed: 2233495440, Size: 2048x1024, Model hash: 440a7f226b, Model: protovisionXLHighFidelity3D_releaseV660Bakedvae, Tile X: True, Tile Y: False, Start Tiling From Step: 0, Stop Tiling After Step: -1, ControlNet 0: "Module: none, Model: controlnetxlCNXL_saiDepth [9fe0fd3b], Weight: 1, Resize Mode: Just Resize, Low Vram: False, Guidance Start: 0, Guidance End: 1, Pixel Perfect: True, Control Mode: Balanced, Hr Option: Both, Save Detected Map: True", Version: v1.7.0



Depth-Map 3D Vorlage:


Circus-Panorama:

Der Cable-Guy auf dem Boden ist super. Klasse Szenario.
Dieses Verkleinern und dann wieder Upscalen ist eben sehr nützlich, wenn man die Bilder dreckig und detailreich halten will.
Das hattest Du ja auch schon mal erwähnt, dass mit hohen Step-Werten alles geglättet wird. Mit vielen Upscale-Durchgängen und moderaten Denoising.Werten kriegt man die Bilder geglättet, ohne dass die ganzen Details verschwinden. Ist nur deutlich mehr Arbeit.

Teils finde ich die Automatic-Einstellung beim Verkleinern in PSD zu hart. Das ist in der Automatic-Einstellung glaub ich Bicubic Sharper. Diese Härte sieht man dann auch beim Upscalen in Automatic1111.

Ich nehme teils zum Verkleinern "Bicubic smoother", was keine Schärfung vornimmt. Das gibt ein organischeres Ergebnis beim Verkleinern, wenn die Schärfe eigentlich schon ausreicht.
Upscalen schärft je eigentlich nicht, sondern erhöht die Details. Da werden beim weiteren Upscalen vielleicht sogar Schärfungsartefakte mit verstärkt.

Bei dritten Deiner Testbilder meine ich diesen Effekt leicht sehen zu können.

Hier ein Vergleich, den ich gerade in PSD gemacht habe. Da sieht man den Effekt deutlich. Das mit Automatic verkleinerte Bild sieht überschärft aus.

Vor allem scheint diese Schärfung beim Upscalen eben nicht immer zu verschwinden, wie auch manche starke Unschärfen im Bild komischerweise beim Upscalen erhalten bleiben.

Stable Diffusion ist ja nicht gut darin, wenn mehrere Objekte in einem Bild beschrieben werden - 1 Hauptobjekt und der Hintergrund, mehr funktioniert eigentlich nicht.

Opernhaus:
Die Vorlage für das Projekt Opernhaus ist ein Panorama der leeren Staatsoper mit eingesetztem 3D-Publikum und 3D-Orchester. Daraus hat SD per leres++ eine Depth Map generiert. Gescheitert ist dann, in einem Prompt zu beschreiben, was Publikum ist, was Orchester und was Bühne - und in welche Richtungen die Leute jeweils schauen. Keine Chance.

Regional Prompter
Ich habe dann versucht, mit einer Automatic1111-Erweiterung das Problem zu lösen: sd-webui-regional-prompter
https://github.com/hako-mikan/sd-webui-regional-prompter

Diese txt2img-Erweiterung hat mehrere Modi, ich habe mit der Maskenfunktion gearbeitet. Man malt Bereiche in eine Vorlage, für die jeweils ein unabhängiger Prompt gilt.
Im Text-Feld werden die Prompts durch das Wort "BREAK" getrennt.
Im Prinzip hat das funktioniert - mit 3 Regionen - auch wenn das (etwas unbefriedigende) Endresultat auf anderem Weg zustande gekommen ist - Durchgänge mit 180° Verschiebung und Montage von vielen Durchgängen.

Der "Regional Prompter" bleibt jedenfalls im KI-Werkzeugkasten als Problemlöser.

audience area of a sold-out opera house full of visitors, all seats are occupied by visitors, mixed gender audience in elegant black clothing, red seats, audience faces are directed towards the camera, highly detailed, 360 degrees realistic equirectangular panoramic photo, 8k, high resolution, photo realistic, rich colors BREAK.
orchestra pit of a baroque opera house, orchestra pit with black seats and dimmed light, large symphony orchestra in a orchestra pit with black seats and dimmed lights, conductor, violinist, cellists, Wind players, double bass players, highly detailed, 360 degrees realistic equirectangular panoramic photo, 8k, high resolution, photo realistic, rich colors BREAK.
stage of a baroque opera house, singers and actors on the stage, highly detailed, 360 degrees realistic equirectangular panoramic photo, 8k, high resolution, photo realistic, rich colors.
Steps: 15, Sampler: DPM++ 2M Karras, CFG scale: 3, Seed: 4161892144, Size: 2048x1024, Model hash: 440a7f226b, Model: protovisionXLHighFidelity3D_releaseV660Bakedvae, Tile X: True, Tile Y: False, Start Tiling From Step: 0, Stop Tiling After Step: -1, ControlNet 0: "Module: none, Model: controlnetxlCNXL_saiDepth [9fe0fd3b], Weight: 1, Resize Mode: Just Resize, Low Vram: False, Guidance Start: 0, Guidance End: 1, Pixel Perfect: True, Control Mode: Balanced, Hr Option: Both, Save Detected Map: True", RP Active: True, RP Divide mode: Matrix, RP Matrix submode: Columns, RP Mask submode: Mask, RP Prompt submode: Prompt, RP Calc Mode: Attention, RP Ratios: "538,970,540", RP Base Ratios: 0.5, RP Use Base: False, RP Use Common: False, RP Use Ncommon: False, RP Options: ["[", "\"", "[", "\""], RP LoRA Neg Te Ratios: 0, RP LoRA Neg U Ratios: 0, RP threshold: 1, RP LoRA Stop Step: 0, RP LoRA Hires Stop Step: 0, RP Flip: False, Version: v1.7.0

Vorlage und Regional Prompter Screenshot:


Resultat Opernhaus, letztlich ohne Regional Prompter aus vielen Versionen zusammenmontiert:

Ja, um die kleinen Details alle zu korrigieren, wären noch ein Haufen Durchgänge nötig gewesen. Das ist ja mehr ein Experiment, wie weit man mit Menschen und einer derartigen Szenerie kommt.

Die Blicke der Zuschauer ließen sich nicht zur Bühne lenken. da die KI einfach nicht weiß, wo die Bühne ist, und die 360° Geometrie des Ganzen nicht versteht. Die Menschen in der Mitte nahe der Kamera müssten ja unter der Kamera durchschauen und weiter entfernt zur Seite hin wegen equi-Verzerrung - oder alle schauen einfach "nach vorne" oder "geradeaus". Das ließ sich nur der KI nicht beibringen.
Die Leute haben dann in alle wirr in alle möglichen Richtungen gesehen und vor allem auch gesessen. Nur die Kamera als Fixpunkt hat funktioniert.
Es wird noch Lost-Places Panorama draus entstehen ohne Leute.

Hier noch ein Panorama der Skybox mit demselben Prompt, natürlich ohne Depth-Vorlage. Barock scheint dort unbekannt zu sein. Weiter habe ich nichts versucht - zu absurd schlecht. Da sind die Menschen alle Pfannkuchen, von der krassen Umgebung ganz abgesehen.

Wow - Spitzenklasse. Da bekomme ich direkt Lust, mal hübsche sinnlose kleine Maschinen in 3D als Video zu produzieren.

Hallo Panox,

das sieht allerdings sehr nach reiner Grafik aus. Gibt es da auch die Möglichkeit, verschiedene Checkpoints zu benutzen, irdendwas eher fotografisches?

Ich bin momentan nur RL unterwegs in den Brandenburger Wüsten und Heiden. Im Winter, wenn es draußen wieder häßlich wird werde ich die KI Panoramen wieder aufnehmen.
Leider scheint Stable Diffusion #3 ja ein völliger Rohrkrepierer zu sein. Bin aber nicht wirklich auf dem Laufenden.