Du bist nicht angemeldet.

41

Montag, 15. Januar 2024, 19:09

Du must das 360 Lora rausnehman, also <lora:View360:0.7> löschen. Wenn das aktiv ist, wird Controlnet ignoriert - unter anderem. Ich verwemde das gar nicht mehr, zerstört die Bildgenerierung.
Nicht das Lora löschen, sonst ist der Panorama-Viewer auch weg.
Außerdem das Cloudify SDXL Lora von Civitai laden, falls Du das noch nicht hast.

42

Montag, 15. Januar 2024, 21:39

Wie können die Parameter verändert werden, um ein nächstes Panorama wie dieses equirectangular werden zu lassen?

((((deep green tropical steamy dense rainforest with trees everywhere)))), 360 degrees realistic equirectangular panorama photo, (((((heavily corroded rotten rusted moss-covered machines))))), 8k, high resolution, photo realistic, rich colors, <lora:Cloudify-SDXL:1.5>



Danke für Deine vielen guten Tipps!

43

Montag, 15. Januar 2024, 22:45

Retusche von Zenith und Nadir (Himmel und Boden)

Es ist immer nötig, Zenith und Nadir zu retuschieren, teils großflächig. Am oberen und unteren Bildrand wird von der KI keine equirectangulare Verzerrung umgesetzt. Meist wird statt 180° Höhe eher 140°-160° Höhe generiert. Es ensteht eigentlich immer nur ein zylindrisches Panorama. Es sind also erst einmal Änderungen in der Höhe des Bildinhalts z.B. in Photoshop nötig.

Stauchung:
a. Evtl. reicht es, den Inhalt des Bildes von der Mitte her auf ca. 80% in der Höhe zu stauchen. Es entstehen leere Bereiche oben und unten.
b. Besser ist es, stufenweise zu stauchen. Erst das gesamte Bild vielleicht auf 90%, dann obere und untere 25% des entstandenen Bildes auf jeweils 80%, dann obere und untere 12,5% auf 60% o.ä.
c. Oft sollte die Mitte belassen werden, wenn die gut stimmt - und nur vielleicht oberes und unteres Drittel gestaucht werden.
d. In beschränktem Umfang kann man so auch den Horizont des Panoramas nach oben oder unten in die Bildmitte verschieben. Wenn der grundsätzliche Aufbau des Panoramas falsch ist, z.B. der Horizont sehr weit aus der Mitte verschoben ist, lässt sich das nicht korrigieren.
In einem Panorama Viewer jeweils kontrollieren, welche Stauchung am besten zu geraden Linien im Bild oben und unten führt.



Retusche der gestauchten Version:
a. Wie gewohnt danach das Panorama in Würfelseiten umwandeln. Obere und untere Würfelseite enthalten einen leeren Kreis.
b. Mit Reparaturpinsel oder Generative Fill die entstandenen weißen Löcher in den Würfelseiten auffüllen, mit Photoshop oder online, z.B. https://www.lightxeditor.com, oder auch mit Stable Diffusion Inpaint. Dabei die erlaubte Bildgröße bei generativen Fill-Tools beachten.
c. Panoramen mit so gefüllten Bereichen können in Stable Diffusion img2img weiter vergrößert werden, die Struktur bleibt erhalten!



Resultat:



44

Montag, 15. Januar 2024, 23:37

Danke, Manuel, für diesen klasse Tipp! Tolles Beispielpanorama. Ich vermute mal M.C. Escher gab sich im Prompt die Ehre.

Mit etwas generativer Füllung waren Zenit und Nadir schnell retuschiert:

Urwald mit alten, verrosteten Maschinen

Ich finde, dass das Panorama schon recht gut gelungen ist.

45

Dienstag, 16. Januar 2024, 10:05

Ja, sehr schön, Lost Places sind immer schon Panorama-Ägide. Ich probiere gerade sowas mit Dampfloks hinzukriegen, wird aber nicht so recht.


Wie hast Du das vergrößert? Vermutlich unter "Extras", oder? Sonst probier mal die Variante mit img2img wie hier beschrieben:
http://www.panorama-community.de/wbb/ind…96954#post96954

Mit Ultimate SD Upscale kann man richtig gut arbeiten, vor allem bei dem Schritt von 2048 zu 4096 - das geht ja verhältnismäßig schnell.
Wenn man ein sehr rohes Panorama mit vielen (schmutzigen) Details generiert hat, lässt sich daraus mit einem Denoise-Wert um die 5 eine viel sauberere Version, aber immer noch mit vielen Details generieren. Grenze ist nach meinen Erfahrungen Denoise 5.5, darüber wird das Bild zerstört.
Im zweiten Schritt auf 8192 dann einen niedrigen Denoise Wert setzen, 1 - 2, der nur die kleinsten Details säubert - oder sogar "Extras" verwenden.

46

Dienstag, 16. Januar 2024, 12:54

Das Panorama habe ich erst mit LetsEnhance, https://letsenhance.io/boost, und danach noch mit dem Desktop-Programm "Upscayl" auf 16384x8192 Pixel vergrößert. Deine Anleitung probiere ich aber auch gern aus.

47

Dienstag, 16. Januar 2024, 13:03

Das ist dann eben keine Vergrößerung, sondern eine Neugenerierung in größerer Auflösung - was ganz anderes, man staunt. Normale Vergrößerungen funktionieren weiterhin ja nicht vernünftig.
Da das Upscalen kachelweise passiert, müsste das auf Deinem Computer ohne weiteres laufen. Es werden beim Schritt von 2048 auf 4096 acht Kacheln erzeugt, wenn man 1024 als Kachelgröße eingestellt hat. Baut Automatic1111 dann natürlich selber zusammen am Schluss.

M.E. ist ein so "vergrößertes" Panorama schon mit 4096px Breite viel schärfer und besser als eine mit "Extras" oder den von Dir verwendeten Vergrößerern bearbeitete Riesenversion.

48

Dienstag, 16. Januar 2024, 15:40

Das im2img-Upscalen bekomme ich nicht hin, "tile resize" kann ich nicht finden, "tile resample" gibt es.

Hier ein img2img-Panorama mit einem Fahrstuhl-Panorama als Vorlage. Ich wollte es mal etwas gruselig gestalten. Nix für Klaustrophobiker..;-)))





Prompt:

The interior of an elevator, the silver-coloured walls made of stainless steel are imprinted from the outside with imaginary people and their faces, creating a ghostly atmosphere, the bluish light casts eerie shadows, <lora:View360:0.7>

49

Dienstag, 16. Januar 2024, 16:23

Klasse - super Bild. Komisch, dass der Aufzug keine 4 Wände, sondern mehr gekriegt hat.

Ich hab das vermutlich schlecht erklärt mit dem Upscalen. Das ist m.E. eines der wichtigsten Features von Stable Diffusion.

1. Du brauchst die Erweitererung "Ultimate SD Upscale", sollte über den Erweiterungsreiter bei "Available" zu finden sein. Installieren und Gui reloaden. Ggf. brauchst Du auch 4xUltrasharp als Upscaler wenn Du den nicht hast. Ggf. googeln.
2. Du lädst das gewünschte Bild mit allen Einstellungen z.B. per PNG Info nach img2img. Dort sollten also u.a. Bildbereich, Prompt und Seed entsprechend gefüllt sein.
3. Oben alles so lassen, nur das sehr wichtige Denoising auf 0,3 - 0,5 stellen. Gute Erfahrungen hab ich mit dem Albedo Base Checkpoint gemacht, ansonsten den verwenden, den Du zur Bildgenerierung benutzt hast.
4. ggf. Controlnet abschalten
5. Ganz unten müsste unter "Scripts" jetzt "Ultimate SD Upscale" zu finden sein. Das genauso einstellen wie im angehängten Screenshot. Ich hab das bisher nur mit dem 4xUltrasharp Upscaler verwendet, den braucht man vermutlich damit es funktioniert.


50

Dienstag, 16. Januar 2024, 21:00

Danke, Manuel, das hat gut funktioniert! Der Unterschied zwischen dem Upscayle-Programm und der Hochskalierung durch Ultimate SD Upscale ist erstaunlich:



Es ist deutlich zu erkennen, dass Ultimate SD Upscale nicht nur vergrößert, sondern das Bild neu berechnet.

51

Dienstag, 16. Januar 2024, 21:51

Bei dem Upscaler per Ultimate SD Upscaler gibt es noch eine große Bandbreite an Möglichkeiten. Neben der wichtigsten Einstellmöglichkeit, dem Denoiser, erzeugen unterschiedliche Modell auch unterschiedliche Resultate.
Man kann das gezielt einsetzen, um dem Bild einen bestimmten Stil aufzupfropfen.
M.E. könnte Dein Beispiel auch noch perfekter sein, man muss sich da einfummeln. Es lohnt immer, verschiedene Models an einem Bild auszuprobieren.
Außerdem scheint es bessere Resultate zu geben, wenn man in mehreren Schritten vergößert. Dabei den Denoise-Wert immer weiter runtersetzen hat sich bei mir bewährt.

Und beachten: Es entsteht eine richtig kräftige Naht nach jedem Upscalen! Ich werde zur Naht noch einen Beitrag schreiben. Evtl. ist es natürlich mit Generative Fill lösbar.

Ich will mich auch noch mal gründlicher mit SD1.5 beschäftigen, solange so viele Sachen bei SDXL noch fehlen. Vor allem Loras, z.B. zur Helligkeitsbeeinflussung, um gute Nachtpanoramen zu erzeugen. Für dunkle Bilder hat Stable Diffusion eine eingebaute Schwäche. Per Upscaler bekommt man jedenfalls beliebige Größen und Schärfen auch aus 1024x512px erzeugt. Bisher habe ich nur kein SD1.5 Model gefunden, was ähnlich interessante Resultate bei Panoramen liefert wie SDXL.

52

Mittwoch, 17. Januar 2024, 18:53

Ja, Geduld zum Ausprobieren braucht man schon. Bei anderen Modellen bekomme ich aber Fehlermeldungen, die ich trotz der knappen Anleitung, die darunter steht, nicht abstellen kann.

Zitat

NansException: A tensor with all NaNs was produced in Unet. This could be either because there's not enough precision to represent the picture, or because your video card does not support half type. Try setting the "Upcast cross attention layer to float32" option in Settings > Stable Diffusion or using the --no-half commandline argument to fix this. Use --disable-nan-check commandline argument to disable this check.


Hier ein Upscale-Projekt eines verlassenen und verdreckten Ortes:

Lost Place mit Treppen

A room, nested and with many stairs, doors, windows, tiled walls, floor with checkerboard pattern, crooked and distorted, everywhere trash, eerie lighting mood, dreamlike, dark clouds outside, junk lying around everywhere, high resolution, 360 degrees realistic equirectangular panorama photo, <lora:View360:0.7>


Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 3504618066, Size: 2048x1024, Model hash: a928fee35b, Model: albedobaseXL_v20, Tiling: True, Tile X: False, Tile Y: False, Start Tiling From Step: 5, Stop Tiling After Step: -1, Lora hashes: "View360: 27d5212dafef", Version: v1.7.0

Time taken: 41 min. 18.0 sec.

A: 11.85 GB, R: 16.95 GB, Sys: 10.0/10 GB (100.0%)



Die Naht, die nach dem Upscalen entstanden ist, lässt sich mit generativem Füllen besser reparieren als mit dem Entfernen-Werkzeug.

53

Mittwoch, 17. Januar 2024, 21:23

Den Fehler hatte ich auch einige Zeit.
Es gibt im SD-webui-Ordner eine Datei "webui-user.sh", dort kann man hinter "export COMMANDLINE_ARGS..." diverse Starparameter für SD eintragen.
Dort hatte ich glaub ich dann wie vorgeschlagen "--disable-nan-check" hinten angefügt, was den Fehler behoben hatte.
Hast Du mal nach Updates gesucht bei "Extensions"?

Was mich total wundert sind Deine Renderzeiten. Was hast Du denn für einen Rechner, was für eine Grafik?
Die meisten Durchgänge rendern bei mir unter 2 Minuten, Upscalen auf 4096 ca. 4 Minuten, Upscalen auf 8192 maximal 15 Minuten.
PCs sollten eigentlich viel schneller sein, zumindest mit irgendeiner Grafikkarte.
NVIDEA sowieso, AMD kann man noch irgendwie beschleunigen.

Hier sind noch andere Startparameter:
https://github.com/AUTOMATIC1111/stable-…i/Optimizations
Da ist u.a auch beschrieben, was man unter "Settings" bezüglich Performance einstellen kann.

54

Donnerstag, 18. Januar 2024, 11:09

Ich habe den hier:


[url]https://www.medion.com/de/shop/p/high-end-gaming-pcs-medion-erazer-hunter-x20-intel-core-i9-12900k-windows-11-home-nvidia-geforce-rtx-3090-2-tb-ssd-32-gb-ram-high-end-gaming-pc-10024603A1
[/url]

Die 41 Minuten wundern mich jetzt auch. Ich teste das mal an anderen Panoramen.

Hast Du mal rausgefunden, warum SD Probleme mit 4 Wänden hat? Es gibt immer mehrere mit gebogenen Flächen.
Selbst solche Prompts helfen nicht:

sportshall, 4 walls, 8k, high resolution, photo realistic, rich colors, 360 degrees realistic equirectangular panorama photo,<lora:View360:0.7>

Ein Blick zum Zenit:


55

Donnerstag, 18. Januar 2024, 17:32

Viereckige Räume erzeugen

Ja, viereckige Räume sind ein Problem. Ich habe gerade mal sehr viel getestet.

Was nicht funktioniert für viereckige Räume:
1. Alle 360ger Loras, kann man m.E. komplett beseite legen für Panoramaerzeugung. Nutzen nichts und stören nur die Bilderzeugung.
2. Irgendwas im Prompt. Wird alles ignoriert.
3. Hohe Step-Zahlen, zumindest sicher beim Albedo Checkpoint. Bei höheren Step-Werten scheint aber grundsätzlich eine Depth-Map weniger zu wirken, hatte ich schon früher bemerkt. Müsste man näher erforschen.
4. Leider auch künstlich erzeugte Räume als Depth Map. Da muss ich noch weiter forschen. Die sozusagen perfekte im 3D Prgramm erzeugte Depth Map nach gewünschter Geometrie hatte nicht funktioniert.

Was funktioniert:
1. Controlnet mit Depth-Maps aus viereckigen Innenräumen. Mit controlnetxlCNXL_saiDepth.safetensors und depth_leres++ erzeugt
2. Step-Werte von 10-12. Bei hohen Step-Werten entstehen wieder Zusatzwände. (getestet mit Albedo Base, CFG 5)
2. In Controlnet kann "Ending Control Step" bis ca. 0,3 runtergenommen werden, darunter entstehen auch wieder Zusatzwände. Das ist der Hebel, mit dem man die Generierung freier gestalten kann - neben dem Prompt.

Vermutlich hast Du selber genug Räume. Hier ein paar Räume von mir, die alle funktioniert hatten:
https://www.kubische-panoramen.de/2000/b…nferenzraum.jpg
https://www.kubische-panoramen.de/2000/w…-toter-hund.jpg
https://www.kubische-panoramen.de/2000/k…en-ruheraum.jpg
https://www.kubische-panoramen.de/2000/z…rg-wohnraum.jpg
https://www.kubische-panoramen.de/2000/w…en-festraum.jpg


360 degrees realistic equirectangular panorama photo, decayed room with raw collapsed brick walls and large-scale collapsed ceiling and large-scale collapsed floor, full of trash, 8k, high resolution, photo realistic, rich colors
Negative prompt: painted walls
Steps: 12, Sampler: DPM++ 2M Karras, CFG scale: 5, Seed: 3823246090, Size: 2048x1024, Model hash: a928fee35b, Model: albedobaseXL_v20, Tile X: True, Tile Y: False, Start Tiling From Step: 0, Stop Tiling After Step: -1, ControlNet 0: "Module: none, Model: controlnetxlCNXL_saiDepth [9fe0fd3b], Weight: 1, Resize Mode: Just Resize, Low Vram: False, Guidance Start: 0, Guidance End: 0.4, Pixel Perfect: True, Control Mode: Balanced, Hr Option: Both, Save Detected Map: True", Version: v1.7.0

Reales Vorbild Lost Place Ziegenberg Wohnraum:


KI-Panorama ohne Bearbeitung, 1x hochskaliert:



56

Donnerstag, 18. Januar 2024, 17:54

Hey, Manuel, toll, Dein Input! Das macht richtig Spaß, Deine Forschungen, Versuche und Deine gelungenen Ergebnisse nachzuvollziehen! Mein Versuch eines Kellerraums, bei dem mal gründlich feucht durchgewischt werden müsste, ergab, egal, wie sehr ich auf den vier Wänden bestand, immer mehr als vier gebogene Wände. Da sehe ich mir Deine Arbeitsschritte gleich mal an.



Nicht immer hat es mit den Einstellungen geklappt. Mein Prompt mit dem Kellergewölbe lässt sich nicht so einfach auf Deine Beispielpanoramen anwenden.

Hier mal ein Vergleich zwischen der generativen Füllung von PS und der Inpaint-Funktion von StD. PS fügt die Mäuse mit Schatten ein, Inpaint-Tiere sehen etwas unnatürlich aus.

Dieser Beitrag wurde bereits 3 mal editiert, zuletzt von »panox« (18. Januar 2024, 20:14)


57

Freitag, 19. Januar 2024, 16:11

Sehr interessanter Vergleich, danke.

Klar ist momentan Photoshop überlegen, vor allem auch was die Geschwindigkeit angeht. Mein freies Kontingent an Generative Fills reicht aber für den KI Kram einfach nicht aus.

SDXL ist ja nur ein paar Monate alt, da wird sich sicher noch viel ändern. Es gibt vor allem immer noch kein Controlnet Inpaint für SDXL, hoffentlich kommt das bald.
Leider sind die Stable Diffusion Modelle außerdem hauptsächlich auf "Japanisches Schulmädchen" trainiert, was auch ein Nachteil ist. Das wird sich vermutlich nicht ändern.

Man kann durch Angaben einer Beleuchtungsart aber noch viel erreichen an Echtheit in img2img Inpaint.
Im Beispiel sind die Mäuse mit "Indirect Light" als Prompt eingesetzt. Leider lässt sich die Größe nicht gut steuern, sind zu groß.

Lokomotiven:



58

Freitag, 19. Januar 2024, 17:41

Alchemisten-Labor

Tolle, stimmungsvolle Lokwracks! Ein Wunder, dass die noch dampfen! :-) Die Mäuse könnte man ja schnell mit PS oder einem anderen Programm verkleinern. Oft sehen sie aber auch zu comichaft aus.

Danke für den Hinweis zur Beleuchtung! Von allen Panoramen des "Alchemisten-Labors" gefällt mir das, was ich hier zeige, noch am besten. Die Gegenstände, die ich im Prompt aufgelistet habe, sind zum großen Teil aber nicht ins Panorama aufgenommen worden. Wahrscheinlich kennt das Modell diese gar nicht. Daher sind viel zu viele Flaschen zu sehen.
Der Chemiker wurde ganz unterschlagen. Hier habe ich einige Versuche mit Inpaint, Photoshop und Firefly gemacht. Inpaint hat die Maske oft nicht richtig gefüllt, und wenn Damen und Herren in weißen Kitteln erschienen sind, stimmten die Größe oder die Körperhaltung nicht. Erst mit im2img und einem Referenz-Screenshot aus dem Web war eine Abbildung halbwegs brauchbar. Leider wirkt der Akteur auch für die Umgebung zu modern. Da hätte ich wohl statt "Kittel" lieber "Kutte" geschrieben. Fireflys Ergebnisse waren völlig unbrauchbar. Das waren durchgehend Variationen von Abbildungen aus einem Pharma-Prospekt. Das Panorama musste ich mit PTGui geraderücken und mit PS viel Platz für Nadir und Zenit schaffen.





Prompt und Parameter:

Deutsche Vorlage für die Übersetzung:

Zitat

Ein altertümliches Kellergewölbe, Labor, Tische, Regale, Reagenzgläser, Phiolen, Bunsenbrenner, Fläschchen , Gläser, Phiolen, Säckchen und Dosen aus buntem Glas, Ton, Metall, Granit, Speckstein, Edelstein, Marmor, Leder, Kisten und Kästchen mit Ingredienzien, gefärbte Flüssigkeiten, Pulver, Handwaage mit Gewichten, Mörser, verschiedene Löffel und Spatel, Apothekerschäufelchen, Glasgefäß oder Töpfchen zum Kochen, Schüssel, Ständer, Rührstäbchen, Scheidetrichter, Filter, Trichter, Siebe, Pipetten, ein Brettchen und Messer, Kräuter, kleine Pfanne, Räucherlöffel, Schmelzkelle, Destillationsgerät, Glaskolben mit Destillationsbrücke oder Rückflusskühler, Kupferdestille, Retorte, Schreibzeug für Notizen, ein kleines Rechaud, Stövchen, Spiritusbrenner, Dreifuß, Untersetzer,Reinigungspinsel, Lappen, Sanduhren in verschiedenen Größen, kleine Schälchen, Schädel, Menschenschädel mit Kerze drauf, Tierschädel, Muscheln, Edelsteine, Mineralien,Schriftstücke und Bücher,Kerzen im Kerzenständer, Lampen,Laternen, mathematische Geräte, Zeichengeräte, Globus, obskure Geräte, Lupe, eine Destille, eingelegte Tiere/Organe, ein Mann mit weißem, wirren Haar, er trägt einen weißen Labormantel mit grüner Schürze, er hält ein Glasgefäß in der Hand, aus dem lila Rauch strömt, unheimliche Lichtstimmung, düster, wenig Beleuchtung,


Zitat

parameters

An ancient cellar vault, laboratory, (((a man with white, tangled hair, wearing a white lab coat with a green apron, holding a glass jar from which purple smoke is pouring))), tables, shelves, test tubes, vials, Bunsen burners, flasks, jars, vials, bags and jars made of colored glass, clay, metal, granite, soapstone, precious stone, marble, leather, boxes and boxes with ingredients, colored liquids, powders, hand scales with weights, mortars, various spoons and spatulas, apothecary scoop, glass vessel or pot for cooking, bowl, stand, stirring rod, separating funnel, filter, funnel, sieves, pipettes, a small board and knife, herbs, small pan, smoking spoon, melting ladle, distillation apparatus, glass flask with distillation bridge or reflux condenser, copper still, retort, writing utensils for notes, a small rechaud, teapot, spirit burner, trivet, coaster, cleaning brushes, cloths, hourglasses in various sizes, small bowls, skulls, human skulls with candles on them, animal skulls, shells, gemstones, minerals, documents and books, candles in candlesticks, Lamps, lanterns, mathematical devices, drawing instruments, globe, obscure devices, magnifying glass, a still, pickled animals/organs, eerie lighting mood, gloomy, little illumination, wide angle camera, 360 degrees realistic equirectangular panorama photo,8k, high resolution, photo realistic, rich colors,
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 518283627, Size: 2048x1024, Model hash: a928fee35b, Model: albedobaseXL_v20, Tiling: True, Tile X: True, Tile Y: False, Start Tiling From Step: 5, Stop Tiling After Step: -1, Version: v1.7.0


Alchemisten-Labor

59

Freitag, 19. Januar 2024, 18:03

Wow - Spitzenklasse. Richtig was los beim Alchimisten. Der Prompt ist je ein richtiger Roman, super. Hattest Du versucht, das viereckig zu kriegen?

Ich hatte auch schon mit Laboren experimentiert, nicht als Pano. Der Begriff "Steampunk" hatte alles alt gemacht. Ist natürlich ein bestimmter Stil. Das war teils das Einzige, was geholfen hat gegen moderne Geräte und Möbel. Vielleicht gibt es andere "Stil"-Worte, die nicht so kräftig sind. Steampunk ist den Modellen jedenfalls perfekt bekannt.

Wenn ein Element fehlt, sollte das an den Anfang vom Prompt - falls Du das nicht pobiert hattest. Ob runde Klammern wirklich helfen weiß ich nicht, aber kann nicht schaden, Wichtiges in 4 Klammern zu setzen.

60

Samstag, 20. Januar 2024, 10:56

Nein, meine Versuche mit viereckigen Grundrissen waren noch nicht so erfolgreich.
Den zu modern anmutenden Alchimisten, der nicht so recht in die Szenerie passte, habe ich nun durch einen Herren aus einer früheren Epoche ersetzt und ein paar Schädel hinzugefügt:



Pano2VR-Version:

Labor eines Alchimisten

Wenn man sich die Abbildungen von solchen Labors im Web ansieht, ist der Mensch immer noch zu frühzeitlich gekleidet. Dabei kann man mit StD auch urigere Typen finden: