Panorama Community

Im Wechsel zwischen A1111 Stable Diffusion (Panorama) und Fooocus (Inpainting) habe ich einen unwirklichen Raum gebaut und mit Video-Animation und Hintergrundgeräusch versehen.
Programme und Anwendungen, die ich benutzt habe:

1. A1111 Stable Diffusion
2. Fooocus
3. Photoshop 2024
4. Pano2VR 6
5. Hypersnap 9
6. Camtasia 2019


Unheimlicher Raum

Zitat

Das hätte ich in einer Stunde auch ohne jede moderne "KI" zusammengeschustert.

O je, ich habe gedacht, mit der Bezeichnung "Test" hätte ich klargestellt, dass das gezeigte multimediale Panorama keinesfalls den Anspruch erhebt, mit einem aus echten Fotografien erstellten vergleichbar zu sein.

Bei meiner Idee, die sich im Erstellungsverlauf weiter entwickelte, musste ich einige Tricks und Kniffe anwenden und teilweise auch erst erkunden, die ich bei "normalen" Panoramen nicht nötig habe.

Rechteckige Räume kann man zum Beispiel nicht einfach durch einen Prompt erzeugen, indem man schreibt "Ein rechteckiger Raum". Auch mit Zahlen kann die KI kaum richtig umgehen. "4 Wände" werden nicht als solche dargestellt. Die KI mag Rundungen und es gibt immer Ecken und Winkel in einem Raum, die dort nicht erscheinen sollen.

Abhilfe schafft das ControlNet, dem man ein Vorlagebild anbietet. Mit weiteren Parametern beeinflusst man die Stärke der von der KI dazu erfundenen Objekteigenschaften.

Nachdem vier schwebende Wände erschienen, die am Boden Licht durchzulassen schienen, kam die Idee mit dem Schatten auf, der außen um die Wände herumwandert.

Hier behalf ich mich mit Einzelframes aus einem Bildschirm-Video, die ich in PS bemalte, um diese Einzelbilder danach wieder zu einem Video zu konvertieren.
Dass das als gepinntes Video den Bodenpatch ersetzen konnte, hat mich überrascht.

Die Augen als Inpainting-Test sind nur gelungen, indem ich von A1111 zu Fooocus gewechselt bin.

Dass das Hintergrundgeräusch der Schritte fast synchron mit dem Schatten abläuft, macht den beabsichtigten Effekt etwas glaubwürdiger. Mit viel Feinabstimmung könnte man das auch noch genauer hinbekommen.

Nochmal: Diese KI-Technik, so wie ich sie unvollkommen einsetzen kann, will kein Ersatz für gute, echte Foto- und Designarbeit sein. Ich habe da ein paar Stunden mit vielen Möglichkeiten herumexperimentiert und mich darüber gefreut, wie meine Idee sich langsam fortentwickelte.

Toll, dass Du so etwas in einer Stunde ohne KI "zusammenschustern" könntest!!

Vielleicht magst Du mir dein Ergebnis aus Stockfotos und mit synchronem Audio hier mal zeigen?

-----------------------------------

Blender-Experten, aufgemerkt!

Mein mit dem Pinsel hingetupfter Schattenriss ist ja nur sozusagen in Kladde geschrieben. Wäre es möglich, in Blender eine virtuelle Person um einen schwebenden Raum mit Licht von außen so herumgehen zu lassen, dass ein realistisch aussehender Schatten in den Innenraum geworfen wird? Danach müsste eine Draufsicht des Bodens als Video exportiert werden.