Panorama Community

Eine Spielerei mit verschiedenen KI-Hilfen

Seltsames Objekt

Bei dieser Animation habe ich viele verschiedene Werkzeuge eingesetzt.
Die Idee für das Thema entstand, als ich einige Videos über unerklärliche Phänomene gesehen habe.
Bestimmt gibt es unter denen auch gefälschte, die sogenannten "Fake-Videos".
Ein Fake-Panorama wäre da mal was Neues. Dass das nicht wirklich zusammenpasst, ist aber schon klar.

Einen neuen Weg, dieses Mal ohne Photoshop und Maskierungen, um in Pano2VR eingefügte Videos( pinned videos) ins Panorama einzufügen, habe ich mit DaVinci Resolve V. 19.1.2.3 gefunden.

Hier der Ablauf meiner Schritte zum fertigen Ergebnis:

1. Panorama in Pano2VR laden.

2. Mit dem Patch-Werkzeug einen Patch erzeugen und als jpg-Bild speichern.

3. Das zu bewegende Objekt mit Fooocus (einer KI zur Erzeugung von Bildern aus Textvorgaben) erzeugen.

4. Das Bild in der Webseite https://app.runwayml.com/ animieren.

5. Eine gelungene Animation dort abspielen und mit Camtasia 2019 aufzeichnen Das hat den Vorteil, dass man eine kleine Datei bekommt, die man auch perfekt zugeschnitten als mp4-Video ausgeben kann.

6. DaVinci Resolve öffnen und den Bodenpatch in die Timeline (Videospur 1) importieren.

7. Eine zweite Videospur erzeugen.

8. Das Video des animierten Objekts importieren und in die zweite Videospur über der Spur 1 ziehen.

9. Das Bild des Patches an die Länge des Videos des Objekts anpassen.

10. Die Videospur 2 mit dem Objekt anwählen und vom Editor- in den Fusion-Arbeitsbereich wechseln.

11. Dort oben den Tab "Effekte" anwählen und auf das Lupensymbol (für Suchen) klicken.

12. In die Suchleiste "DeltaKeyer" eingeben.

13. Aus der nun erscheinenden Übersicht auf den Button "DeltaKeyer" klicken.

14. Rechts auf den Farbbereich "Background Color" klicken und im aufgegangenen Fenster "Pick Screen Color" anklicken.

15. Mit der Maus dann im Vorschaufenster den Hintergrund des Objekts anklicken. Es ist schon bei der Erstellung des Bildes eines Objekts wichtig, einen durchgehend einfarbigen Hintergrund zu erzeugen, z.B. grün oder gelb. Schwarz und Weiß funktionieren nicht. Auch sollte das Objekt keine Farbe des Hintergrunds haben.

16.Mit dem Klick auf den Hintergrund wird der nun transparent, also durchsichtig. Ob nun noch Reste in der durchsichtigen Fläche verblieben sind, kann man mit dem Reiter "Matte" überprüfen. Erst auf "Matte" klicken, dann darüber von "Final Result" (Endergebnis) zum View Mode (Anzeigemodus) "Matte" wechseln.

17. Nun sieht man ein Schwarz-Weiß-Bild. Schwarz bedeutet hier durchsichtig, Weiß undurchsichtig.

18. Mit den "Threshold"-Schiebereglern kann man nun den schwarzen Bereich durchgehend schwarz einstellen, wenn sich dort noch weiße Schlieren zeigen.

19 . Nun muss man wieder in den Anzeigemodus "Final Result" wechseln, damit die Transparenz im Editor-Bereich auch sichtbar wird.

20. Dann wechselt man in den "Deliver"-Modus (Ausgabe des Videos), der sich ganz unten rechts am Bildschirmrand befindet.

21. Name, Ausgabeort, und Format des Videos einstellen und "Add to Render Queue" anklicken (Hinzufügen zur Berechnungs-Warteschlange).

22. Dann rechts unten "Render all" anklicken. Nun wird das Video erstellt und ausgegeben.

23. Wichtig ist, dass man den Ort des Patches als Speicherort auswählt und den Namen beibehält. Z.B. Patch "Objekt.jpg" und "Objekt.mp4".

24. Nun in Pano2VR den Patch in Vorschaufenster anwählen (wenn er nicht schon angewählt ist) und im Eigenschaften-Tab das Videokamera-Symbol anklicken. Es folgt eine Abfrage, ob der Patch (das jpg-Bild) zu einem "Pinned Video" umgewandelt werden soll.

25. Nach der Bestätigung wählt man aus dem Explorer-Fenster nun die mp4-Datei aus.

26.. Die Ausgabe als html-Seite schließt sich an. Die Projektdatei wird dann noch gespeichert. Das Browserfenster öffnet sich und man kann sein Ergebnis des eingebetteten Videos bewundern.

27. Manchmal hebt sich das Rechteck des eingebetteten Videos noch leicht vom umgebenden Hintergrund des Panoramas ab. Mit einem Grafikprogramm kann man dann versuchen, die Farb- und Helligkeitswerte des jpg-Bildes des Patches an den Hintergrund anzugeichen.

28. Dann muss man jedoch das veränderte Bild wieder in DaVinci Resolve laden und in die Videospur 1 setzen und das Video neu rendern.

29. In dem Fall wandelt man den Dateinamen etwas ab und lädt die veränderte Videodatei neu in Pano2VR.

Viel Spaß beim Nachmachen! :-)

Grüße

Harald

Die bisher von Martin Hopkins von Garden Gnome in einem YouTube-Video vorgestellte Methode, ein real aufgenommenes Video ins Panorama einzufügen, so dass es mit dem Panorama verschmilzt, kann auch durch KI-generierte Inhalte abgewandelt werden.
Ohne reale Videoaufnahmen von Krähen am selben Ort der Panoramaaufnahme lassen wir mal die KI - hier mit ComfyUI-Unterstützung- durch einfache Texteingaben Krähenanimationen erzeugen. Die Webp-Dateien, abgespielt mit dem Quick
Viewer und mittels Bildschirmaufnahme zu mp4-Videos umgewandelt, können zusammen mit den Pano2VR Patches in DaVinci Resolve, wie im vorangegangenen Beitrag beschrieben, als "Pinned-Video" ins Panorama eingebaut werden.

ComfyUI Videoerzeugung

Leider ist es mir nicht immer gelungen, bei diesen Umformungen die leichten, aber sichtbaren Farbverschiebungen zu vermeiden.

KI-erzeugte Krähenanimationen

Ich habe nach einer Freeware-Alternative zu Camtasia gesucht und oCam gefunden. Das funktioniert wesentlich schneller. Im Anhang unten zeigt eine GIF, wie es aussieht, wenn man die KI-erzeugte Webp-Datei im QuickViewer abspielt. Die KI ist nicht immer meiner Anforderung gefolgt, die Krähe nicht anzuschneiden und im Vollformat zu zeigen. Dadurch ist es, um die Dateigröße möglichst gering zu halten, besser, wenn man in der Darstellung nur den nötigen Ausschnitt für das zu erzeugende Video auswählt:



Und so sieht der mit DaVinci Resolve erzeugte zum Video umgewandelte Pano2VR-Patch aus:

Video-Patch

Wer mal selbst in sein Panorama eine Krähe einbauen möchte, bitte: Hier ist eine:

KI-Krähe

Die Tonspur ist zufällig drauf, ich habe beim Screenrecording gerade Musik gehört. :-)

Das Ganze ist noch immer ein Experiment und eine Spielwiese. Die Krähen oder Objekte sehen noch sehr ausgestanzt und künstlich aus. Die Ränder kann man in DaVinci Resolve noch etwas verschwommener (geblurrt) machen, im Prompt für die KI-Erzeugung habe ich extra sehr schwarze Krähen gefordert, damit beim Ausblenden des Hintergrunds in der Krähe selbst keine transparenten Bereiche entstehen. Und die Farbverschiebung des Video-Patches geschieht erst bei der Umwandlung des Bildes. Woran das liegt, werde ich mal im GGnome-Forum erfragen. Ich würde mich freuen, wenn hier mal ähnliche Experimente gezeigt werden!