Die Wissenschaft hinter PRISM
Und wie eine look-erhaltende, spektrale Konditionierung des Startframes das messbar korrigiert — hergeleitet aus kontrollierten Experimenten, nicht aus Intuition.
Videogenerierungs-Modelle (Kling, Seedance, Runway, Veo …) wurden auf riesigen Mengen echten Videomaterials trainiert. In der Praxis füttert sie aber fast jeder mit KI-generierten Startbildern (Gemini 3 Pro Image, GPT Image, Midjourney, Flux). Diese Bilder sind für das Videomodell statistisch out-of-distribution — und das Ergebnis ist sichtbar: driftende Gesichter, Flackern, inkohärente Bewegung, „Morphing".
Die Forschung bestätigt den Mechanismus: Image-to-Video-Modelle hängen bei großen Zeitschritten zu stark am Konditionierungsbild (Conditional Image Leakage), und out-of-distribution-Startbilder erzeugen dauerhaft höhere Fréchet-Video-Distanz (FlashI2V). Alle bekannten Lösungen setzen aber am Modell an — bei geschlossenen APIs ist die einzige verfügbare Stellschraube der Input. Genau dort setzt PRISM an.
Das Videomodell encodiert den Startframe zuerst über einen VAE-Encoder in eine kompakte latente Darstellung — dabei wird das Bild heruntergerechnet. KI-Bilder tragen an den feinsten Skalen ein charakteristisches spektrales Muster. Beim Downsampling wird dieses Muster zu Aliasing-Rauschen — es verschiebt den Latent-Vektor weg von der Mannigfaltigkeit echter Videoframes. Aus einem instabilen Startpunkt generiert das Modell instabile Bewegung.
Der wirksame Eingriff ist nicht der offensichtliche — und er wurde nicht geraten. In kontrollierten Dosis-Wirkungs-Experimenten (gleiches Bild, gleicher Prompt, nur die spektrale Behandlung variiert) wurde ermittelt, welche Konditionierung die Videoqualität maximiert und wie stark sie für ein gegebenes Bild ausfallen muss. Genau das ist der Kern von PRISM — und er ist spezifisch für jede Modell-Kombination: ein anderer Bild- oder Video-Generator hat einen anderen Encoder und braucht eine eigene Kalibrierung.
Entscheidend: PRISM ist ziel-getrieben, kein fester Effekt. Es misst den Zustand jedes Bildes und korrigiert ihn zum video-optimalen Zielzustand — damit spielt es keine Rolle, wie das Bild entstanden ist. In der Praxis entsteht ein finaler Startframe selten im ersten Anlauf: man generiert, ändert, generiert neu, oft über viele Iterationen. PRISM nivelliert diese Iterationstiefe — ein vielfach überarbeitetes Bild wird zum ebenso verlässlichen Video-Input wie ein frisch generiertes.
Ein Freiheitsgrad bleibt beim Nutzer: der Regler „Look erhalten ↔ Detail". Die stabilisierende Wirkung greift immer und bleibt look-erhaltend; wie viel zusätzliche Struktur betont wird, ist dosierbar, ohne den Look anzutasten.
Der Filter ist ziel-getrieben und adaptiv: Er misst jedes Bild einzeln und wendet genau die Behandlung an, die es für den bestmöglichen Video-Output braucht — jedes Bild anders. Verändert wird ausschließlich die Feinstruktur, nie der absolute Look. Ein bewusst dunkles, kontrastarmes Gemini-Bild bleibt dunkel und kontrastarm; ein knalliges bleibt knallig.
Erstes validiertes Modell-Paar: Gemini 3 Pro Image → Kling v3, nativ 4K, n=5 pro Bedingung (Videomodelle sind stochastisch — Einzelläufe sind wertlos), mit bewegungs-unabhängigen Videometriken über drei sehr verschiedene Inhaltstypen reproduziert. Die Methodik überträgt sich auf weitere Paare, jeweils mit eigener Kalibrierung. Effektstärken (Cohen's d) gegenüber unbehandeltem Input:
Wichtig: Gemessen wird ausschließlich am Video. Ob das Bild „schärfer aussieht", ist irrelevant — es zählt allein, ob das Videomodell stabiler generiert. Ein leicht plastischer wirkendes Standbild kann den besseren Video-Output ergeben; Standbild-Ästhetik und Video-Tauglichkeit sind zwei verschiedene Dinge.