Laut Microsoft besitzt ein Drittel aller mittels des Edge Browser abgespielten Videos nur eine Auflösung von 480p oder sogar noch weniger - sei es, weil das Video nur in dieser Auflösung zur Verfügung steht, oder weil die verfügbare Netzbandbreite nicht für mehr Daten ausreicht. Videos in niedriger Auflösung sind aber bekanntlich nicht schön anszuschauen: sie sind verschwommen und Texte darin oft schwer lesbar.
Microsoft und Nvidia bieten jetzt - unabhängig voneinander - eine Lösung dafür an, nämlich das automatische Hochskalieren von Videos mit niedriger Auflösung mittels KI. Das Zauberwort heißt "Video Super Resolution", ein DeepLearning-Algorithmus, der auf der Grafikkarte in Echtzeit läuft und solche Videos nicht nur hochskaliert, sondern auch von störenden Kompressioneartefakten, wie etwa Blockstrukturen, bereinigt.
Möglich ist das mit jedem Video, welches im Browser abgespielt wird, zum Beispiel bei YouTube, Netflix oder einer anderen Streaming-Platform. Nvidias RTX Video Super Resolution (VSR) war schon im Januar angekündigt worden und ist jetzt frei verfügbar, Microsofts Video Super Resolution (VSR) ist mittels des Edge Beta-Programms ab sofort nutzbar. Voraussetzung für beide ist eine leistungsstarke Grafikkarte - beide haben allerdings ihre spezifischen Vor- und Nachteile: Microsofts Algorithmus arbeitet zwar sowohl mit Nvidias RTX 20/30/40 sowie AMDs RX5700-RX7800 Grafikkarten zusammen, funktioniert aber nur im Microsoft Edge Browser, Nvidias Lösung benötigt (natürlich) eine Nvidias GPUs und zwar eine der RTX 30 oder 40 Serien, aber dafür werden nicht nur Videos in Edge sondern auch in Google Chrome, dem am weitest verbreiteten Browser, verbessert.
Microsofts Video Super Resolution
Folgende Bedingungen müssen außerdem erfüllt sein, damit Microsofts Video Super Resolution aktiviert werden kann:
- Das Video wird mit einer Auflösung von weniger als 720p wiedergegeben.
- Das Gerät ist an das Stromnetz angeschlossen.
- Sowohl die Höhe als auch die Breite des Videos sind größer als 192 Pixel.
- Das Video ist nicht mit Digital Rights Management-Technologien wie PlayReady oder Widevine geschützt.
Die Video Super Resolution ist bei knapp der Hälfte der Edge-Nutzer im Canary-Channel (Beta) schon testweise aktiv (erkennbar an einem "HD"-Symbol in der Adresszeile), alle anderen können sie per "edge://flags/#edge-video-super-resolution" manuell aktivieren.
Nvidias RTX Video Super Resolution
Nvidias RTX Video Super Resolution Algorithmus arbeitet mit Videos mit einer nativen Auflösung von 360p bis 1440p und einer Bildfrequenz von bis zu 144Hz in Echtzeit. Er kann nicht nur Videos mit geringer Auflösung hochskalieren, sondern funktioniert auch mit höher auflösenden Videos. So kann er 1080p Videos - wie im Beispielclip unten zu sehen ist - auf eine Auflösung von 4K hochskalieren, damit diese auch auf einem 4K Monitor scharf aussehen.
Damit Nvidias RTX Video Super Resolution aktiv ist, muss ein Update auf den neuesten GeForce Game Ready-Treiber, der ab sofort verfügbar ist, oder auf den nächsten NVIDIA Studio-Treiber, der im März veröffentlicht wird, durchgeführt werden. Sowohl Chrome (Version 110.0.5481.105 oder höher) als auch Edge (Version 110.0.1587.56) wurden kürzlich aktualisiert und unterstützen nun RTX VSR.
Die Funktion läßt sich in der NVIDIA Systemsteuerung unter dem Menüpunkt "Videobildeinstellungen anpassen" aktivieren. Dafür muss das Kontrollkästchen "Superauflösung" unter "RTX-Videoverbesserung" angeklickt werden und eine Qualität von eins bis vier - von der geringsten Auswirkung auf die GPU-Leistung bis zur höchsten Stufe der Upscaling-Verbesserung - ausgewählt werden.
Was ist Super Resolution?
Galt früher noch die Regel, dass bei einer Vergrößerung der Auflösung kein Detail hinzukommen kann, das nicht im Ursprungsbild enthalten ist, findet seit einigen Jahren ein Paradigmen-Wechsel statt. Dank der neuen Super-Resolution Technologie können einem Bild (oder inzwischen auch Video) mehr Details hinzugefügt werden, als ursprünglich vorlagen. Super Resolution Verfahren nutzen für das "Mehr an Bildinformationen" nicht die eher primitive Interpolation zwischen bekannten Pixeln, sondern erfinden Details schlüssig hinzu.
Möglich ist das durch die Deep Learning Technologie, da diese KI-Algorithmen dank Training mit Millionen von Bildern (bzw. Videos) sehr gut darin sind, Objekte zu erkennen und sinnvoll zu ergänzen. Beim Hochskalieren machen sich neuronale Netze die typischen Muster natürlicher Objekte zunutze - d.h. Strukturen in den Bildern mit niedriger Auflösung werden beim Hochskalieren sinnvoll rekonstruiert. Wenn also eine entsprechende Super Resolution KI beispielsweise Millionen von Gesichtern aus verschiedenen Blickwinkeln und in diversen Beleuchtungssituationen gesehen hat, kann sie anschließend jedem grob nur aufgelösten Gesicht in einem Bild gelernte passende Details hinzufügen. Das gilt jedoch genauso für Pflanzen, Autos oder Tiere.
