À la conférence SIGGRAPH, Daniel Craig (rien à voir avec l’autre), ingénieur logiciel principal chez SIE, a présenté les modifications apportées au moteur PlayStation Spectral Super Resolution (PSSR) utilisé par la console PS5 Pro. Cette mise à jour, issue de la recherche conjointe de Sony et d’AMD sur le projet Amethyst, est conçue pour remplacer l’implémentation initiale sans nécessiter de patchs spécifiques pour chaque titre. Elle permet ainsi aux jeux existants de bénéficier d’une reconstruction d’image améliorée via une surcharge au niveau du système.
Une redistribution des tâches entre l’IA et les filtres
Le changement architectural majeur réside dans la manière dont la capacité du réseau neuronal est exploitée. Selon Sony, la version de lancement, basée sur un réseau de prédiction de couleurs (CPN), n’utilisait que 30 % de ses paramètres aux résolutions les plus basses, soit 540p. L’Enhanced PSSR inverse cette logique : le nouveau réseau de prédiction de noyau (KPN) concentre environ 90 % de ses paramètres sur les niveaux inférieurs ou égaux à 540p, laissant peu de travail pour la résolution 4K finale.
De plus, le modèle ne prédit plus directement les couleurs finales. Le KPN génère désormais des poids de mélange, tandis que des filtres de traitement conventionnels s’occupent de l’opération de mélange elle-même. Cette approche évite de stocker et de mélanger les couleurs HDR sous forme 8-bit, libérant ainsi de la capacité de calcul pour d’autres opérations. Les ingénieurs ont également redessiné les connexions avec les données historiques pour améliorer le flux des gradients, permettant au réseau d’apprendre des relations temporelles plus longues.
Des gains en stabilité et en efficacité
Cette refonte vise à résoudre les problèmes rencontrés lors de la reconstruction HDR, de la stabilisation temporelle et de l’upscaling à fort facteur. L’introduction d’un filtre gaussien elliptique dans l’espace des entrées garantit l’efficacité du processus même lors d’une reconstruction d’image à 2,5 ou 3 fois. Les résultats présentés par Craig montrent une amélioration de la qualité d’image et une meilleure stabilité temporelle, avec des gains particulièrement visibles aux résolutions d’entrée plus faibles.
Enfin, l’optimisation s’étend au temps de développement. Le temps nécessaire pour entraîner le modèle a été réduit de quatre mois de calcul GPU à moins d’une seule semaine. Sony liste également une utilisation mémoire diminuée et un temps GPU réduit comme avantages directs de cette nouvelle architecture, confirmant que l’objectif est de faire travailler l’IA de manière plus ciblée pour obtenir une meilleure image globale. Pas certain que cela soit suffisant pour digérer les nouveaux prix de la console…