La société d’IA Runway a dévoilé Solaris, son premier “Interface World Model”, un modèle capable de générer des interfaces interactives en temps réel et de les faire évoluer directement en fonction des actions de l’utilisateur.
Présenté le 31 août, Solaris vise à générer directement des interfaces sans passer systématiquement par les représentations intermédiaires traditionnelles, comme le code. Cette approche pourrait à terme simplifier la création d’expériences interactives. Il ne s’agit toutefois pas de “vibe coding” : au lieu de générer du code à partir d’instructions, Solaris produit directement l’interface visuelle, image par image, en temps réel.
Solaris sépare le raisonnement du rendu : un grand modèle de langage détermine comment l’interface doit évoluer, tandis que le modèle de monde génère visuellement cette évolution, image par image. La combinaison des deux permet de créer des environnements en temps réel qui s’adaptent à la manière dont vous interagissez avec eux.
Solaris génère des environnements numériques en temps réel, image par image, créant ainsi des applications ou d’autres interfaces. Lorsque vous cliquez sur un élément ou que vous le faites glisser, le modèle traite ces interactions comme des signaux de conditionnement pour générer des images supplémentaires. Les démonstrations publiées par Runway sont prometteuses, mais Solaris reste encore à un stade précoce et plusieurs défis subsistent, notamment la stabilité du texte, la cohérence sur de longues sessions et l’accessibilité.
Comme le modèle est entièrement visuel, il offre de nombreuses possibilités intéressantes. Runway donne l’exemple de l’utilisation d’une image de soi-même comme point de référence dans un magasin de vêtements : il suffirait de cliquer sur une nouvelle chemise accrochée au portant et de la faire glisser sur soi pour voir comment elle tombe. Ce n’est pas la première fois que l’IA nous aide à essayer des vêtements, mais cette approche est très différente de ce que nous avons vu chez Google.
Vous pouvez également fournir des instructions sous forme de texte, par exemple en demandant de changer la couleur d’un objet ou de déplacer un élément d’une photo à un autre endroit.
Solaris donne essentiellement l’impression d’être une vidéo diffusée en direct qui évolue constamment en réponse aux interactions de l’utilisateur.
Contrairement aux grands modèles de langage principalement centrés sur le texte, les modèles de monde cherchent à comprendre et à simuler des environnements, leurs dynamiques et les effets des interactions qui s’y produisent.
Runway n’a pas encore annoncé de date de lancement public pour Solaris. L’entreprise indique toutefois travailler avec plusieurs partenaires en vue de son lancement et propose déjà un formulaire permettant de demander un accès anticipé.
Article original publié sur CNET.com, traduit et adapté par la rédaction de CNET France. À noter que certains liens externes peuvent pointer vers des contenus disponibles uniquement en anglais.