L'évaluation vidéo par l'objectif atteint /
Les latents vidéo repensés /
La restauration d'image sans autoencodeur /
La création 3D pilotée par programme

Les bancs d'essai de génération vidéo mesurent la fidélité au texte, la cohérence temporelle et la qualité perçue, mais aucun ne demande si la séquence produite accomplit réellement ce qui était demandé. L'équipe de FrameX-AI introduit la génération vidéo par accomplissement sémantique de tâche, formulation orientée résultat où la réussite exige deux choses à la fois : l'obtention de l'issue visée et l'ancrage sémantique, c'est-à-dire la correspondance de haut niveau entre l'image de référence et le résultat obtenu. Le protocole porte sur le seul résultat final et n'exige ni la présentation complète des étapes intermédiaires, ni la cohérence d'apparence habituellement réclamée vis-à-vis de l'image de référence. Le jeu SemComp-Data couvre six domaines, chaque instance associant une image de référence, une consigne détaillée, une consigne brève et un extrait vidéo centré sur l'issue, produits par une chaîne de curation en quatre étapes. SemComp-Bench interroge ensuite un modèle vision-langage par questions binaires structurées et rapporte deux scores séparés — OA pour l'accomplissement, GR pour la fiabilité de génération — dont les mesures montrent que les modèles actuels peinent encore à tenir les deux ensemble.

La génération vidéo latente repose sur des autoencodeurs dont l'espace est optimisé pour la reconstruction pixel à pixel, alors que rien ne garantit qu'un espace excellent en reconstruction soit adapté à la modélisation générative. V-RAE, proposé par l'Université nationale de Singapour, renverse la construction : les latents sont bâtis sur les représentations d'encodeurs visuels gelés — DINOv3, SigLIP2, EUPE, V-JEPA 2.1 — plutôt qu'appris depuis zéro, un module léger d'agrégation temporelle supprimant la redondance entre images sans détruire la structure sémantique. Les mesures donnent 2,13 de rFVD sur K600, au-dessus de tous les autoencodeurs vidéo préentraînés évalués, et surtout une convergence jusqu'à six fois plus rapide à réglages de génération identiques. L'enseignement le plus utile tient dans une remarque des auteurs : une bonne reconstruction ne prédit pas une bonne génération, un espace au rFVD plus bas pouvant rester plus difficile à modéliser pour le générateur. Ils introduisent donc tFVD, diagnostic de cohérence temporelle qui corrèle nettement mieux avec la qualité finale, et montrent que le gain se transporte jusqu'à la prédiction de trames futures sur Cityscapes.

La restauration d'image unifiée cherche à récupérer un contenu propre depuis une image dégradée, quelle que soit la dégradation, avec un seul modèle — et la méthode dominante consiste à recycler un gros modèle texte-image latent pour ses a priori génératifs. L'équipe de PixRestore attaque frontalement les deux défauts de ce détour : l'autoencodeur variationnel jette des détails précisément sensibles à la restauration, et l'a priori de synthèse ouvert introduit des artefacts qui contredisent le contenu d'origine. Leur transformeur de diffusion travaille donc directement en espace pixel, sans autoencodeur variationnel et sans préentraînement texte-image, par appariement de flux sur des pixels découpés en parcelles, ce qui préserve le détail fin tout en gardant la séquence de jetons manipulable. Pour s'adapter à des dégradations hétérogènes, le modèle prédit la fiabilité de chaque couche par similarité de traits DINO entre version dégradée et version propre, fusionne les couches fiables en conditionnement dense et supervise plus durement les couches douteuses. Avec environ 50 millions de paramètres et une inférence en une seule étape après affinage adversarial, il revendique la meilleure fidélité d'ensemble face à des concurrents nettement plus lourds — un régime qui rend la retouche compatible avec les allers-retours d'un atelier, jusqu'à la restauration d'un visuel de pochette d'album tiré d'une archive abîmée.

Représenter un objet en trois dimensions par un programme plutôt que par un maillage offre l'édition fine, la lisibilité et le contrôle explicite de la structure, mais les chaînes agentiques qui confient l'écriture de ce programme à un modèle de langage restent notoirement fragiles. Les auteurs attribuent cette fragilité à un décalage précis : les interfaces programmatiques existantes réclament des coordonnées absolues, là où les modèles de langage raisonnent bien mieux en relations spatiales et en structure sémantique qu'en valeurs numériques. Leur réponse consiste à concevoir conjointement un langage dédié orienté agent, aDSL, et un système multi-agents spécialisé par rôle, le langage privilégiant la composabilité et les opérateurs relationnels plutôt que le placement chiffré. Le système, qui ne réclame aucun entraînement, tourne en boucle Plan-Exécute-Critique : il décompose la demande, synthétise le code, l'exécute, puis répare erreurs et violations de contrainte à partir du retour d'exécution. Les comparaisons annoncent un gain de robustesse, de contrôlabilité et de fidélité à l'intention sur les tâches texte-vers-forme et image-vers-forme, avec des prolongements vers les objets articulés et la composition de scènes structurées.