StudioOrbit Bench

Orbit Bench

Comment Orbit mesure la qualité et le coût de ses recettes Studio, compare ses moteurs d’image sur les mêmes tâches et publie ses résultats sur /bench.

Orbit Bench est la page publique où Orbit montre ce que ses recettes Studio produisent réellement, ce que chaque résultat coûte en génération, et comment ils sont évalués. Chaque point affiché vient d’une mesure terminée et notée : aucun score n’est déduit de la disponibilité d’un modèle, et la page reste hors des moteurs de recherche tant qu’aucune mesure n’est publiée.

Ce qui est mesuré

Une recette est tout ce qui fait une génération : le modèle, la consigne système, les paramètres et leur version (par exemple image.seedream-pro@1). Chaque mesure exécute une recette sur un jeu de cas fixes pour une marque fictive, Nova Coffee, puis note chaque résultat.

ModeCasRecettes
Imagequatre tâches partagées (packshot, étiquette au texte exact, affiche promotionnelle, ambiance), le même prompt et le même format pour chaque moteurHaute qualité, Rapide, Précis, Design, Monde réel
Imagecas propresLogo, Pack produit (ses quatre angles), Picto
Vidéoun clip sans référence, de la durée demandéeVeo ; les autres recettes vidéo attendent des entrées de référence
Motiontrois compositions au texte vérifiableClaude Opus et Claude Fable

Comparer à égalité

Les moteurs d’image généralistes exécutent exactement les mêmes tâches : leurs scores et leurs coûts se comparent sur les mêmes prompts. Sur la page, choisissez une tâche pour voir la frontière qualité/coût de ces moteurs, et les résultats les mieux notés ou les moins chers.

Deux résultats ne sont comparés que s’ils partagent la même tâche (le contenu des cas, les faits de marque et la façon dont le résultat est lu), la même grille et le même juge. Une recette spécialisée se compare à ses propres versions. Une mesure faite sous un autre protocole reste affichée, sans être mélangée aux autres.

Comment un résultat est noté

  1. Génération : le cas passe par le même moteur, le même registre et la même facturation qu’une génération de membre, sur un compte interne d’Orbit.
  2. Contrôle du fichier : la taille réelle de chaque image est relevée ; une image livrée dans un autre format que celui demandé n’est pas notée.
  3. Observation : le juge ne voit jamais les pixels. Un observateur recopie mot pour mot chaque texte visible dans l’image, puis la décrit ; un lecteur de clips décrit chaque vidéo ; une composition Motion est lue à partir du texte que son code dessine.
  4. Jugement : un juge automatique répond à quatre critères quand ils s’appliquent : respect du prompt, contexte cité, texte exact, cohérence de marque. Un critère sans objet (par exemple la marque pour un pictogramme dessiné sans elle) n’est pas noté.

Chaque mesure est plafonnée avant tout appel, et son coût réel est enregistré.

Ce que le score ne dit pas

  • Ce n’est pas un classement universel des modèles : quelques cas donnent un indice sur une tâche précise.
  • La fidélité visuelle fine, la qualité du mouvement, la latence et la préférence humaine ne sont pas mesurées ici.
  • Les scores ne sont pas encore calibrés par une revue humaine publiée.

Pour choisir un cas selon votre besoin, voir Créer dans Studio et Qualité des générations.

Étendre la preuve aux influenceurs IA

La vision Orbit place le réalisme et la continuité des incarnations au centre du produit. Les évaluations envisagées doivent donc mesurer séparément l’identité visuelle, la voix, le mouvement, la fidélité au contenu, la continuité sur plusieurs cycles et le travail nécessaire pour obtenir un résultat utilisable. Ces dimensions ne sont pas toutes couvertes par le benchmark actuel.

Notre ambition de devenir une référence mondiale ne vaut pas résultat de benchmark. Une comparaison publiée doit préciser le périmètre qu’elle démontre.

Comparaisons avec d’autres produits

La direction envisagée est de comparer Orbit à des produits ou systèmes similaires sur des tâches réellement équivalentes, avec des références utilisables et des moyens documentés. Cette extension n’est pas encore annoncée comme une capacité disponible dans l’interface.

Pour interpréter un résultat, vous devez pouvoir connaître :

  • la date, les produits, les versions et le parcours testé ;
  • les entrées, les contraintes et le budget accordé à chaque participant ;
  • le nombre d’essais, les reprises et les interventions humaines, y compris les échecs ;
  • les dimensions notées, les évaluateurs, l’incertitude et les limites ;
  • les résultats complets qui justifient la conclusion.

Un essai démontre ce qui s’est produit sur ce cas. Une supériorité plus générale exige un ensemble de cas représentatifs et une évaluation répétée ; les images choisies pour une démonstration ne constituent pas, à elles seules, un classement. Les comparaisons internes doivent être identifiées comme telles. Les résultats peuvent changer quand les produits et les modèles évoluent.