Quel est le niveau du moteur de CUBE Backgammon ?

Dans un test de développement de 1 000 parties face à GNU Backgammon réglé sur son niveau d’analyse « 2-ply », sans videau, CUBE Backgammon a gagné 491 parties et en a perdu 509. En comptant deux points pour un gammon et trois pour un backgammon, le score final était de 644 à 628 en faveur de CUBE Backgammon.

Pour évaluer le niveau du moteur, nous devons examiner les points marqués et la qualité de ses décisions. Une comparaison avec des joueurs professionnels demande aussi des méthodes de test et de calcul comparables.

Nos tests enregistrés montrent un jeu de pions compétitif face aux réglages de GNU Backgammon que nous avons testés. Ils ne donnent pas à CUBE Backgammon un classement vérifié parmi les joueurs professionnels. Voici ce que nous avons mesuré et ce qu’il faudrait pour aller plus loin.

Le test face à GNU Backgammon

GNU Backgammon est un moteur open source reconnu, que nous utilisons comme référence. Le test de 1 000 parties utilisait une séquence de dés pseudo-aléatoire reproductible et des places alternées. Sans videau, il évaluait le jeu de pions, y compris les points gagnés ou perdus par des gammons et des backgammons.

Moins de victoires, plus de points

Parties gagnées

CUBE Backgammon491

GNU Backgammon509

Points marqués

CUBE Backgammon644

GNU Backgammon628

Le score final était de 644 points à 628, soit +0,016 point par partie pour CUBE Backgammon. C’est un petit avantage observé, pas la preuve que notre moteur était plus fort.

L’intervalle de confiance approximatif à 95 % va de −0,068 à +0,100 point par partie. Les valeurs négatives correspondent à un avantage de GNU, les positives à un avantage de CUBE Backgammon : les résultats observés n’écartent donc aucun des deux.

Nous disposons aussi d’un test complet plus tardif de 1 000 parties face à l’analyse plus profonde de GNU Backgammon, en 3-ply. CUBE Backgammon y a terminé avec 28 points de retard. Le réglage de référence et notre configuration de développement avaient tous deux changé : les deux lignes ci-dessous décrivent donc des tests distincts, pas une comparaison contrôlée d’une seule amélioration.

Les deux intervalles comprennent zéro. Ces tests ne permettent donc pas de déterminer lequel des moteurs était le plus fort dans les conditions respectives. Ils ne prouvent pas non plus une égalité parfaite. Pour établir une équivalence, il faudrait d’abord définir l’écart jugé acceptable, puis réunir assez de données pour écarter un écart plus grand.

Ce sont des résultats de développement, pas un nouveau test de la version complète actuellement sur téléphone. Ils renseignent sur le jeu de pions dans ces conditions, sans mesurer le jeu en match avec videau ni les chances de battre un professionnel.

Comment évalue-t-on un très bon joueur ?

Si vous suivez les tournois, vous avez peut-être entendu parler du PR, pour Performance Rating. Dans eXtreme Gammon, il mesure le coût estimé des décisions du joueur par rapport à l’analyse choisie comme référence. Un PR plus faible correspond à moins de pertes estimées par décision, et non à un pourcentage de mauvais coups ou de défaites.

Le manuel d’eXtreme Gammon en décrit le calcul. Pour simplifier, le logiciel prend la perte estimée moyenne par décision retenue et la multiplie par 500. Les coups de pions et les décisions de videau peuvent y contribuer, et les règles qui déterminent les décisions retenues comptent.

Le Backgammon Masters Awarding Body, ou BMAB, fournit une référence reconnue pour les joueurs humains : il attribue des titres à partir de matchs de tournoi analysés. Voici les seuils d’entrée de trois catégories, plutôt que tous les grades qu’elles contiennent :

EP désigne les points d’expérience : un match en 11 points apporte 11 EP. Ce n’est pas un nombre de parties individuelles. Le BMAB retient des matchs en présentiel, joués à la pendule et désignés à l’avance, avec des procédures précises d’analyse et de vérification. On ne peut pas simplement lui envoyer ses meilleures parties. La grille officielle et les règles d’évaluation détaillent ce cadre ; la fédération américaine présente également le système de titres.

Ces repères aident à situer le haut niveau, sans définir le professionnel moyen. Être professionnel décrit une activité ; ces titres décrivent une performance évaluée. Il n’existe pas un PR unique que partageraient tous les joueurs qui vivent des tournois.

Et le score d’environ 1,5 annoncé pour CUBE Backgammon ?

Un autre test passé a examiné les décisions de pions de notre niveau Expert, avec l’analyse 3-ply de GNU Backgammon comme référence. Sur 80 parties où le moteur jouait contre lui-même, 3 519 décisions ont été évaluées et huit n’ont pas pu l’être. La perte moyenne estimée était d’environ 0,00304. Multipliée par 500, elle donne environ 1,52.

Le score de 1,52 est inférieur au seuil Super Grandmaster de 2,50 indiqué dans le tableau, mais les deux chiffres ne sont pas obtenus avec la même méthode.

Notre test concernait uniquement les pions, sans videau. L’évaluateur était GNU Backgammon, et non l’analyse eXtreme Gammon utilisée par le BMAB. Les décisions étaient aussi comptées autrement : notre test excluait les coups forcés, tandis qu’eXtreme Gammon applique des règles supplémentaires pour écarter des choix évidents. Changer les décisions retenues dans une moyenne peut changer le score.

Une autre limite s’ajoute : le programme utilisé pour ce test ne reproduisait pas tous les calculs du moteur complet sur téléphone. Rien ne permet d’affirmer que les calculs manquants auraient nécessairement amélioré le résultat. On ne peut pas non plus transformer ce score de jeu de pions en PR de match complet en lui ajoutant un score de videau mesuré séparément.

Le résultat apporte des informations utiles sur les décisions enregistrées. Il ne constitue ni un PR de match comparable à celui d’un joueur humain, ni un titre BMAB, ni une certification de la version actuelle.

L’évaluateur a lui aussi ses limites

Quand un moteur juge un coup, sa réponse préférée sert de référence, sans être une connaissance parfaite de la suite. Deux moteurs forts peuvent être en désaccord, et une analyse plus poussée peut renverser leur avis.

Nos propres essais de développement montrent deux façons de tirer une mauvaise conclusion. Un réseau qui imitait mieux GNU Backgammon choisissait de moins bons coups dans un autre test. Dans une autre expérience, une erreur sur le joueur qui devait lancer les dés faussait la comparaison elle-même. Ces résultats ne décrivent pas le niveau de la version actuelle ; ils expliquent pourquoi nous ne nous contentons pas d’un seul score.

Le manuel de GNU Backgammon explique que les réglages d’analyse peuvent biaiser une comparaison entre moteurs. Dans son étude de performance publiée, Open Sage montre aussi l’importance de la référence choisie : un classement obtenu avec l’analyse d’un moteur peut s’inverser avec celle d’un autre.

Des rollouts soignés aident à départager les coups en rejouant la position de nombreuses fois, au lieu de s’en remettre à une seule estimation rapide. Ils conservent toutefois une incertitude liée au nombre d’essais, et leur résultat dépend de la façon dont les joueurs simulés terminent les parties. Notre article sur le fonctionnement du coach explique cette distinction.

Gerald Tesauro a étudié la comparaison entre les moteurs et les meilleurs joueurs avec TD-Gammon. Dans son article de 1995 sur TD-Gammon, Gerald Tesauro décrivait des tests et des échanges avec des joueurs de premier plan. Son article scientifique de 2002 expliquait comment l’évaluation apprise et la recherche avaient progressé au-delà du niveau des meilleurs humains. Ces conclusions concernent les programmes et les tests décrits ; elles ne permettent pas d’attribuer le même niveau à un autre moteur simplement parce qu’il utilise lui aussi un réseau de neurones.

Ce que les tests enregistrés permettent de conclure

Sur les deux séries de 1 000 parties sans videau, CUBE Backgammon a terminé à +16 puis à −28 points face aux réglages de GNU Backgammon testés. Les intervalles de confiance englobent zéro dans les deux cas : les résultats restent compatibles avec un avantage de l’un ou de l’autre moteur.

Nous ne pouvons pas en déduire que « CUBE Backgammon bat un professionnel X % du temps », lui attribuer un Elo humain ou le classer devant des joueurs nommés. Une affirmation plus forte demanderait un nouveau test de la version complète, incluant les décisions de videau et les scores de match, avec une analyse indépendante comparable et assez de parties pour étayer la conclusion. Une confrontation humaine demanderait aussi de préciser les longueurs de match, les temps de réflexion et les conditions de jeu.

Pour vous, une autre question compte : ce que le coach vous aide à voir, par exemple quand une avance à la course change votre plan, pourquoi une frappe est dangereuse, ou comment le score du match modifie une décision de prise. Le niveau de jeu compte, mais le conseil doit aussi arriver à temps et être compréhensible. Notre expérience sur des matchs de tournoi examine cette question du coaching séparément.

Pour voir à quel point les résultats peuvent varier malgré un avantage constant, notre exemple d’un joueur favori à 55 % calcule la fréquence des soirées où il termine perdant.

Précisions sur les résultats enregistrés

Nous avons recompté les 1 000 parties distinctes de chaque test en face à face. Le second s’est terminé avec 646 points pour CUBE Backgammon et 674 contre, pour 497 victoires et 503 défaites. Les deux tests datent du développement en 2026 et utilisent des configurations différentes de CUBE Backgammon. Les intervalles sont calculés à partir de l’écart-type du solde de points par partie, positif pour un gain et négatif pour une perte, avec l’approximation normale : moyenne ± 1,96 erreur standard, en traitant les parties comme indépendantes. Ils décrivent l’incertitude liée à l’échantillon selon ce calcul, pas toutes les limites possibles de l’expérience.

Pour le test des coups de pions, l’intervalle de la perte moyenne obtenu par bootstrap en regroupant les décisions par partie allait d’environ 0,00243 à 0,00387. Multiplier cet intervalle par 500 ne rend pas la mesure comparable au PR d’un match humain. Les huit décisions non évaluées sont exclues, et non comptées comme correctes. Aucune nouvelle partie n’a été jouée pour cet article. Les résultats agrégés sont disponibles sans publier de positions archivées, de détails de modèles ou de données d’entraînement.