Tester les conseils de CUBE Backgammon sur 47 matchs de tournoi

Pendant le développement de CUBE Backgammon, nous avons repris des positions de matchs de tournoi pour vérifier les coups proposés par le coach. Quand CUBE Backgammon signalait une erreur, nous avons comparé son conseil au coup du joueur avec l’aide d’Open Sage, un autre moteur de backgammon.

Ce contrôle a fait apparaître deux problèmes : certains conseils dégradaient la position, et certains coups valables étaient signalés comme des erreurs. Les chiffres ci-dessous décrivent cette expérience de développement, pas la fiabilité de l’application actuelle.

47 matchs, pour tester nos conseils

Nous avons utilisé les archives de Hardy Hübener pour tester notre coach sur des matchs déjà joués. Les fichiers que nous avons pu importer représentaient 47 matchs, 930 parties et 27 934 décisions de déplacement, de 1973 à 2011. Cette collection comprend des matchs du Championnat du monde et d’autres grands tournois.

Les jets et les coups enregistrés permettent de reconstruire des positions jouées il y a plusieurs décennies. Nous le devons aux joueurs, aux personnes qui ont noté les matchs et à celles qui ont conservé les archives.

Notre question portait sur le logiciel : lorsqu’il était en désaccord avec un bon joueur, proposait-il un meilleur coup que celui déjà joué ? Les joueurs et les archives nous fournissaient un test exigeant, sans participer à CUBE Backgammon ni le cautionner.

Un meilleur coup et le meilleur coup : deux affirmations différentes

Le coup que propose le coach après le vôtre peut améliorer votre position, être presque équivalent ou même vous laisser moins bien placé.

Il peut aussi exister un troisième coup, meilleur que les deux premiers. Le coach peut vous aider sans l’avoir trouvé. De même, le fait qu’il préfère un autre coup ne prouve pas que le vôtre était une erreur.

Voici un petit exemple où nous pouvons compter la différence exactement.

Trois façons de jouer avec deux pions à sortir

Vous jouez les ivoire, avec 13 pions déjà sortis et les deux derniers aux points 6 et 3, lorsque vous obtenez 2–1.

Essayez les trois séquences ci-dessous. Pour les comparer, posons une seule question : combien des 36 jets possibles au prochain tour vous permettraient de sortir tous vos pions restants ?

Cette position a été créée pour l’article et ne provient pas d’un match enregistré. Le décompte concerne uniquement votre prochain tour, si la partie se poursuit ; ce n’est pas votre probabilité de gagner la partie.

Jouez le 2–1

Choisissez une séquence pour voir les pions restants et le décompte au prochain jet.

Les ivoire vont vers le point 1, les rouges vers le point 24. Le décompte suppose que vous jouez un tour de plus.

Lire la position

Ivoire, point : nombre de pions. 3: 1, 6: 1. Rouge : 19: 2, 20: 2, 21: 2, 22: 3, 23: 3, 24: 3. À la barre : ivoire 0, rouge 0. Sortis : ivoire 13, rouge 0.

Les trois positions ont encore six pips à parcourir, mais ne permettent pas d’utiliser les dés de la même façon.

Avec deux pions sur le 3, il faut généralement que chaque dé fasse au moins trois. Le double deux fonctionne aussi : deux déplacements pour chaque pion. Cela donne 17 jets.

Avec un seul pion sur le 6, les deux dés peuvent travailler ensemble sur ce pion. Un 4–2 termine la sortie, tout comme un 5–1. Le double deux suffit également, puisqu’un double donne quatre déplacements. Au total, 27 jets permettent de finir.

Si vous aviez choisi deux pions sur le 3 et que le coach proposait de laisser 4 et 2, le décompte passerait de 17 à 23. Ce serait utile, mais une autre séquence permet d’atteindre 27 jets. Voilà pourquoi « meilleur que mon coup » et « meilleur coup disponible » doivent être vérifiés séparément.

Pour explorer cette idée de donner un rôle utile à davantage de jets, essayez Peut-on se donner de meilleurs dés ? Si le décompte sur 36 est nouveau pour vous, notre guide des probabilités en explique le principe.

Un autre regard sur nos désaccords

Cette sortie est un cas simple : dans d’autres positions, frapper peut exposer un pion et garder une ancre peut coûter du terrain à la course. Un seul décompte ne résume donc pas la décision.

Pour cette expérience, nous avons comparé le coup du joueur et notre recommandation avec un autre moteur d’analyse, Open Sage, réglé sur trois plis. C’était une référence indépendante, avec ses propres limites. Un désaccord serré entre moteurs demande encore de la prudence.

Nous avons regardé de près les coups que le coach signalait comme des erreurs. Une correction donnée avec assurance alors que votre coup était bon peut vous faire douter de quelque chose que vous aviez bien compris.

Nous avons vérifié si notre conseil était moins bon que le coup joué, et si nous avions présenté comme une erreur un coup presque aussi bon que le meilleur de la référence.

Utiliser un autre moteur demande aussi de vérifier qu’on lui transmet correctement l’état du jeu. Dans une autre expérience, une erreur de tour de jeu a faussé la comparaison entre deux versions du moteur : notre code indiquait le mauvais joueur pour lancer les dés sur la moitié des positions.

Des corrections moins bonnes que les coups joués

Nous avons fait évaluer 3 495 de ces décisions par ce second moteur. Nos critères conduisaient à proposer 376 corrections.

Selon le moteur de référence, 14 recommandations étaient moins bonnes que le coup déjà joué. Dans 17 cas, le coup du joueur était suffisamment proche du meilleur de la référence pour ne pas être qualifié d’erreur selon notre définition. Les 14 premiers cas font partie des 17 : il ne faut donc pas additionner ces deux nombres.

La plupart des conseils amélioraient le coup joué, mais les corrections erronées ne respectaient pas les critères de fiabilité fixés avant le test. Nous ne pouvions pas valider une règle de coaching qui signalait comme erreurs des coups valables.

Ce résultat décrit une étape passée du développement. Il ne donne pas le taux de fiabilité de l’application actuelle. Il ne permet pas non plus de conclure pour les joueurs de club, qui n’étaient pas représentés dans cette expérience.

Pourquoi les bons joueurs constituent un test plus difficile

Imaginez un coach qui lit parfois mal une position. Face à un joueur qui commet beaucoup d’erreurs nettes, ses corrections peuvent souvent aider. Si le joueur en fait très peu, les erreurs du coach prennent davantage de place parmi les coups qu’il signale.

Deux analyses qui reposent sur le même moteur peuvent reproduire la même erreur. Pour ce test, nous avons donc fait appel à Open Sage plutôt que de demander simplement à CUBE Backgammon de réexaminer ses propres conseils.

Dans vos propres parties, une bonne habitude consiste à vous demander ce que le coup conseillé cherche à obtenir. Il peut s’agir de compléter une prime, de conserver une possibilité de frappe ou de rendre davantage de jets utiles. Les cinq plans de jeu permettent de relier ces déplacements à la manière dont vous espérez gagner la partie.