Klare Überlegenheit nicht in Sicht

von Walter Eigenmann

Der Haupt­zweck der moder­nen Schach­pro­gram­mie­rung für die Anwen­der ist die Ana­lyse von (eige­nen oder frem­den) Par­tien. Dem­ge­gen­über sind Tur­nier-Sta­tis­ti­ken oder KI-For­schung nur “Abfall­pro­dukte”.
Aber von Zeit zu Zeit ist es auf­schluss­reich, die aktu­el­len Engi­nes nicht nur zum Ana­ly­sie­ren ein­zu­set­zen, son­dern sie auch mal unter- bzw. gegen­ein­an­der zu tes­ten. Haben sich die viel­ge­rühm­ten neuen NN-Engi­nes mitt­ler­weile vor der AB-Pro­gram­mie­rung an die Spitze set­zen kön­nen? Ein neues Engine-Tur­nier, aus­ge­tra­gen auf einem hei­mi­schen AMD-Ryzen7-2700X zeigt eine nach wie vor unscharfe Moment­auf­nahme. Das Fazit gleich vor­weg­ge­nom­men: NN- und AB-Pro­gramme sind noch gleichauf.

Moder­nen Engi­nes beim Spie­len zuzu­se­hen erin­nert zuwei­len an die eige­nen Anfän­ger-Zei­ten, als Tak­tik und Stra­te­gie noch ein (Schach-)Buch mit (min­des­tens) sie­ben Sie­geln waren. Schnell, prä­zis, kom­plex, töd­lich – die Pro­gramme knal­len in Mil­li­se­kun­den so aus­ge­feilte Züge auf das vir­tu­elle Brett, die noch vor 15 Jah­ren jedem Profi-Kom­men­ta­tor ein Heer von Dop­pel­ten Aus­ru­fe­zei­chen ent­lockt hät­ten. Wenn er sie denn über­haupt in ihrer gan­zen Tiefe kapierte…

30 Halbzüge in einigen Sekunden

Denn man ver­ge­gen­wär­tige sich, dass bereits bei einer Bedenk­zeit für die ganze Par­tie von nur vier Minu­ten diese Sili­kon-Mons­ter auf flot­ten PC’s im Durch­schnitt bis zu 30 Halb­züge weit (!) pro Zug vor­aus­rech­nen kön­nen. Und dies mit so raf­fi­nier­ten Algo­rith­men der Eva­lu­ie­rung und Bewer­tung, dass sie tak­tisch sogar bei die­sem rasan­ten Spiel-Tempo kaum je Feh­ler machen. Zumin­dest keine, die ein Mensch ohne ana­ly­ti­sche Zuhil­fe­nahme von eben die­sen Pro­gram­men erken­nen könnte…

Wen wundert’s also, dass heut­zu­tage das häu­figste Resul­tat zwi­schen Schach-Engi­nes das Remis ist – unge­ach­tet irgend­wel­cher aus­ge­klü­gel­ter Ope­ning-Books, wel­che diese mitt­ler­weile extrem hohe Remis-Rate im Engine-Tur­nier­be­trieb etwas sen­ken sol­len, aber nicht mass­geb­lich kön­nen. (Vergl. hierzu auch eigene Tur­nier-Tests zum Thema Eröff­nungs­bü­cher).

Kopf-an-Kopf-Rennen

Die nach­fol­gende Rang­liste wurde gene­riert von 17 der aktu­ell stärks­ten Pro­gramme in einem dop­pel­run­di­gen Tur­nier. Und die Tabelle zeigt ein Bild, wie es momen­tan bei vie­len Engine-Tur­nie­ren in der Com­pu­ter­schach-Szene anzu­tref­fen ist: Die KI-Engine Lee­laCh­ess-Zero mit ihren Net­works und die Alpha-Beta-Pro­gramme (hier ver­tre­ten durch SugarR & Brain­fish) mit ihren aus­ge­klü­gel­ten Schach­al­go­rith­men lie­fern sich ein Kopf-an-Kopf-Ren­nen bei zahl­lo­sen Unentschieden:

Unbezwingbare Leela (Lc0)

Das NN-Pro­gramm Lc0 25.0 mit dem Neu­ro­na­len Netz “t60-3010” erwies sich in die­ser Aus­march­ung als unschlag­bar: Es ver­lor keine ein­zige sei­ner 32 Par­tien und gewann immer­hin deren 10 – eine beein­dru­ckende Leis­tung, wenn man das extrem starke Geg­ner­feld sieht. Mit 12 Sie­gen als das aggres­sivste Net­work erwies sich hier das “t40-1541” mit Lc0 23.2. Über­ra­schend wei­ters die noch vor dem eins­ti­gen Welt­meis­ter Komodo ran­gie­rende neue Chess­base-NN-Engine Fat Fritz.
Ins­ge­samt kann bei den Top-Ten die­ses Ran­kings aller­dings nicht von einem Sie­ger gere­det wer­den, ein Punkt mehr oder weni­ger ent­schied über meh­rere Ränge vor oder zurück, und zwi­schen dem erst- und dem zehnt­plat­zier­ten Pro­gramm lie­gen gerade mal 4 Punkte. (Dass das Tur­nier kei­ner­lei sta­tis­ti­sche Aus­sa­ge­kraft bean­sprucht, muss nicht extra betont wer­den. En masse “Par­tien auf Halde” zu Sta­tis­tik-Zwe­cken wer­den auf Engine-Por­ta­len wie z.B. CCRL produziert.)

Lavieren wie Nimzowitsch

Wer die knapp 300 Par­tien ana­ly­tisch unter­sucht im Hin­blick auf NN-spe­zi­fi­sches Schach­ver­hal­ten, der wird in ver­schie­de­ner Hin­sicht fün­dig. Ins­be­son­dere fal­len diverse posi­tio­nelle Aspekte der KI-Spiel­füh­rung ins Auge; einige grund­sätz­li­che Über­le­gun­gen zu Lee­laCh­ess­Zero fin­den sich hier: Künst­li­che Schach-Intel­li­genz – Als Auto­di­dakt zur Welt­spitze.
Bezüg­lich des hier frag­li­chen Engine-Tur­nie­res sei exem­pla­risch ein spe­zi­fisch “stra­te­gi­sches Motiv” her­aus­ge­grif­fen: Die Umgrup­pie­rung. Bereits Nim­zowitsch hatte ja – in sei­nem bahn­bre­chen­den Stra­te­gie-Buch “Mein Sys­tem” – das Figu­ren-Umgrup­pie­ren als zen­tra­len Bestand­teil sei­nes neu ein­ge­führ­ten Schach-Begriff des Lavie­rens defi­niert, und mit Lee­laCh­ess scheint die­ses Stra­ta­gem fröh­li­che Urständ zu fei­ern. Wohl­ge­merkt ohne mensch­li­ches Zutun…

Virtuose Handhabung des Springers

Die Engine Lc0 (bzw. ihre Neu­ro­na­len Netze) ist eine gran­diose Meis­te­rin im dyna­mi­schen Umdis­po­nie­ren von unvor­teil­haft plat­zier­ten Figu­ren hin zur akti­ve­ren Posi­tio­nie­rung. In weit höhe­rem Masse als ihre Alpha-Beta-Kol­le­gin­nen trach­tet Leela nach per­ma­nen­ter Opti­mie­rung ihrer Figu­ren­stel­lun­gen. Beson­ders vir­tuos geht das NN-Pro­gramm mit sei­nen Sprin­gern um.

Nach­fol­gend vier Bei­spiele dafür, wie geschickt und effi­zi­ent die Sprin­ger-Über­füh­run­gen auf stär­kere Fel­der vor­ge­nom­men wer­den – sogar noch dann, wenn die tak­ti­schen Kom­pli­ka­tio­nen auf dem Brett eigent­lich kei­nes­wegs eine tra­di­tio­nelle “Ruhe­su­che” erlauben:

FEN-String: r2q1rk1/1b2bppp/4pn2/1p1p4/p1pP1B2/PnP1PN1P/1PBNQPP1/3RR1K1 w	FEN-String: r1b1q1k1/1p1p1ppp/1bpPn1n1/p3rB2/7P/PPN3P1/1BPQN3/R3KR2 w Q
FEN-String: 3qkb1r/1r3pp1/1nn1p2p/p2pP2P/1ppP4/1PP2NR1/P2BNPP1/1R1Q2K1 w k	FEN-String: 1b1r3k/ppnqn1p1/4br1p/3p1p2/3Pp3/BPN1PPPB/P1RNQ2P/5RK1 b

Downloads

• Für Chess­base-Ober­flä­chen: Alle Par­tien Down­load CBH-CBV (zip)
• Für Nicht-Chess­base-Ober­flä­chen: Alle Par­tien Down­load PGN
• Down­load der vier obi­gen Test­stel­lun­gen: Down­load EPD (zip)

Lesen Sie im Glarean Maga­zin zum Thema Schach­tur­niere auch über das Super-Schach aus China: Das GM-Tur­nier in Danzhou

… sowie den Report: Ju Wen­jun ist die neue Schach-Weltmeisterin

aus­ser­dem zum Thema Com­pu­ter­schach: Das Duell der Engine-Giganten

Ich unter­stütze das ehren­amt­li­che Kul­tur-Pro­jekt Glarean Maga­zin mit einer Spende:

---

English Translation (NN vs AB)

Clear superiority not in sight

by Walter Eigenmann

The main pur­pose of modern chess pro­gramming for the users is the ana­ly­sis of (own or for­eign) games. In con­trast, tour­na­ment sta­tis­tics or AI rese­arch are only “waste pro­ducts”. But from time to time it is ins­truc­tive not only to use the cur­rent engi­nes for ana­ly­sis, but also to test them among or against each other. Have the much-prai­sed new NN engi­nes mean­while been able to take the lead before AB pro­gramming? A new engine tour­na­ment, held on a dome­stic AMD Ryzen7-2700X, still shows a blur­red snapshot. The con­clu­sion imme­dia­tely anti­ci­pa­ted: NN and AB pro­grams are still equally strong.

Wat­ching modern engi­nes at play some­ti­mes reminds one of one’s own beg­in­ner times, when tac­tics and stra­tegy were still a (chess) book with (at least) seven seals. Fast, pre­cise, com­plex, deadly – in mil­li­se­conds the pro­grams slam such sophisti­ca­ted moves onto the vir­tual board that 15 years ago any pro­fes­sio­nal com­men­ta­tor would have been able to eli­cit an army of dou­ble excla­ma­tion marks. If he even unders­tood them in all their depth…

30 half moves in a few seconds

Just think, if you con­sider that the whole game takes only four minu­tes, these sili­con mons­ters can cal­cu­late up to 30 half moves per move on average on fast PCs. And this with such sophisti­ca­ted algo­rithms of eva­lua­tion and scoring that they hardly ever make mista­kes tac­ti­cally, even at this rapid game tempo. At least none that a human being could reco­gnize wit­hout the ana­ly­ti­cal help of these programs…

So it’s not sur­pri­sing that nowa­days the most com­mon result bet­ween chess engi­nes is a draw – regard­less of any sophisti­ca­ted ope­ning books which are sup­po­sed to reduce the mean­while extre­mely high draw rate in engine tour­na­ment mode a bit, but can­not do so signi­fi­cantly. (Cf. also own tour­na­ment tests on the sub­ject of ope­ning books).

Neck-and-neck race

The fol­lo­wing ran­king was gene­ra­ted by 17 of the curr­ently stron­gest pro­grams in a dou­ble round tour­na­ment. And the table shows a pic­ture as it is curr­ently to be found in many engine tour­na­ments in the com­pu­ter chess scene: The AI-Engine Lee­laCh­ess-Zero with its net­works and the Alpha-Beta-Pro­grams (here repre­sen­ted by SugarR & Brain­fish) with their sophisti­ca­ted chess algo­rithms are fight­ing a neck-and-neck race in count­less draws:

Hard­ware: AMD Ryzen7 2700X 3.7 GHz – 1024 Mb Hash – 8Cores/16Threads – GPU RTX2080 Soft­ware: GUI Fritz 17 – 4min & 2sec reflec­tion time per engine – 5-Moves-Ope­ning-Book – 5-men-Syzygy-Tablebases

Indomitable Leela (Lc0)

The NN pro­gram Lc0 25.0 with the neu­ral net­work “t60-3010” pro­ved to be unbeata­ble in this sel­ec­tion: It didn’t lose a sin­gle one of its 32 games and won 10 of them – an impres­sive per­for­mance con­side­ring the extre­mely strong oppo­nent field. With 12 wins, the most aggres­sive net­work pro­ved to be the “t40-1541” with Lc0 23.2, and sur­pri­sin­gly, the new Chess­base-NN engine Fat Fritz, which is still ahead of the for­mer World Cham­pion Komodo.
All in all, howe­ver, there can be no talk of a win­ner in the top ten of this ran­king, one point more or less deci­ded seve­ral ranks for­ward or back­ward, and there are only 4 points bet­ween the first and tenth-pla­ced pro­gram. (The fact that the tour­na­ment does not claim any sta­tis­ti­cal signi­fi­cance need not be empha­si­zed. En masse “games on stock­pile” for sta­tis­ti­cal pur­po­ses are pro­du­ced on engine por­tals such as CCRL)

Lavieren like Nimzowitsch

Whoe­ver ana­ly­ti­cally exami­nes the almost 300 games with regard to NN-spe­ci­fic chess beha­viour will find some­thing in various respects. Espe­ci­ally various posi­tio­nal aspects of AI chess play catch the eye.
Regar­ding the engine tour­na­ment in ques­tion here a spe­ci­fic “stra­te­gic motive” is taken as an exam­ple: The regrou­ping. Nim­zowitsch had alre­ady defi­ned – in his ground­brea­king stra­tegy book “My Sys­tem” – the regrou­ping of pie­ces as a cen­tral com­po­nent of his newly intro­du­ced chess con­cept of mano­eu­vring, and with Lee­laCh­ess this stra­ta­gem seems to cele­brate its joyful begin­nings. Mind you, wit­hout any human intervention…

Virtuoso handling of the knight

The engine Lc0 (or rather its neu­ral net­works) is a gran­diose mas­ter in dyna­mi­cally repo­si­tio­ning unfa­vor­ably pla­ced figu­res towards more active posi­tio­ning. To a far grea­ter ext­ent than her alpha-beta col­le­agues, Leela stri­ves for per­ma­nent opti­miza­tion of her figure posi­ti­ons. The NN pro­gram is par­ti­cu­larly vir­tuoso with its knights.

Below are four examp­les of how skilfully and effi­ci­ently the knights are trans­fer­red to stron­ger squa­res – even when the tac­ti­cal com­pli­ca­ti­ons on the board do not allow for a tra­di­tio­nal “Quie­s­cence search“: —> (See the games above)