Stockfish oder Leela?

von Walter Eigenmann

Seit vie­len Mona­ten und je län­ger desto stär­ker beherrscht in der Com­pu­ter­schach-Szene ein Duell die Dis­kus­sion: Stock­fish gegen Leela. Zwei Schach­pro­gramme, deren Her­kunft und Kon­zep­tion nicht unter­schied­li­cher sein könn­ten, und die sich heute ein Kopf-an-Kopf-Ren­nen lie­fern um den ers­ten Platz unter den moder­nen Engi­nes. Dem Anwen­der kann das nur recht sein: Das Duell der Engine-Gigan­ten sorgt für ste­tig bes­sere Schachmotoren…

Konträre Programmieransätze

Auf der einen Seite haben wir also mit dem Open-Source-Pro­gramm Stock­fish den zur­zeit in allen Com­pu­ter­schach-Ran­kings zuvor­derst ran­gier­ten Ver­tre­ter der sog. Alpha-Beta-Rich­tung. Die Engine, ursprüng­lich als Glau­rung von Tord Roms­tod im Jahre 2008 ent­wi­ckelt, zählt als Free­ware mitt­ler­weile auf eine welt­weite Ent­wick­ler­ge­meinde, deren wöchent­li­cher Input – koor­di­niert von den Pro­gram­mie­rern M. Cos­talba, J. Kii­ski und G. Lins­cott – aus die­sem ehe­mals mit­tel­mäs­si­gen UCI-Pro­gramm nach und nach ein extrem schnel­les und extrem tief rech­nen­des CPU-Mons­ter geschaf­fen hat, wel­ches z.B. den amtie­ren­den Welt­meis­ter Magnus Carlsen – wahr­schein­lich das grösste Genie der Schach­ge­schichte – in einem Match über meh­rere Tur­nier­par­tien mit gros­ser Wahr­schein­lich­keit in Grund und Boden spie­len würde.

Auf der ande­ren Seite sorgte in der Szene inner­halb der letz­ten zwan­zig Monate ein ganz ande­rer Ent­wick­lungs­strang der Pro­gram­mie­rung für Furore: Das (eben­falls frei down­load­bare) KI-Schach-Leela-Pro­jekt “Lc0” mit sei­ner aus­schliess­lich Netz­werk-basier­ten Spiel­weise ohne jedes “mensch­li­che Know­how”. (Nähe­res zu die­sem bahn­bre­chend neuen Ansatz fin­det sich u.a. hier: Künst­li­che Schach-Intel­li­genz Leela Chess Zero – Als Auto­di­dakt zur Welt­spitze).
Auch Leela’s atem­be­rau­bende Pro­gres­sion wäre nicht mög­lich gewe­sen ohne den Ein­satz der inter­na­tio­na­len Com­mu­nity, die non­stop “self­played games” beisteuert(e) und so das “Wis­sen” des KI-Pro­gram­mes in Form von stän­dig neuen “Net­works” suk­zes­sive ver­mehrt. (Mitt­ler­weile dürfte die Grenze von 1,5 Mil­li­ar­den Tra­nings­par­tien über­schrit­ten sein…)

Turnier mit diversen Derivaten und Netzen

Wer diese bei­den unter­schied­li­chen Kon­zepte, ihre deut­lich von­ein­an­der abwei­chen­den Spiel­wei­sen kon­kret stu­die­ren will, kann das anhand spe­zi­fisch aus­ge­wähl­ter Auf­ga­ben-Stel­lun­gen tun – z.B. mit der ERET-Test­samm­lung. Oder aber er lässt sie in eigens kon­zi­pier­ten Tur­nie­ren gegen­ein­an­der antre­ten – mit unter­schied­li­chen Bedenk­zei­ten und unter­schied­li­chen Kon­fi­gu­ra­tio­nen hin­sicht­lich CPU und Datenbanken.

Solch ein grös­se­res Tur­nier mit über tau­send Par­tien und 33 teil­neh­men­den Engi­nes habe ich kürz­lich auf mei­nem AMD-Ryzen7-Rech­ner aus­spie­len las­sen. Um mög­lichst ein brei­tes Feld von Stock­fish- und Leela-Zwei­gen ver­glei­chen zu kön­nen, wur­den neben den Default-Pro­gram­men auch diverse Deri­vate bzw. Net­work-Ent­wick­lun­gen der Leela-Chess-Com­mu­nity integriert.

Das Resul­tat die­ser Matches – wel­che selbst­ver­ständ­lich kei­ner­lei Anspruch auf Voll­stän­dig­keit oder sta­tis­ti­sche Rele­vanz erhe­ben wol­len – zeigt jenes Bild, das auf­grund zahl­rei­cher ande­rer Com­pu­ter­schach-Tur­niere zu erwar­ten war: Auch im Spät­som­mer 2019 kann noch immer nicht ein­deu­tig aus­ge­macht wer­den, wer nun genau aufs Sie­ges­po­dest gehievt wer­den kann. Stock­fish und Leela sind, was ihre Tur­nier-Per­for­mance anbe­langt, momen­tan gleich stark, wie­wohl ihr Schach­stil sehr unter­schied­lich daherkommt.
Was hin­ge­gen als ziem­lich sicher gel­ten darf, ist der Befund, dass die bei­den engs­ten Ver­fol­ger, näm­lich die zwei kom­mer­zi­ell ver­mark­te­ten Pro­gramme Komodo und Hou­dini mitt­ler­weile distan­ziert sind. Bis vor ca. einem hal­ben spiel­ten diese bei­den Engi­nes noch auf Augen­höhe mit dem Sieger-Duo.

---

Exkurs: Der “menschlich” spielende Computer

Der AI-Engine Leela wird ein quasi “mensch­li­ches Schach­ver­ständ­nis” nach­ge­sagt; ihr Schach erin­nere an “plan­vol­les” und “krea­ti­ves” Spiel, wie man es bei Gross­meis­tern kennt und liebt. (Aller­dings müss­ten die Begriffe “Plan” und “Stra­te­gie” heut­zu­tage über­holt bzw. neu defi­niert wer­den; das enorm tiefe, weil aus­ge­klü­gelt selek­tive Berech­nen auch der aktu­el­len kon­ser­va­ti­ven Alpha-Beta-Pro­gramme zeigt ein tak­tisch fast feh­ler­lo­ses, aber durch kei­ner­lei schöp­fe­ri­sches Pla­nen cha­rak­te­ri­sier­tes Schach­spie­len; ihre Zug­fol­gen basie­ren rein auf raf­fi­nier­ten Bewer­tungs­al­go­rith­men und selek­ti­ven Cut-Tech­ni­ken. Was frü­her der Mensch “Stra­te­gie” nannte, ent­puppt sich mit Com­pu­tern oft als blosse “Tak­tik”…)

Woher kommt also der “huma­no­ide” Nim­bus der neuen KI-Pro­gramme wie Alpha-Zero, Leela-Zero oder Allie u.a? Gilt womög­lich das Para­do­xon, dass Lc0 darum so “mensch­lich” spielt, weil der Mensch bei sei­ner Ent­wick­lung jar gar nicht invol­viert war?! (Am Anfang der Schach-AI-For­schung stan­den nur die nack­ten Spiel­re­geln, ansons­ten kei­ner­lei imp­le­n­tier­tes Schachwissen.)

Das fol­gende Par­tien-Bei­spiel – gene­riert auf mei­nem AMD-Ryzen7-Rech­ner in einem Match Leela vs Komodo (mit Per­mant­Brain on) – mag ver­an­schau­li­chen, dass das Eti­kett “Mensch­li­ches Spiel” bei moder­nen AI-Schach­pro­gram­men so völ­lig nicht aus der Luft gegrif­fen ist.
Nach den Zügen…

… kam diese Stel­lung aufs Brett:

Die Posi­tion ist im leich­ten mate­ri­el­len Ungleich­ge­wicht, aber zugleich so fest­ge­fah­ren, dass keine Par­tei vor­wärts­kommt. Fried­li­che Gemü­ter wür­den hier durch­aus nicht zu Unrecht an ein Remis denken.

Doch Weiß hat einen lang­fris­ti­gen Plan in petto: Der König wird nach a2 über­führt. Dort blo­ckiert er einer­seits den schwar­zen Frei­bau­ern und löst gleich­zei­tig die Wache des Tur­mes ab, der dadurch für Angriffs­zwe­cke mobil wird. Hinzu kommt, dass Sprin­ger in solch fixier­ten Bau­ern­stel­lun­gen den Läu­fern und sogar Tür­men über­le­gen sein kön­nen – trotz Minus-Bau­ern­ein­heit ist also die Par­tie­stel­lung für Weiß “stra­te­gisch” gewonnen.
Es folgte eine Lehr­buch-mäs­sige Ver­wer­tung durch das AI-Pro­gramm Leela:

34. Kg3 Kd8 35. Kf2 Ke7 36. Ke2 Rd8 37. Kd3 Ra5 38. Kc2 Bd7 39. Ne4 Ra6 40. Kb1 Kf8 41. Ka2 und Schwarz ist chan­cen­los gegen den Turm-unter­stütz­ten Bau­ern­he­bel c4-c5 (oder wie in der Par­tie gegen z.B. Läu­fer­tausch inkl. g-Linie-Öff­nen mit Atta­cke gegen den Rück­stän­di­gen g7)  1-0
(Hier lässt sich die Ori­gi­nal-Par­tie down­loa­den / CBH-For­mat -ZIP-Datei)

Strategie oder Taktik?

Die Frage ist nun, ob diese Königs­wan­de­rung auf dem Leela-Mist alleine gewach­sen ist, oder ob der glei­che “Plan” auch bei kon­ven­tio­nel­len Engi­nes im Out­put des “Denk­pro­zes­ses” auf­taucht. Hierzu habe ich mal einige der bes­ten Pro­gramme exakt 5 Sekun­den lang auf die Stel­lung ange­setzt (mit je 16 Threads) und ihre Haupt­va­ri­an­ten ver­gli­chen (unter “Fritz-16” auf einem AMD-Ryzen-7):

Ana­ly­sis by Stock­fish 10:

34.Kg2 Kd8 35.Kf2 Ke7 36.Se4 Td8 37.Ke2 Ta6 38.Le6 g6 39.Kd3 Tb8 40.Kc2 gxh5 41.Sf5+ Kd8 42.Sfxd6 hxg4 43.Lxg4 Lg6 44.Lf5 Lxf5 45.Sxf5 Kc7
Weiß steht deut­lich bes­ser: +/- (1.34) Tiefe: 25/39 00:00:05 102MN, tb=15

---

Ana­ly­sis by Hou­dini 6.03:

34.Kg3 Kd8 35.Kf3 Kc7 36.Se4 a2 37.Ke2 Ta3 38.Kd2 Txb3 39.Txa2 Ta3 40.Tb2 Ta5 41.Le6 Tba8 42.Sf5 Ta2 43.Kc2
Weiß steht etwas bes­ser: +/= (0.41 ++) Tiefe: 20/41 00:00:05 122MN, tb=2056

---

Ana­ly­sis by Komodo 12.3:

34.Ta2 Kd8 35.Kg2 Ke7 36.Kf3 Ta6 37.Le6 Kf8 38.Sf5 Td8 39.Se4 Tb6 40.Kf2 Ta6 41.Kg2 Tb6 42.Kh3 Ta6 43.Kg3 Tb6 44.Kg2 Ta6 45.Kf2 Tb6 46.Ke3 Ta6 47.Kd2 Tb6 48.Kd3 Ta6 49.Ke2 Tb6 50.Kf3 Ta6 51.Ke3 Tb6 52.Ke2 Ta6 53.Kd3 Tb6 54.Sd2
Weiß steht etwas bes­ser: +/= (0.64) Tiefe: 32 00:00:05 89390kN, tb=2

---

Ana­ly­sis by Ethe­real 11.50:

34.Kg3 Lf7 35.Kf3 Tb6 36.Ke2 Te8 37.Kd3 Td8 38.Se4 Th8 39.Kc2 Ta6 40.Kd2 Tb6 41.Kd3 Ta8 42.Lh7 Kf8 43.Sf5 Td8 44.Kc2 Ta6 45.Kd3 Tb6
Die Stel­lung ist aus­ge­gli­chen: = (0.00) Tiefe: 22/36 00:00:00 11065kN, tb=3

---

Ana­ly­sis by Fire 7.1:

34.Kg2 Ta6 35.Kf3 Td8 36.Se4 Lf7 37.Ke2 Te8 38.Kd3 Td8 39.Ta2 Tb6 40.Ta1 Th8 41.Ta2 Tf8 42.Lh7 Td8 43.Sf5+ Kf8 44.Se3 Ta6 45.Lf5 Ke7 46.Lh7 Kf8
Die Stel­lung ist aus­ge­gli­chen: = (0.00) Tiefe: 26 00:00:04 44069kN, tb=300

---

Ana­ly­sis by Xiphos 0.5.4:

34.Lg6 Ld7 35.Lf5 Td8 36.Kg2 Ta7 37.Se4 Tc7 38.Lxd7 Tcxd7 39.Sf5+ Kf8 40.Kf3 Kf7 41.Ke3 Ke8 42.Kd3 Kf7 43.Ke2 Kf8 44.Kf3
Die Stel­lung ist aus­ge­gli­chen: = (0.00) Tiefe: 29 00:00:04 95544kN

---

Ana­ly­sis by Deep Shred­der 13:

34.Se4 a2 35.Le6 g6 36.hxg6 Lxg6 37.Lf5 Le8 38.c5 dxc5 39.d6+ Kd8 40.Sxc5 Ta5 41.Se6+ Kd7 42.Sg7+ Kc6 43.Tc1+ Tc5 44.Le4+ Kd7 45.Ta1 Ta5 46.Sc4 Ta6
Die Stel­lung ist aus­ge­gli­chen: = (0.21 ++) Tiefe: 27/48 00:00:05 100MN, tb=38

---

Wie ersicht­lich haben die Engi­nes zwar die ers­ten paar Sta­tio­nen der Königs­wan­de­rung durch­aus auf ihrem Radar, weil ihre Pro­gram­mie­rer ihnen ein­ge­bleut haben, dass der König im End­spiel vom Rande ins Zen­trum geführt wer­den sollte. Aber die zwei fina­len Ziel-Züge des Königs (Kb1 und Ka2) tau­chen bei kei­nem die­ser star­ken Alpha-Beta-Pro­gramme im Out­put auf.
Kommt hinzu, dass (des­we­gen) ihre Stel­lungs­be­wer­tung nicht über ein “Weiß steht bes­ser” hin­aus­kommt, ja sogar Remis-Ein­schät­zun­gen wer­den aus­ge­ge­ben. (Hier fin­det sich eine Ana­lyse der Par­tie-Fort­set­zung nach 34.Se4).

Ganz anders Leela Chess Zero, der Urhe­ber der Stel­lung. Ich habe einige aktu­elle Lc0-Net­works dar­auf ange­setzt – den schöns­ten, quasi “lupen­rei­nen” Out­put habe ich beim NW “T40B.2-106” gefunden:

Ana­ly­sis by LC0 v0.22 (T40B.2-106):

34.Kg2 Kd8 35.Kf1 Kc7 36.Ke2 Ta5 37.Kd3 Lf7 38.Se4 Lg8 39.Kc2 Lf7 40.Kb1 Lg8 41.Ka2 Lf7 42.Tc1
Weiss steht deut­lich bes­ser: +- (2.21) Tiefe: 8/20 00:00:05 236kN

Der wesent­li­che Unter­schied zu den kon­ven­tio­nel­len Pro­gam­men ist, dass Leela diese Line nicht eigent­lich berech­nen muss (wie die geringe Ply-Tiefe von 8/20 und die mini­male Kno­ten­zahl zei­gen), son­dern die­sen “Plan” nach nur 5 Sekun­den “Weiß” und sofort eine Gewinn-Bewer­tung aus­wirft. (Es ist umge­kehrt nicht aus­zu­schlies­sen, dass nach lan­gem Rech­nen auch andere her­kömm­li­che Engi­nes genug Tiefe errei­chen und einen ver­gleich­ba­ren Out­put liefern).

Auch wenn gerade bei Leela Chess Zero die Inter­face-Anga­ben bezüg­lich Rechen­tiefe und Stel­lungs­be­wer­tung stets mit Vor­sicht zu genies­sen sind: Ein sol­cher Main­line-Out­put in die­ser Stel­lung ist beein­dru­ckend. Ich per­sön­lich kann nach­voll­zie­hen, wenn der­ar­ti­gem Schach von Men­schen das Eti­kett “mensch­lich” ver­passt wird – also eben nicht “tak­tisch”, son­dern “stra­te­gisch”…

Leela der Königsbezwinger

Um ganz vorne mit­mi­schen zu kön­nen, muss aller­dings Leela nicht nur “posi­tio­nell”, son­dern auch angriffs­tech­nisch auf der Höhe sein, damit nicht nur halbe Remis-Punkte, son­dern ganze Punkte ein­ge­fah­ren wer­den kön­nen. Und in der Tat: Leela Chess Zero ist – mit sei­nen jün­ge­ren Net­works – einer der stärks­ten Königs­an­g­rei­fer im aktu­el­len Engine-Zir­kus. Aus dem Nichts ist die­ses Pro­gramm imstande, töd­li­che Atta­cken zu rei­ten – wie wei­land der “Magier aus Riga”, Ex-Welt­meis­ter Michael Tal (wenn auch nicht so spe­ku­la­tiv wie dieser…).
Ein paar Par­tien-Zitate illus­trie­ren Lee­las Durch­schlags­kraft im Angriff:

FEN-String: r2q1rk1/5p2/p1np1npp/bpp1p3/4P1PB/2PP1NNP/bPB1QP2/2KR3R w – – 0 18	FEN-String: r2q1rk1/1b1nbppp/pn1p4/1ppPp3/4P3/2P1BN1P/PPBN1PP1/R2Q1RK1 w – – 0 13
FEN-String: r1b2r2/pp1qnpkp/2np2p1/2p1p1P1/2P5/2NP1N2/PP2PPBP/R1Q2RK1 b – – 0 14	FEN-String: 1rb1r1k1/1pqn1pb1/p2p1npp/2pP4/P3P2B/2N5/1P1NBPPP/1R1Q1RK1 w – – 0 16

---

Alpha-Beta- und NN-Schach gleich stark

Die nach­ste­hende Tur­nier-Rang­liste ist das Ergeb­nis der fol­gen­den Hard­ware-/Soft­ware-Tur­nier­spe­zi­fi­ka­tio­nen:

– CPU: AMD Ryzen 7 2700X (8CPU/16Threads) – GPU: GeForce RXT 2080 – Memory/Engine: 1024 MB	– Inter­face: Fritz 16 – Engi­nes: Defaults 8Threads/Engine – Leela-Engi­nes: 4Threads (CUDNN-FP-16)
– Bedenk­zeit: 2 Min. + 2 Sek. / Engine – Eröff­nungs­buch: 5-moves-Book (M.Scheidl) – End­spiel-DB: Syzygy (5-men) – Per­ma­nent­Brain: On	– Anzahl Par­tien: 1056 – Anzahl Weiß-Siege: 360 (34,1%) – Anzahl Schwarz-Siege: 287 (27,2%) – Anzahl Remi­sen: 409 (38,7%)
– ECO A: 191 Partien – ECO B: 229 Partien – ECO C: 175 Partien – ECO D: 296 Partien – ECO E: 165 Partien	– Par­tie-Dublet­ten: keine – Zeit­über­schrei­tun­gen: fünf (Raub­fish) (Raub­fish spielte mit einem expe­ri­men­tel­len Setting: “Ana­ly­sis ICC” & “Deep Ana­ly­sis ICC” ON)

 

Die schachlichen Top Shots

Abschlies­send hier aus die­sem Tur­nier noch ein hal­bes Dut­zend schach­li­cher Top Shots, die nicht nur beson­ders ästhe­tisch sind, son­dern auch demons­trie­ren, zu wel­chen Glanz­zü­gen moderne Schach­pro­gramme in der Lage sind, auch wenn sie – wenn­gleich auf flot­ter Hard­ware – nur einige Sekun­den pro Zug ver­füg­bar haben. Mit durch­schnitt­li­chen Rechen­tie­fen von 25-30 Halb­zü­gen spie­len heut­zu­tage die Engi­nes auch in Blitz­par­tien auf einem Niveau, das frü­her von ihren Vor­gän­gern erst nach stun­den­lan­gen Par­tien (und auch nur annä­hernd…) erreicht wurde.

Der knappe Tur­nier­sie­ger Brain­fish spielte übri­gens quasi aus­ser Kon­kur­renz mit (war aber als eine Art Refe­renz gedacht): Im Gegen­satz zu allen ande­ren, die aus­ser der Vor­gabe von 5 Eröff­nungs­zü­gen kei­ner­lei eigene Ope­ning Books benut­zen durf­ten, erhielt Brain­fish gleich zwei Default-Bücher, näm­lich sein inte­gra­les “Cere­bel­lum” sowie ein spe­zi­fi­sches NN-Book namens “Cere­bel­lum Leela Net“. Die­ses Duo erwies sich dann als unwiderstehlich…

♥ Hier las­sen sich alle Ori­gi­nal-Par­tien des Tur­nie­res down­loa­den im CBH- und PGN-For­mat (zip-File) ♦

Maus­klick auf einen Zug oder eine Vari­ante öff­net das Ana­lyse-Fens­ter mit Download-Option

FEN-String: r1b1k3/p3p1b1/2p3p1/1q1p1pPr/N2PnB1p/7P/PP2PPB1/R2Q1RK1 w q – 0 16	FEN-String: r2q1rk1/pppnbpp1/2npb2p/1B6/4P3/2N1QN1P/PPPB1PP1/R3K2R w KQ – 0 12
FEN-String: r1bqk2r/pp2bpp1/2n4p/2pnp3/7P/1P1P1NP1/P3PPB1/RNBQ1RK1 b kq – 0 9	FEN-String: r2q1rk1/1b1nbppp/1n1p4/pppPp3/4P1P1/2P1BN1P/PPBN1P2/R2Q1RK1 w – – 0 14
FEN-String: 8/2b1k3/2p5/4p3/2P1N3/2B2KP1/1P2RP2/r2r4 w – – 0 49	FEN-String: r3r1k1/3b1ppp/8/1p1p4/nPpP1BP1/4P2P/P4P2/1NQ3K1 b – – 0 24

Lesen Sie im Glarean Maga­zin zum Thema Com­pu­ter­schach-Par­tien auch über die neue Ver­sion der Schach-Daten­bank Chess­base (15)

… sowie zum Ver­gleich mit älte­ren Engi­nes-Rang­lis­ten: Die grosse Com­pu­ter­schach-Daten­bank COMP 2007

Interessante News-Links zum Thema Schach:

• Wochen­end-Rät­sel (Schach in Rülzheim)
• Ein Kampf (Patrick Süskind)
• Schach, Schach… (Refo­exac)
• Lee­las Meis­ter­stück (Franz Jittenmeier)