ERET-Testaufgaben für Schachprogramme (Neue Resultate)

Ungefähre Lesezeit für diesen Beitrag: 2 Minuten

Aktuelle Ergebnisse im ERET-Computerschach-Test

von Walter Eigenmann

Vor knapp 2 Jahren wurde hier die Aufgaben-Sammlung ERET („Eigenmann-Rapid-Engine-Test“) für Computer-Schachprogramme vorgestellt. Diese Puzzle-Suite besteht aus exakt 111 teils einfachen, teils schwierigen Schach-Aufgaben, die speziell für (neue) Engines zusammengestellt wurden, um einfach und schnell die ungefähre bzw. relative Spielstärke eines Programmes einschätzen zu können.

Das Setting der neuen Tests

Seit den ersten ERET-Testergebnissen sind eine Menge neuer Engines (bzw. Versionen) „auf den Markt gekommen“; es war also an der Zeit, diese Neuankömmliche ebenfalls mit dem ERET zu befragen. Unten finden sich die Ergebnisse von ca. zwei Dutzend alter und neuer Programme. Das Setting der Testdurchläufe  – es unterscheidet sich leicht von den damaligen ERET-Einstellungen – war diesmal folgendermaßen:

  • CPU i7-7700 / 2.8 GHz
  • GPU GeForce GTX 1050 Ti
    (LC0-NetWork 256×20-2018_1012_0447_19_587)
  • Windows 10-64bit / Fritz 12 GUI
  • 15 Sek. pro Stellung
  • 4 Cores / Hash: 512MB
  • No Books / 5-Nalimov-TBs

Nicht absolut, sondern relativ

Computerschach - Schachcomputer - ERET-Resultate (Oktober 2018) - Glarean Magazin
Die modernen Schachprogramme sind um ein Vielfaches stärker als die Schachcomputer vor 40 Jahren (Bild: Der „Chess Challenger“ aus dem Jahre 1977). Doch am ERET-Stellungstest haben auch heutige Engines noch ordentlich zu beißen…

Die ERET-Aufgabensammlung eruiert nicht „absolute“ ELO-Zahlen, wie das großangelegte Engine-Turniere mit ihren tausenden von Games wie z.B. die Partien-Sammlung CCRL aus statistischen Gründen anstreben. Vielmehr will die ERET-Suite die (naturgemäß groben) Stärke-Relationen eines Schachprogrammes zu seinen Artgenossen aufzeigen – notabene auf sehr simple und schnelle Art, indem einfach die Anzahl Lösungen einer Engine aufgelistet werden. (Ein differenziertes Verfahren der ERET-Auswertung, das nicht nur die Anzahl Lösungen, sondern auch die Lösezeiten einbezieht, findet sich hier als sog. EloStat-Verfahren von Dr. Frank Schubert).

Trotz des eher groben Test-Aufbaues ist es verblüffend, wie nahe die durch den ERET generierten Ranglisten jenen Rankings kommen, die auch in der Turnier-Praxis der Computerschach-Anwenderschaft (nach teils tausenden von Partien pro Engine) produziert werden. Der ERET spiegelt mit seinen Ergebnissen also ziemlich zuverläßig die Ergebnisse aus dem „realen“ Partien-Betrieb wider. Der Hauptgrund dafür liegt darin, dass der ERET gezielt referentielle Schachpositionen enthält – paradigmatische Aufgaben, die je als Muster für eine Vielzahl analoger Partie-Stellungen stehen.

Die aktuelle ERET-Rangliste (Oktober 2018)

Die nachstehende Rangliste umfasst die Anzahl Lösungen von zwei Dutzend älteren und neuen Schachprogrammen bzw. -Versionen. (Die Auswahl der Engines ist mehr oder weniger zufällig; wichtig war nur, dass darunter sowohl sehr starke als auch mittelmäßige sowie schwache Programme vertreten waren).

Engine              Lösungen

Stockfish 9         77
Houdini 6.03        76
Komodo 12.1.1       75
Ethereal 11.12      66
Deep Shredder 13    61
Booot 6.3           57
Andscacs 0.94       54
LC0 18.1 (Cuda)     54
Fritz 16            53
Equinox 3.3         50
Critter 1.6a        49
Gull 3.1            45
Chiron 4.4          41
Naum 4.6            40
Wasp 3.0            37
BlackMamba 2.0      34
Deep Fritz 10       23
Crafty 25.2         22
SOS 5.1             21
Minko 1.3           18
Onno 1.2.7          17
Alfil 13.1          17
Monarch 1.7         14
Clueless 1.4        11

Wer sich für die näheren Details und die exakten Lösezeiten dieser Test-Ergebnisse interessiert, kann hier alle Dateien gezippt downloaden (PGN / EPD / CBH / XLS).

Hier finden sich die Varianten und Analysen der 111 ERET-Aufgaben online (Chessbase-Reader)

Lesen Sie im Glarean Magazin zum Thema Computerschach auch den
Schach-Essay von Roland Stuckardt: Too clever is dumb

sowie über den Anti-Computerschach-Experten

Weitere Internet-Artikel zum Thema:

...und wie ist Ihre Meinung zu diesem Beitrag?