Computerschach: Der Engine-Test «Nightmare 2»

30 Albträume für Schachprogramme

von Walter Eigenmann

Anfangs 2005 veröffentlichte der Autor auf seiner damaligen Website und in div. Internet-Foren eine Datensammlung namens «Nightmare», die 30 Teststellungen für Schach-Computer-Programme beinhaltete. Diese vornehmlich taktisch geprägten Aufgaben aus den Bereichen Eröffnung, Mittelspiel und Endspiel avancierten aufgrund ihres hohen Schwierigkeitgrades schnell zu einer damals recht häufig genutzten Sammlung, wenn es darum ging, neue Schachprogramme im Hinblick auf ihre Schlagkraft beim Aufspüren anspruchsvoller Kombinationen zu prüfen.
Heute, mehr als zehn Jahre später, zeigt sich die Spielstärke der modernen Schach-Engines so deutlich verbessert, dass eine Nachfolge-Suite «Nightmare II» angezeigt war, welche den Schwierigkeitsgrad der Aufgaben nach oben korrigierte: Alle Teststellungen wurden nun durch noch komplexere ersetzt, insgesamt beinhaltet die neue «Nightmare»-Suite erneut 30 Puzzles des höchsten Schwierigkeitsgrades.

Recherchen in vielen Datenbanken

Vorbei die schönen Anfangsjahre des Computerschachs in den 1970er und -80er Jahren, als jeder Amateur die Blechkisten - hier ein früher «Chess Challenger» von Fidelity Electronics - mit einfachen Bauernopfern bezwingen konnte...
Vorbei die schönen Anfangsjahre des Computerschachs in den 1970er und -80er Jahren, als jeder Amateur die Blechkisten – hier ein früher «Chess Challenger» von Fidelity Electronics – mit einfachen Bauernopfern bezwingen konnte…

Als Quellen dienten dabei v.a. meine eigenen umfangreichen (teils früheren) Recherchen in verschiedenen Datenbanken, hie und da wurde auch eine besonders interessante Stellung in einschlägigen Computerschach-Foren entdeckt. Weiters durchforstete ich einige neuere Buchpublikationen – darunter namentlich Veröffentlichungen von John Nunn und John Watson – sowie internationale Schach-Magazine. Die schwierigsten, spricht tiefsten Kombinationen finden sich aber naturgemäß in modernen Studien-Sammlungen sowie in den Datenbanken der aktuellen Fernschach-Server.

... während heutzutage ein kleines 2-MB-Programm wie der amtierende Weltmeister «Komodo» mit fast der gesamten menschlichen Grossmeister-Gilde <a href="https://en.chessbase.com/post/wsj-on-odds-chess-match-nakamura-vs-komodo">aufräumt</a>
… während heutzutage ein kleines 2-MB-Programm wie der amtierende Weltmeister «Komodo» mit fast der gesamten menschlichen Grossmeister-Gilde aufräumt

Meine persönliche Einschätzung der neuen «Nightmare»-Aufgaben als besonders anspruchsvolle beruht im wesentlichen auf Stichproben mit wenigen führenden Engines im Computerschach-Bereich. Die Analysen erarbeitete ich vorwiegend mit dem Freeware-Programm «AsmFish» (einem schnellen Assembler-Derivat von «Stockfish»), dessen Stellungsbewertung meines Erachtens zu den momentan zuverläßigsten der aktuellen Engine-Szene gehört, sowie mit dem (bereits etwas älteren) Interface «Deep Shredder», das ein besonders nützliches Feature aufweist, nämlich die sog. «Computerassistierte Partieanalyse»: Für jeden bereits untersuchten Varianten-Zug lässt sich dessen «Stellungswert» abspeichern, womit die interaktive Analyse bzw. die Eliminierung unproduktiver Variantenzweige merklich beschleunigt wird.

Maximale Lösungszeit: 60 Sekunden

Das menschliche Vorstellungsvermögen zu reproduzieren ist für Maschinen oft unmöglich, und wenn dann noch Glanzzüge eines Schachgenies wie Garry Kasparov gefunden werden sollen, ist meist Endstation für Programme - wie z.B. in der obigen Stellung (aus Kasparov-Andersson, Reykjavik 1988), wo ein absoluter Winner versteckt ist. Weiß zieht und gewinnt - findet Ihr Lieblingsprogramm die Lösung innerhalb einer Minute?
Das menschliche Vorstellungsvermögen zu reproduzieren ist für Maschinen oft unmöglich, und wenn dann noch Glanzzüge eines Schachgenies wie Garry Kasparov gefunden werden sollen, ist meist Endstation für Programme – wie z.B. in der obigen Stellung (aus Kasparov-Andersson, Reykjavik 1988), wo ein absoluter Winner versteckt ist. Weiß zieht und gewinnt – findet Ihr Lieblingsprogramm die Lösung innerhalb einer Minute?

Es gibt heutzutage nicht mehr allzu viele Stellungstypen, die von modernen Schachprogrammen grundsätzlich nicht innerhalb von ca. 30 Sekunden gelöst werden könnten – auch ohne dass man mittels «Special-Tuning» ihrer Voreinstellungen ( = Rumschrauben an ihren Parametern) extra «schummeln» müsste.
Gleichwohl ist es gerade anhand von solchen Stellungstests interessant herauszufinden, welches Programm bei welchen Positionen auf Anhieb reüssiert oder nicht – Erkenntnisse, die dann wiederum z.B. in der taktischen Nachbearbeitung von eigenen Turnierpartien oder als Unterstützung im Fernschach zugute kommen können.

Die modernen Engines mögen noch so tief rechnen - der sog. «Horizont-Effekt» holt sie doch immer wieder ein: Dass in der obigen Stellung (aus einer Fernschach-Partie Smith-Gach 1999) der Weiße einfach nur die Damen tauschen und dann das Bauern-Endspiel nach Hause schaukeln kann, sehen auch viele Spitzenprogamme (noch) nicht.
Die modernen Engines mögen noch so tief rechnen – der sog. «Horizont-Effekt» holt sie doch immer wieder ein: Dass in der obigen Stellung (aus einer Fernschach-Partie Smith-Gach 1999) der Weiße einfach nur die Damen tauschen und dann das Bauern-Endspiel nach Hause schaukeln kann, sehen auch viele Spitzenprogamme (noch) nicht.

Meine subjektive Vorgabe an eine moderne Engine ist darum: Wenn ein Programm (mit den implentierten Default-Einstellungen ihres Programmierers) auf aktueller Durchschnitts-Hardware eine korrekte Teststellung nicht innerhalb einer Minute lösen kann, hat sie Verbesserungspotential…
Jenen Schachfreunden, die mit «Nightmare II» eigene Engine-Tests durchführen wollen, empfehle ich also eine Bedenkzeit von 30-60 Sekunden pro Stellung mit ca 1 GB Hash auf einem Rechner mit mind. 2 Cores (64-Bit) und mind. 2.1-GHz-Prozessor (optional zuzüglich Endspiel-Tablebases). –

Alle 30 Aufgaben interaktiv nachspielen

English Summary
In 2005 I published a collection of test positions for chess engines, called «Nightmare». It was a set of 30 very difficult Puzzles. Today, more than ten years later, the modern engines are much stronger. So I created a new collection with 30 new hard positions. I found them in books, in chess forums, in studies databases a.o. (You can download all 30 positions as a EPD-File for your own experiments; with a fairly fast CPU, you should try 60 seconds per puzzle/engine ). Have fun with «Nightmare II» !

Ich habe die ganze Sammlung als EPD-File aufbereitet (siehe Download-Link unten); dieses kann man bei eigenen Experimenten den Test-Engines zum Lösen vorsetzen. Besonders geeignete Schach-Interfaces hierzu sind u.a. «Arena», «Fritz» und «Shredder». Wer zudem alle 30 Aufgaben bzw. Analysen interaktiv online nachspielen will, kann das via untenstehenden Link ebenfalls tun.

Test-Empfehlung
♦ Bedenkzeit pro Stellung/Engine: 60 Sekunden ♦ Hash-Memory: mind. 1 GB ♦ Prozessor: mind. 2 CPU/Cores & mind. 2.1-GHz-Prozessor

Die 30 Teststellungen von «Nightmare II» sind nicht prinzipiell unlösbar für Computer, und bei jeder Stellung dürfte wohl irgend eine Engine irgendwann fündig werden. Aber «Nightmare II» ist mit Sicherheit für Schachprogramme insgesamt ein einziger Albtraum, weil alle Puzzles den Finger in die vier größten, sich gegenseitig bedingenden, ja quasi genetischen Defizite des computergestützten Schachs legen: Zugzwang, Horizonteffekt, Rechentiefe und Stellungsbewertung.  Den beiden letzteren Baustellen ist die heutige Schachprogrammierung bereits sehr fortgeschritten zu Leibe gerückt; insbesondere die taktische Durchschlagskraft sorgt schon längst dafür, dass der Mensch gegen die Maschine inzwischen chancenlos ist. Ein paar letzte Bastionen bleiben noch – wie «Nightmare II» recht eindrücklich dokumentiert…
Der Autor wünscht viel Spaß bei eigenen Engine-Experimenten! ♦

EPD-DownloadOnline nachspielen

Lesen Sie im Glarean Magazin zum Thema „Testaufgaben für Schachprogramme“ auch über den Endspiel-Stellungstest von Walter Eigenmann

3 Gedanken zu “Computerschach: Der Engine-Test «Nightmare 2»

  1. famose sammlung… da meint man die coputer haben alles im griff, aber mitnichten. das sind wirklich 30 dicke brocken, die da zusammengetragen wurden, kompliment!!! ich habe mal einige programme (rybka, houdini, junior, nimzo) darauf angesetzt, fehlanzeige, zu schwierig! danke
    Luigi

  2. Hallo Walter,

    schön von Dir mal wieder was Schachliches zu ‚hören‘.
    Die neuen Nightmare-Stellungen schaue ich mir gerne mal näher an – respektive meine wenigen (verbliebenen) Schach-Engines…
    Hab ’ne schöne Zeit – und danke für Deine Mühe!

    Gruß, Manfred

Kommentare sind willkommen! (E-Mail-Adresse wird nicht veröffentlicht)