(openPR) Wer schon einmal stundenlang ein Sudoku geknobelt hat, kennt das Gefühl: Man kommt nicht weiter, bis plötzlich ein kleiner Hinweis die Lösung ins Rollen bringt. Genau solche Hinweise können Large Language Models (LLMs) wie ChatGPT geben – bei Problemen, die um ein Vielfaches komplexer sind als Rätselhefte.
Forschende an der TU Wien haben entdeckt, dass solche Sprachmodelle anderen Programmen dabei helfen können, Logikaufgaben schneller und sogar besser zu lösen. Die LLMs können solche Probleme nicht nachvollziehen, sie können die entsprechenden Codes selbst gar nicht ausführen. Trotzdem erkennen sie Muster, die selbst Experten bislang übersehen haben. Das bedeutet, dass Sprachmodelle nun in einem Einsatzbereich extrem nützlich sind, in dem sie bisher eigentlich für wenig hilfreich gehalten wurden.
Die Forschungsarbeit, die kürzlich im Journal of Artificial Intelligene Research erschien, entstand im Rahmen des Doktoratskollegs iCAIML, in dem unterschiedliche Methoden aus den Bereichen Artificial Intelligence und Machine Learning zusammengeführt werden.
Symbolische und Sub-Symbolische AI
„Um zu sehen, wie überraschend unsere Entdeckung ist, lohnt sich ein Blick auf zwei völlig unterschiedliche Welten der künstlichen Intelligenz“, sagt Florentina Voboril vom Institut für Logic and Computation der TU Wien, die derzeit im Team von Prof. Stefan Szeider an ihrer Dissertation arbeitet.
Es gibt viele Logik-Aufgaben, bei denen man aus vielen Möglichkeiten nach klaren logischen Regeln die beste auswählen muss – zum Beispiel, wenn man sich entscheidet, welche Zahl man in ein Sudoku einträgt. Es gibt Computer-Tools, mit denen man solche Aufgaben heute sehr gut lösen kann. Man formuliert das Problem in einer formalen, mathematischen Sprache, der Computer verwendet die Regeln der Logik, um nach vorgegebenen, nachvollziehbaren Regeln zu einem Ergebnis zu gelangen. Das bezeichnet man als „symbolische AI“. Schichtpläne für die Industrie werden etwa auf diese Weise generiert.
Large Language Models (LLMs) wie ChatGPT oder Copilot arbeiten hingegen völlig anders. Sie haben keine festen, einprogrammierten Regeln, ihr Verhalten ergibt sich aus einer gewaltigen Menge an Daten, mit denen sie trainiert worden sind. So lässt sich etwa Sprache generieren – aber man kann nachträglich nicht genau begründen, warum eine bestimmte Antwort gewählt wurde. Das bezeichnet man als „Sub-symbolische AI“. Diese Art von AI hat in den letzten Jahren einen gewaltigen Aufschwung erlebt, für streng logische Aufgaben ist sie aber eher ungeeignet.
Streamliner: Zusatz-Regeln, die das Leben einfacher machen
„Wir haben uns nun angesehen, wie man symbolische und sub-symbolische AI gemeinsam einsetzen kann, um die Vorteile beider Welten zu nutzen“, sagt Florentina Voboril. In der symbolischen AI gibt es oft unüberschaubar viele Möglichkeiten, aus denen man eine möglichst gute auswählen muss: Viele Varianten, ein Sudoku auszufüllen, viele denkbare Schach-Züge, viele Möglichkeiten, Stundenpläne für einen Schichtbetrieb zu erstellen.
„Man kann oft nicht alle durchprobieren. Es ist daher sehr hilfreich, wenn man gewisse Regeln hat, die einen bestimmten Teil möglicher Antworten von vornherein aussortiert“, erklärt Florentina Voboril. „Stellen wir uns vor, wir müssen den kürzesten Weg aus einem Labyrinth finden. Wenn ich nun weiß, dass bestimmte Teile des Labyrinths überhaupt nicht mit einem Ausgang verbunden sind, dann kann ich diese Bereiche absperren und mich auf die anderen konzentrieren. Damit findet man in kürzerer Zeit eine bessere Lösung.“ Ganz ähnlich ist das in der symbolischen AI: Auch dort können bestimmte Zusatzregeln – sogenannte „Streamliner“ – manchmal helfen, viel schneller zum Ergebnis zu kommen.
An der TU Wien verwendete man nun LLMs, um solche Streamliner zu finden. Man übergibt den Code, der normalerweise von symbolischer AI verarbeitet wird, an ein LLM. Das LLM führt diesen Code nicht aus – dafür ist es nicht gebaut. Man könnte sagen: Es kann das Problem gar nicht wirklich „verstehen“. Aber es schlägt Zusatzregeln vor, die man in diesen Code einbauen kann, damit er dann in einer spezialisierten symbolischen AI schneller läuft oder bessere Ergebnisse erzielt.
Besser als je zuvor
„Wir konnten auf diese Weise bestimmte Probleme deutlich schneller lösen als eine symbolische AI das bisher konnte. Bei einem davon konnten wir sogar neue Weltrekorde aufstellen – also neue Lösungen finden, die besser sind als alle bisher bekannten Lösungen“, sagt Florentina Voboril.
Hier eröffnet sich ein völlig neues und überraschendes Feld für die AI-Forschung: Zwei Bereiche der AI, die bisher fast immer getrennt voneinander betrachtet wurden, werden besser und mächtiger, wenn man sie gemeinsam verwendet. In Zukunft könnten eine Kombination von symbolischer und sub-symbolischer AI nicht nur Rätsel der Forschung knacken, sondern auch komplexe Entscheidungen im Alltag beschleunigen – von Logistik über Schichtplanung bis hin zum Gesundheitswesen.
Aussender:
Dr. Florian Aigner
Kommunikation
Technische Universität Wien
+43 664 60588 4127
wissenschaftliche Ansprechpartner:
Dipl.-Ing. Florentina Voboril
Institut für Logic and Computation / iCAIML
Technische Universität Wien
Originalpublikation:
F. Voboril, V. Ramaswamy, S. Szeider, Generating Streamlining Constraints with Large Language Models, Journal of Artificial Intelligence Research, 84 (2025)., DOI: https://doi.org/10.1613/jair.1.18965
F. Voboril, V. Ramaswamy, S. Szeider, Balancing Latin Rectangles with LLM-Generated Streamliners, in the 31st International Conference on Principles and Practice of Constraint Programming (CP 2025), Glasgow, Scotland, DOI: https://doi.org/10.4230/LIPIcs.CP.2025.36
