(openPR) Gemeinsame PM von TU Berlin, BIFOLD, Google DeepMind, Max-Planck-Institut für Bildungsforschung und Max-Planck-Institut für Kognitions- und Neurowissenschaften
Auch wenn die so genannten Vision Foundation Modelle, Computermodelle für die automatisierte Bilderkennung, in den vergangenen Jahren enorme Fortschritte gemacht haben – sie unterscheiden sich immer noch deutlich von dem menschlichen visuellen Verständnis. Zum Beispiel erfassen sie in der Regel keine mehrstufigen semantischen Hierarchien und haben Schwierigkeiten, mit Beziehungen zwischen semantisch verwandten, aber visuell unähnlichen Objekten. In einem gemeinsamen Projekt mit Google DeepMind und dem Max-Planck-Institut für Bildungsforschung haben Wissenschaftler*innen des Forschungsinstituts BIFOLD an der TU Berlin aus dem Team von Co-Direktor Prof. Dr. Klaus-Robert Müller vom Fachgebiet für Maschinelles Lernen an der TU Berlin jetzt einen neuen Ansatz entwickelt. „AligNet“ integriert erstmals menschliche semantische Strukturen in neuronale Bildverarbeitungsmodelle und nähert damit das visuelle Verständnis der Computermodelle dem des Menschen an. Die Ergebnisse wurden jetzt unter dem Titel „Aligning Machine and Human Visual Representations across Abstraction Levels“ in dem renommierten Fachmagazin Nature publiziert.
Die Wissenschaftler*innen untersuchen, wie visuelle Repräsentationen von modernen, tiefen neuronalen Netzen im Vergleich zu menschlichen Wahrnehmungen und konzeptuellem Wissen aufgebaut sind und wie man diese besser aufeinander abstimmen kann. Obgleich künstliche Intelligenz (KI) in der Bildverarbeitung heute beeindruckende Leistungen zeigt, generalisieren Maschinen häufig weniger robust als Menschen, etwa wenn neue Bildtypen oder Verhältnisse vorliegen.
„Die zentrale Frage unserer Studie lautet: Was fehlt modernen maschinellen Lernsystemen, damit sie ein menschenähnliches Verhalten zeigen – nicht nur in der Leistung, sondern auch in der Art und Weise, wie sie Repräsentationen organisieren und abstrahieren“, erläutert Erstautor Dr. Lukas Muttenthaler, Wissenschaftler bei BIFOLD und dem Max-Planck-Institut für Kognitions- und Neurowissenschaften, sowie ehemaliger studentischer Mitarbeiter bei Google DeepMind.
Die Forschenden zeigen, dass menschliches Wissen typischerweise hierarchisch organisiert ist, also sortiert in detaillierte (z. B. „Haustier Hund“) bis hin zu groben (z.B. „Tier“) Unterscheidungen. Maschinenmodelle hingegen erfassen diese Ebenen der Abstraktion und Semantik oft nicht. Um die Modelle dem menschlichen Verständnis anzugleichen, haben die Wissenschaftler*innen zunächst ein „Lehrer“-Modell darauf trainiert, menschliche Urteile (z. B. Bild-Ähnlichkeitsurteile) nachzuahmen. Dieses Lehrer-Modell hat somit eine Repräsentationsstruktur gelernt, welche als „menschlich“ gelten kann. Anschließend wird diese Repräsentationsstruktur genutzt, um bereits trainierte, leistungsstarke Vision-Foundation-Modelle („Studentenmodelle“) zu verbessern („soft alignment“). Dieses Nachjustieren kostet um mehrere Größenordnungen weniger als das Neutraining der Modelle.
Wichtiger Schritt hin zu einer interpretierbaren, kognitiv fundierten KI
Die „Studenten“-Modelle wurde mit Hilfe von „AligNet“ fein abgestimmt. AligNet ist ein über das „Lehrer“-Modell generierter, großer Bilddatensatz, der Ähnlichkeitsurteile beinhaltet, die denen von Menschen entsprechen. Zur Evaluierung der feinjustierten Studenten-Modelle wurde anschließend der von den Wissenschaftler*innen speziell erhobene, sogenannte „Levels“-Datensatz verwendet. „Für diesen Datensatz führten etwa 500 Probanden eine Bild-Ähnlichkeitsaufgabe durch, die mehrere Ebenen semantischer Abstraktion abdeckt, von ganz groben Kategorisierungen bis hin zu detaillierten Unterscheidungen und Kategorie-Grenzen.
Für jedes Urteil wurden die vollständigen Antwortverteilungen sowie Reaktionszeiten der Probanden erfasst, um mögliche Zusammenhänge mit der Unsicherheit menschlicher Entscheidungen zu erfassen. Der so gewonnene, innovative Datensatz stellt einen neu etablierten Benchmark für die Übereinstimmung zwischen Mensch und Maschine dar und wurde von uns als Open-Source publiziert“, berichtet Frieda Born, Doktorandin bei BIFOLD an der TU Berlin und am Max-Planck-Institut für Bildungsforschung.
Die mit „AligNet“ trainierten Modelle zeigen deutliche Verbesserungen in der Übereinstimmung mit menschlichen Urteilen. Darunter eine bis zu 93,5 Prozent relative Verbesserung bei den grob-semantischen Bewertungen. In manchen Fällen übertreffen sie sogar die Zuverlässigkeit von menschlichen Bewertungen. Darüber hinaus zeigen diese Modelle keinerlei Leistungseinbußen, sondern im Gegenteil, konsistente Leistungssteigerungen (25 bis zu 150 Prozent relative Verbesserung) bei diversen komplexen, praktischen maschinellen Lernaufgaben bei geringen Kosten für Rechenzeit.
Prof. Klaus-Robert Müller: „Unsere Forschung verbindet methodisch kognitive Wissenschaft (menschliche Abstraktionsebenen) mit moderner Deep-Learning-Praxis (sogenannte Vision-Foundation-Modelle) und bildet somit ein Scharnier zwischen dem Konzept der Repräsentation von Menschen und Maschinen. Das ist ein wichtiger Schritt hin zu einer verbesserten, interpretierbaren, kognitiv fundierten KI.“ „Wir schlagen eine effiziente Methode vor, um Computer-Vision-Modellen die hierarchische Struktur menschlichen konzeptuellen Wissens beizubringen. Wir zeigen, dass dies nicht nur die Repräsentationen dieser Modelle menschenähnlicher und damit besser interpretierbar macht, sondern auch ihre Vorhersagekraft und Robustheit bei einer Vielzahl von Bildverarbeitungsaufgaben verbessert“, so Dr. Andrew K. Lampinen von Google DeepMind.
Zusätzliche Informationen:
Publikation:
„Levels“-Dataset:
Weitere Informationen erteilt Ihnen gern:
Prof. Dr. Klaus-Robert Müller
Berlin Institute for the Foundations of Learning and Data (BIFOLD)
Fachgebiet für Maschinelles Lernen
Fakultät IV – Elektrotechnik und Informatik
Technische Universität Berlin
E-Mail:
