Bearbeiter: A. Bovier
Kooperation: V. Gayrard, P. Picco (CNRS--Marseille)
Beschreibung der Forschungsarbeit:
Unter dem Schlagwort `Neuronale Netze' finden gegenwärtig eine Vielzahl komplexer Systeme und Modelle großes Interesse, in denen kognitive Funktionen des Gehirns oder Teile desselben, insbesondere Lernen, Speichern und Erkennen modelliert oder imitiert werden. Dabei erwartet einerseits die Neurophysiologie neue Einsichten in die Funktionweise des Gehirns, andererseits ergibt sich ein bedeutendes Anwendungspotential aus der Implementierung derartiger Modelle zur Herstellung `intelligenter' Komponenten.
Charakteristisch für diese Modelle ist, daß ihre Funktion sich aus dem Zusammenwirken extrem vieler und extrem einfacher miteinander wechselwirkender Komponenten ergibt. Von daher gliedert sich ihre Untersuchung methodisch in natürlicher Weise in die Statistische Mechanik und die Theorie wechselwirkender Teilchensysteme ein. Jedoch sind hier, im Gegensatz zu den klassischen Modellen der Physik, die Wechselwirkungen selbst nicht einfach, sondern aus der jeweiligen Problemstellung heraus so komplex, daß eine vollständige analytische Behandlung unpraktikabel ist und man sich daher auf das Herausarbeiten `typischer' und von der jeweiligen speziellen Realisierung unabhängiger Eigenschaften konzentrieren muß. Dies entspricht genau der Situation, die in der statistischen Mechanik ungeordneter Systeme vorliegt.
Wenngleich dieses Gebiet in der letzten Dekade durch den Einsatz numerischer Simulation und heuristischer Methoden der theoretischen Physik eine stürmische Entwicklung erlebt hat, gibt es erst seit kurzem Ansätze zu einer mathematisch befriedigenden analytischen Behandlung solcher Systeme. Ziel unseres Forschungsprojektes auf diesem Gebiet ist die Entwicklung eines diesen Problemen angemessenen mathematischen Apparates und dessen Anwendung auf konkrete Modelle. Dabei konzentrieren wir uns derzeit auf das Beispiel des klassischen Hopfield Modells sowie einiger interessanter Varianten.
Das Hopfield Modell ist das prototypische Modell eines assoziativen Speichers. Die einzelnen Komponenten sind durch zwei-Zustands Neuronen gegeben, die über dentritische Kopplungen miteinander in Verbindung stehen, in deren Stärke eine bestimmte Anzahl p von gespeicherten oder `gelernten' Mustern oder Bildern, die binär als Zustände des Systems der Neuronen gegeben sind, gemäß der Hebb'schen Lernregel kodiert sind. Diese Wechselwirkung zwischen Neuronen kann durch eine Hamilton- oder Energie-Funktion beschrieben werden. Die Funktionsweise des `Erkennens' besteht nun darin, daß nach Vorgabe eines Anfangszustandes ein Prozess auf dem neuronalen Zustandsraum abläuft, der die Energiefunktion stochastisch oder deterministisch minimiert. Das Verhalten der Trajektorien über `lange' Zeiten soll dann die Zuordnung des Anfangszustandes zu einem der gespeicherten Muster erlauben. Vom Standpunkt der statistischen Mechanik entspricht dem eine eins-zu-eins Zuordnung zwischen Gibbszuständen und gespeicherten Mustern. Eine bewerkenswerte Eigenschaft dieses Modells, die bereits Hopfield in numerischen Untersuchungen feststellte, ist die Existenz einer scharfen Obergrenze der Zahl der gespeicherten Muster p als Funktion der Zahl der Neuronen N, oberhalb derer der beschriebene Prozess nicht mehr funktioniert (`Speicherkapazität'). Typische Fragestellungen sind etwa die Abschätzung der Speicherkapazität sowie deren Abhängigkeit von Netzwerkarchitektur bzw. Robustheit gegen Beschädigung und Fehler. Eine Übersicht über mathematische Resultate in dieser Richtung ist in [1] gegeben.
Im Berichtsjahr konnte in [2], aufbauend auf den Ergebnissen in [3], erstmals eine rigorose Konstruktion der Gibbszustände des Hopfield-Modells bei linearem Skalieren der Musterzahl mit der Systemgröße gegeben werden. Dabei waren scharfe Abschätzungen an die zufälligen Fluktuationen thermodynamischer Funktionen mit Martingalmethoden ein entscheidendes neues Hilfsmittel [4]. Im weiteren wurden Fragen der für die Dynamik relevanten großen Abweichungen untersucht. Dabei wurde insbesondere auch eine Modellklasse (`Kac-Hopfield Modell') betrachtet, in der eine reguläre partielle Vernetzung der Neuronen angenommen wird [5].
Förderung: EU, HCM-Projekt ,,Stochastic modelling of large disordered systems``
Projektliteratur: