Neuronale Netze

In den letzten Jahren hat sich die Neuroinformatik durch erfolgreiche Anwendungen in vielen Gebieten als eine praktische Technologie etabliert. Historisch betrachtet sind viele Konzepte der Neuroinformatik vom Studium biologischer Netze inspiriert. Aus der Perspektive der Mustererkennung lassen sich neuronale Netze als eine Erweiterung vieler konventioneller Techniken auffassen, die in den vergangenen Jahrzehnten entwickelt worden sind.
Die wichtigsten Anwendungsgebiete für neuronale Netze sind Probleme, die zur Lösung eine nichtlineare Modellbildung voraussetzen. Leistungsfähige, auf neuronalen Netzen basierende Problemlösungen gibt es im Bereich der Muster- und Spracherkennung, für Prognoseprobleme, zur Regelung technischer Prozesse sowie für vielfältige Klassifikationsprobleme.
Die Forschungsgruppe Neuronale Netze am Institut für Logik, Komplexität und Deduktionssysteme, Prof. Dr. Menzel, arbeitet seit mehreren Jahren an den Grundlagen neuronaler Netze und deren Anwendung in verschiedenen Bereichen. Das sind unter anderem die Verbesserung von Gradientenabstiegs-, Reinforcement-, evolutionären und Bayesschen Lernverfahren sowie Anwendungen wie neuronale Regelungen, Zeitreihenvorhersage und algorithmische Musikkomposition.

Lebewesen lösen Probleme anders und häufig besser als dies beim klassischen wissenschaftlichen Vorgehen Problem -- mathematisches Modell -- Algorithmus -- Programm geschieht. Aus dem Versuch, hier von der Natur zu lernen und Typisches der Funktionsweise realer Nervensysteme zu übernehmen, hat sich in den letzten Jahren der Ansatz der künstlichen neuronalen Netze entwickelt. Analog zum natürlichen Vorbild setzen sich solche Netze aus vielen einfachen Bausteinen, sogenannten Neuronen, zusammen, die erst im Verbund zu komplexen Leistungen fähig sind. Die Neuronen tauschen über gewichtete Verbindungen Informationen aus und sind in der Lage, diese in nichtlinearer Weise weiterzuverarbeiten. Die Verbindungen können durch ein Lernverfahren modifiziert werden. Während der Lernphase werden aus Beispieldaten Zusammenhänge extrahiert und gespeichert. Nach dem Training kann das Netz auf neue, unbekannte Situationen angewendet werden - das gelernte Wissen wird verallgemeinert (Generalisierung).

Prinzipiell lassen sich hier zwei Lernsituationen unterscheiden, die jeweils unterschiedliche Anforderungen an die verwendeten Trainingsmethoden stellen: Das Lernen aus vorgegebenen Beispielen, bei dem die Verfahren vor allem auf ein schnelles und robustes Lernen und eine gute Generalisierungsleistung des neuronalen Netzes abzielen. Die Arbeiten beschäftigen sich u.a. mit der automatischen Festlegung relevanter Eingabemerkmale, mit Verfahren zur Komiteebildung und Verfahren zur Modellselektion. Beim Lernen aus Bewertungen (Reinforcement Learning) bekommt das neuronale Netz lediglich eine Rückmeldung über Erfolg oder Mißerfolg bei der Problemlösung und muß aus dieser Erfahrung selbständig eine gute Lösungsstrategie entwickeln. Die hier entwickelten Lernverfahren basieren auf Optimierungsmethoden aus dem Operation Research. Damit können mit einem Minimum an Trainingsvorgabe erstaunlich gute Lösungen gefunden werden.

Beim Einsatz neuronaler Netze läßt sich die Frage nach der geeigneten Größe des Netzes nicht in einfacher Weise beantworten. Die Kombination von Lernen und Evolution hat sich als geeignete Methode erwiesen, die Suche nach der richtigen Architektur effizient zu automatisieren. Dabei werden analog zum natürlichen Vorbild durch einen Selektionsdruck möglichst kleine und leistungsfähige Netze erzeugt.

Gemeinsam mit Neurobiologen der Freien Universität Berlin entwickeln wir mit künstlichen neuronalen Netzen Modelle für Gehirnstrukturen. Im Vordergrund steht dabei das Geruchssystem von Insekten. Die entwickelten Modelle erklären zum einen, wie im biologischen Vorbild Kodierung und Lernen zusammenwirken. Zum anderen sind diese Verfahren gute Vorbilder für technische Anwendungen, bei denen adaptiv geeignete Kodierungen und Strategien entwickelt werden müssen, um in einer unbekannten komplexen Umgebung Aktionen zu steuern.

Das Zusammenspiel von Ursache und Wirkung bei Finanzzeitreihen ist sehr komplex, daher ist eine Prognose des künftigen Kurses sehr schwierig. Neuronale Netze sind aufgrund der nichtlinearen Funktionsweise in der Lage, komplexe Strukturen des Marktes zu erkennen, indem funktionale Zusammenhänge zwischen den technischen Indikatoren und dem zukünftigen Schlußkurs auf Basis der historischen Daten eingelernt werden. Als Eingabe werden technische Indikatoren verwendet, d.h. Kennzahlen, die aus der vergangenen Kursentwicklung berechnet werden. Für eine große deutsche Bank haben wir neuronale Netze zur täglichen Prognose des Dollarkurses und des Bundfuturekurses entwickelt. Beide Systeme werden erfolgreich an der Börse eingesetzt.

Bei komplexen nichtlinearen Systemen - wie beispielsweise Verbrennungsmotoren oder verfahrenstechnischen Prozessen - stoßen bisher gebräuchliche analytische Steuerungsmethoden rasch an die Grenzen ihrer praktischen Anwendbarkeit. Im Gegensatz dazu setzen neuronale Steuerungen auf Nichtlinearität und Lernfähigkeit. Analog dem biologischen Vorbild lernt die neuronale Steuerung aus der Erfahrung früherer Vorgänge, ihr Verhalten schrittweise zu verbessern. Aktueller Forschungsschwerpunkt sind Lernverfahren, die die eigenständige Akquisition eines hochwertigen Steuerungsverhalten ermöglichen - auch wenn a priori lediglich das zu erreichende Steuerungsziel, jedoch keine Informationen über das zu steuernde System selbst bekannt sind.

Die Modellierung von Musikstrukturen mit regelbasierten Verfahren reicht zwar zur Beschreibung allgemeiner Kompositionsprinzipien aus, ist jedoch nicht geeignet, historische oder individuelle Kompositionsstile zu charakterisieren. Neuronale Netze hingegen können durch ihr adaptives Verhalten stiltypische Wendungen direkt aus Musikbeispielen lernen und das intuitive Erfassen musikalischer Strukturen nachbilden. Damit sind sie in der Lage, auch in unerwarteten Situationen überzeugende Lösungen zu produzieren, z.B. neue Melodien im Stil eines Komponisten zu harmonisieren und mit melodischen Umspielungen zu versehen.