Neural networks

In recent years neural computing has emerged as a practical technology, with successful applications im many fields. Historically, many concepts in neural computing have been inspired by studies of biological networks. From the perspective of pattern recognition, neural networks can be regarded as an extension of the many conventional techniques which have been developed over several decades.
The neural network research group at the Institut für Logik, Komplexität und Deduktionssysteme, Prof. Dr. Menzel, has been working for several years on the foundations of neural networks and their application to various domains. This includes the improvement of gradient descent, reinforcement, evolutionary and Bayesian learning techniques and applications such as neural control, time series forecast and algorithmic music composition.

Lebewesen lösen Probleme anders und häufig besser als dies beim klassischen wissenschaftlichen Vorgehen Problem -- mathematisches Modell -- Algorithmus -- Programm geschieht. Aus dem Versuch, hier von der Natur zu lernen und Typisches der Funktionsweise realer Nervensysteme zu übernehmen, hat sich in den letzten Jahren der Ansatz der künstlichen neuronalen Netze entwickelt. Analog zum natürlichen Vorbild setzen sich solche Netze aus vielen einfachen Bausteinen, sogenannten Neuronen, zusammen, die erst im Verbund zu komplexen Leistungen fähig sind. Die Neuronen tauschen über gewichtete Verbindungen Informationen aus und sind in der Lage, diese in nichtlinearer Weise weiterzuverarbeiten. Die Verbindungen können durch ein Lernverfahren modifiziert werden. Während der Lernphase werden aus Beispieldaten Zusammenhänge extrahiert und gespeichert. Nach dem Training kann das Netz auf neue, unbekannte Situationen angewendet werden - das gelernte Wissen wird verallgemeinert (Generalisierung).

Die wichtigsten Anwendungsgebiete für neuronale Netze sind Probleme, die zur Lösung eine nichtlineare Modellbildung voraussetzen. Leistungsfähige, auf neuronalen Netzen basierende Problemlösungen gibt es im Bereich der Muster- und Spracherkennung, für Prognoseprobleme, zur Regelung technischer Prozesse sowie für vielfältige Klassifikationsprobleme.

In principle two learning situations can be distinguished which differ in the requirements for the training methods used: Learning from given examples (supervised learning) where the methods mainly aim at a good generalization of the neural network and at fast and robust learning. The projects deal with automatic selection of relevant features, methods for committee formation and methods for model selection. When learning from rewards (reinforcement learning) the neural network only gets a feedback about success or failure while trying to solve the problem. From this experience it has to generate autonomously a good problem solving strategy. The learning algorithms developed here are based on optimization methods from operations research. Using these algorithms with a minimum of explicit training information it is possible to find astonishingly good solutions.

Beim Einsatz neuronaler Netze läßt sich die Frage nach der geeigneten Größe des Netzes nicht in einfacher Weise beantworten. Die Kombination von Lernen und Evolution hat sich als geeignete Methode erwiesen, die Suche nach der richtigen Architektur effizient zu automatisieren. Dabei werden analog zum natürlichen Vorbild durch einen Selektionsdruck möglichst kleine und leistungsfähige Netze erzeugt.

Gemeinsam mit Neurobiologen der Freien Universität Berlin entwickeln wir mit künstlichen neuronalen Netzen Modelle für Gehirnstrukturen. Im Vordergrund steht dabei das Geruchssystem von Insekten. Die entwickelten Modelle erklären zum einen, wie im biologischen Vorbild Kodierung und Lernen zusammenwirken. Zum anderen sind diese Verfahren gute Vorbilder für technische Anwendungen, bei denen adaptiv geeignete Kodierungen und Strategien entwickelt werden müssen, um in einer unbekannten komplexen Umgebung Aktionen zu steuern.

Das Zusammenspiel von Ursache und Wirkung bei Finanzzeitreihen ist sehr komplex, daher ist eine Prognose des künftigen Kurses sehr schwierig. Neuronale Netze sind aufgrund der nichtlinearen Funktionsweise in der Lage, komplexe Strukturen des Marktes zu erkennen, indem funktionale Zusammenhänge zwischen den technischen Indikatoren und dem zukünftigen Schlußkurs auf Basis der historischen Daten eingelernt werden. Als Eingabe werden technische Indikatoren verwendet, d.h. Kennzahlen, die aus der vergangenen Kursentwicklung berechnet werden. Für eine große deutsche Bank haben wir neuronale Netze zur täglichen Prognose des Dollarkurses und des Bundfuturekurses entwickelt. Beide Systeme werden erfolgreich an der Börse eingesetzt.

When dealing with complex nonlinear systems as, for example, combustion engines or process engineering problems, classical analytic control methods quickly come to the limits of their practical applicability. In contrast to that neural control methods can learn from experience and are applicable to nonlinear problems. In analogy to the biological model the neural controller learns to gradually improve its behaviour based on former control interactions. Current research is carried out in the field of learning algorithms that allow the autonomous acquisition of a high quality control behaviour. This is achieved even if only the control goal itself is specified but no model of the controlled system is available.

Die Modellierung von Musikstrukturen mit regelbasierten Verfahren reicht zwar zur Beschreibung allgemeiner Kompositionsprinzipien aus, ist jedoch nicht geeignet, historische oder individuelle Kompositionsstile zu charakterisieren. Neuronale Netze hingegen können durch ihr adaptives Verhalten stiltypische Wendungen direkt aus Musikbeispielen lernen und das intuitive Erfassen musikalischer Strukturen nachbilden. Damit sind sie in der Lage, auch in unerwarteten Situationen überzeugende Lösungen zu produzieren, z.B. neue Melodien im Stil eines Komponisten zu harmonisieren und mit melodischen Umspielungen zu versehen.