Nachdem ich mich über den Jahreswechsel wieder einmal verstärkt mit meinem Projekt des Lernens verschiedener Programmiersprachen mittels komplexerer Beispiele gewidmet habe, gewann ich dabei - für mich - neue Einsichten:

Den Algorithmus hinter diesem Verfahren erklär ich mal hier nicht - den kann man in einschlägigen Büchern, Konferenzbeiträgen oder im Netz finden. Ich implementierte zunächst einmal völlig abstrakt das Netz aus m n-dimensionalen Simplices. Dazu schuf ich mir einige Unittests und die schlugen fehl.

Nachdem ich die Ursache dessen zunächst bei mir gesucht habe, stellte sich heraus, dass die Ursache dafür gar nicht bei mir lag: Die Operationen, die im originalen Paper von Fritzke für das Hinzufügen und Entfernen von Knoten genannt werden, sind nicht invers zueinander: Das Einfügen eines Knotens unterteilt alle Simplices, die die nunmehr geteilte Kante inkorporierten in jeweils 2 weitere, so dass mit jedem neuen Knoten eine Menge an neuen Simplices entsteht. Das Entfernen von Simplices jedoch versucht nicht, aus den übrig gebliebenen Resten wieder konsistente Simplices zu erzeugen: Kanten, die nicht mehr zu einem Simplex gehören, werden ebenso entfernt wie Knoten, die zu keiner Kante mehr gehören. Dadurch ist es aber möglich, dass das Entfernen von Knoten das gesamte Netzwerk zerstört. Genau das war der Grund für das Fehlschlagen meiner Unit-Tests.

Nun kann man dieses Verhalten nicht einfach ändern - dieses beschriebene Vorgehen sorgt dafür, dass das Netz in mehrere Teile zerfallen kann - Voraussetzung für das Feature, dass auch Eingaberäume ideal durch das Netzwerk abgebildet werden, in denen die Verteilung der Muster nicht-kontinuierlich ist.

Das führte mich zu einem weiteren Gedankenexperiment: Nach einem Zerfall des Netzwerkes ist es tatsächlich so, dass die beiden Teilnetzwerke durch den Lernalgorithmus sich einander durchdringen. Damit würden dann Neuronen im Eingangsraum eng beieinanderliegen, die in der Netzwerktopologie nicht nur nicht eng benachbart wären - sie hätten überhaupt keine Nachbarschaftsbeziehung mehr! Das Feature der topologieerhaltenden Abbildung - etwa bei Kohonens SOM - ist ja gerade, dass die Aktivierung benachbarter Zellen oder Knoten darauf hinweist, dass die Eingaben, die zu dieser Aktivierung geführt haben, im Eingaberaum ebenfalls eng benachbart und damit einander ähnlich sind.

Die Growing Cell Structures von Fritzke können nach dem Zerfall in mehrere Teilnetze dies nur noch lokal von sich behaupten.

Kommentar hinzufügen (via ) Kommentare ansehen (via )

Kommentar hinzufügen (via ) Kommentare ansehen (via )