Growing Cell Structures - Grenzen

vorhergehende Artikel in: Rants
12.03.2017

Nachdem ich mich über den Jahreswechsel wieder einmal verstärkt mit meinem Projekt des Lernens verschiedener Programmiersprachen mittels komplexerer Beispiele gewidmet habe, gewann ich dabei - für mich - neue Einsichten:

Den Algorithmus hinter diesem Verfahren erklär ich mal hier nicht - den kann man in einschlägigen Büchern, Konferenzbeiträgen oder im Netz finden. Ich implementierte zunächst einmal völlig abstrakt das Netz aus m n-dimensionalen Simplices. Dazu schuf ich mir einige Unittests und die schlugen fehl.

Nachdem ich die Ursache dessen zunächst bei mir gesucht habe, stellte sich heraus, dass die Ursache dafür gar nicht bei mir lag: Die Operationen, die im originalen Paper von Fritzke für das Hinzufügen und Entfernen von Knoten genannt werden, sind nicht invers zueinander: Das Einfügen eines Knotens unterteilt alle Simplices, die die nunmehr geteilte Kante inkorporierten in jeweils 2 weitere, so dass mit jedem neuen Knoten eine Menge an neuen Simplices entsteht. Das Entfernen von Simplices jedoch versucht nicht, aus den übrig gebliebenen Resten wieder konsistente Simplices zu erzeugen: Kanten, die nicht mehr zu einem Simplex gehören, werden ebenso entfernt wie Knoten, die zu keiner Kante mehr gehören. Dadurch ist es aber möglich, dass das Entfernen von Knoten das gesamte Netzwerk zerstört. Genau das war der Grund für das Fehlschlagen meiner Unit-Tests.

Nun kann man dieses Verhalten nicht einfach ändern - dieses beschriebene Vorgehen sorgt dafür, dass das Netz in mehrere Teile zerfallen kann - Voraussetzung für das Feature, dass auch Eingaberäume ideal durch das Netzwerk abgebildet werden, in denen die Verteilung der Muster nicht-kontinuierlich ist.

Das führte mich zu einem weiteren Gedankenexperiment: Nach einem Zerfall des Netzwerkes ist es tatsächlich so, dass die beiden Teilnetzwerke durch den Lernalgorithmus sich einander durchdringen. Damit würden dann Neuronen im Eingangsraum eng beieinanderliegen, die in der Netzwerktopologie nicht nur nicht eng benachbart wären - sie hätten überhaupt keine Nachbarschaftsbeziehung mehr! Das Feature der topologieerhaltenden Abbildung - etwa bei Kohonens SOM - ist ja gerade, dass die Aktivierung benachbarter Zellen oder Knoten darauf hinweist, dass die Eingaben, die zu dieser Aktivierung geführt haben, im Eingaberaum ebenfalls eng benachbart und damit einander ähnlich sind.

Die Growing Cell Structures von Fritzke können nach dem Zerfall in mehrere Teilnetze dies nur noch lokal von sich behaupten.

Alle Artikel rss Wochenübersicht Monatsübersicht Github Repositories Gitlab Repositories Mastodon Über mich home xmpp


Vor 5 Jahren hier im Blog

  • Testdatengeneratoren als Microservices mit Docker

    02.11.2019

    Ich habe die verschiedenen Testdatengeneratoren mittels Microservices über HTTP zugänglich gemacht, um sie unabhängig von der verwendeten Programmiersprache und/ oder Version (Java 11) verwenden zu können.

    Weiterlesen...

Neueste Artikel

  • Gif-Animationen in Java

    Nachdem ich neulich auf einen sehr interessanten Link gestoßen war, habe ich mich dafür interessiert, ob es möglich wäre - und falls ja: wie einfach - GIF-Animationen aus Java heraus zu erzeugen - und zwar mit Bordmitelln und ohne Zuhilfenahme externer Biblioheken

    Weiterlesen...
  • LinkCollections 2024 VIII

    Nach der letzten losen Zusammenstellung (für mich) interessanter Links aus den Tiefen des Internet von 2024 folgt hier gleich die nächste:

    Weiterlesen...
  • Generator für syntaktisch korrekten Python Code

    Nachdem es nun bereits seit einiger Zeit ein wenig stiller um meine diversen Generatoren für Testdaten geworden ist, habe ich über den Feiertag in Thüringen einen neuen begonnen.

    Weiterlesen...

Manche nennen es Blog, manche Web-Seite - ich schreibe hier hin und wieder über meine Erlebnisse, Rückschläge und Erleuchtungen bei meinen Hobbies.

Wer daran teilhaben und eventuell sogar davon profitieren möchte, muß damit leben, daß ich hin und wieder kleine Ausflüge in Bereiche mache, die nichts mit IT, Administration oder Softwareentwicklung zu tun haben.

Ich wünsche allen Lesern viel Spaß und hin und wieder einen kleinen AHA!-Effekt...

PS: Meine öffentlichen GitHub-Repositories findet man hier - meine öffentlichen GitLab-Repositories finden sich dagegen hier.