Growing Cell Structures - Grenzen

vorhergehende Artikel in: Rants
12.03.2017

Nachdem ich mich über den Jahreswechsel wieder einmal verstärkt mit meinem Projekt des Lernens verschiedener Programmiersprachen mittels komplexerer Beispiele gewidmet habe, gewann ich dabei - für mich - neue Einsichten:

Den Algorithmus hinter diesem Verfahren erklär ich mal hier nicht - den kann man in einschlägigen Büchern, Konferenzbeiträgen oder im Netz finden. Ich implementierte zunächst einmal völlig abstrakt das Netz aus m n-dimensionalen Simplices. Dazu schuf ich mir einige Unittests und die schlugen fehl.

Nachdem ich die Ursache dessen zunächst bei mir gesucht habe, stellte sich heraus, dass die Ursache dafür gar nicht bei mir lag: Die Operationen, die im originalen Paper von Fritzke für das Hinzufügen und Entfernen von Knoten genannt werden, sind nicht invers zueinander: Das Einfügen eines Knotens unterteilt alle Simplices, die die nunmehr geteilte Kante inkorporierten in jeweils 2 weitere, so dass mit jedem neuen Knoten eine Menge an neuen Simplices entsteht. Das Entfernen von Simplices jedoch versucht nicht, aus den übrig gebliebenen Resten wieder konsistente Simplices zu erzeugen: Kanten, die nicht mehr zu einem Simplex gehören, werden ebenso entfernt wie Knoten, die zu keiner Kante mehr gehören. Dadurch ist es aber möglich, dass das Entfernen von Knoten das gesamte Netzwerk zerstört. Genau das war der Grund für das Fehlschlagen meiner Unit-Tests.

Nun kann man dieses Verhalten nicht einfach ändern - dieses beschriebene Vorgehen sorgt dafür, dass das Netz in mehrere Teile zerfallen kann - Voraussetzung für das Feature, dass auch Eingaberäume ideal durch das Netzwerk abgebildet werden, in denen die Verteilung der Muster nicht-kontinuierlich ist.

Das führte mich zu einem weiteren Gedankenexperiment: Nach einem Zerfall des Netzwerkes ist es tatsächlich so, dass die beiden Teilnetzwerke durch den Lernalgorithmus sich einander durchdringen. Damit würden dann Neuronen im Eingangsraum eng beieinanderliegen, die in der Netzwerktopologie nicht nur nicht eng benachbart wären - sie hätten überhaupt keine Nachbarschaftsbeziehung mehr! Das Feature der topologieerhaltenden Abbildung - etwa bei Kohonens SOM - ist ja gerade, dass die Aktivierung benachbarter Zellen oder Knoten darauf hinweist, dass die Eingaben, die zu dieser Aktivierung geführt haben, im Eingaberaum ebenfalls eng benachbart und damit einander ähnlich sind.

Die Growing Cell Structures von Fritzke können nach dem Zerfall in mehrere Teilnetze dies nur noch lokal von sich behaupten.

Alle Artikel rss Wochenübersicht Monatsübersicht Github Repositories Gitlab Repositories Mastodon Über mich home xmpp


Vor 5 Jahren hier im Blog

  • Mandelbrot-Sets mittels Shadern berechnen

    17.05.2019

    Nachdem ich in den letzten verregneten Tagen auf Youtube in den Videos von Numberphile versunken bin, hat mich eines davon angestachelt, mich selbst mit dem Mandelbrotset zu beschäftigen. Als ich dann noch Code fand, der behauptete, das auf einer Graphikkarte mittels Shadern berechnen zu können, war es um mich geschehen...

    Weiterlesen...

Neueste Artikel

  • Erste Vor-Version eines Gis-Plugin für die sQLshell

    Wie bereits in einem früheren Artikel erwähnt plane ich, demnächst ein Plugin für die sQLshell anzubieten, das eine Visualisierung von Daten mit räumlichem Bezug im Stil eines Geoinformationssystems erlaubt.

    Weiterlesen...
  • bad-certificates Version 2.1.0

    Das bereits vorgestellte Projekt zur automatisierten Erzeugung von Zertifikaten mit allen möglichen Fehlern hat eine Erweiterung erfahren und verfügt über ein Partnerprojekt - beide sind nunmehr in der Version 2.1.0 freigegeben

    Weiterlesen...
  • SQLite als Geodatenbank

    Wie bereits in einem früheren Artikel beschrieben treibe ich derzeit Anstrengungen voran, die sQLshell attraktiver für Nutzer zu machen, die mit Geodatenbanken arbeiten.

    Weiterlesen...

Manche nennen es Blog, manche Web-Seite - ich schreibe hier hin und wieder über meine Erlebnisse, Rückschläge und Erleuchtungen bei meinen Hobbies.

Wer daran teilhaben und eventuell sogar davon profitieren möchte, muß damit leben, daß ich hin und wieder kleine Ausflüge in Bereiche mache, die nichts mit IT, Administration oder Softwareentwicklung zu tun haben.

Ich wünsche allen Lesern viel Spaß und hin und wieder einen kleinen AHA!-Effekt...

PS: Meine öffentlichen GitHub-Repositories findet man hier - meine öffentlichen GitLab-Repositories finden sich dagegen hier.