Parallelisierung mit definierter Resultatsreihenfolge

vorhergehende Artikel in: Java Komponenten
11.10.2015

Bereits einige Zeit vor Callable, Future und den ganzen anderen neuen interessanten Klassen im Zusammenhang mit Threads machte ich mir Gedanken über die Möglichkeit, Threads parallel auszuführen, ihre Ergebnisse aber in ihrer Startreihenfolge präsentiert zu bekommen. Nachdem ich die praktische Umsetzung jetzt in dWb+ integriert habe hier die technischen Grundlagen

Herausforderung

Es geht dabei darum, Arbeiten parallel auszuführen, die viel Wartezeit beinhalten (Beispiel: Download via DSL-1000), aber in ihrer Gesamtheit lange dauern. Um im Beispiel zu bleiben: Man könnte mehrere Downloads parallel starten und auf ihre jeweiligen Ergebnisse warten.

Ist man aber auf die Ergebnisse in der Reihenfolge angewiesen, in der die parallelen Bearbeitungen gestartet wurden, reichen Threads nicht aus - bei denen ist es nämlich nicht sicher, welcher zuerst und welcher danach fertig wird.

(Meine) Lösung

Ich habe ein Interface namens Workload definiert, das im Wesentlichen eine Erweiterung des Interface Runnable darstellt, aber ein weiteres Runnable liefert - ich nenne das das Sequential.

Eine Klasse, die die Arbeit damit unterstützt, ist der ParallelSequentialManager. Der tut im Prinzip nichts anderes, als die Workloads in Threads zu packen und diese zu starten. Gleichzeitig läuft in ihm ein Thread, der sich aus einer Queue Runnables holt und diese abarbeitet. Diese Runnables warten wiederum auf einen join eines anderen Runnables - das ist der eigentliche Workload.

Damit funktioniert die ganze Sache wie folgt:

  • Workload 1 wird gestartet
  • Sequential 1 wird geholt und ausgeführt, wartet auf join von Workload 1
  • Workload 2 wird gestartet, Sequential 2 wird in Queue eingefügt
  • Workload 3 wird gestartet, Sequential 3 wird in Queue eingefügt
  • Workload 2 wird beendet
  • Workload 1 wird beendet - damit wird Sequential 1 fertig ausgeführt
  • Sequential 2 wird aus der Queue geholt und ausgeführt
  • Da Workload 2 bereits beendet, wird Sequential 2 sofort fertig ausgeführt
  • ...
Unten findet man den Code von Workload und ParallelSequentialManager angehängt.

Lizenz
Workload
ParallelSequentialManager

Alle Artikel rss Wochenübersicht Monatsübersicht Github Repositories Gitlab Repositories Mastodon Über mich home xmpp


Vor 5 Jahren hier im Blog

  • Fährnisse des Buildprozesses unter Windows

    17.07.2019

    Nachdem ich begonnen hatte, mich mit der Beschleunigung der Berechnung des Mandelbrot-Fraktals unter Zuhilfenahme der Shadereinheiten in Graphikkarten zu beschäftigen und erste Erfolge feiern konnte, wollte ich das mal auf einer richtigen Graphikkarte ausprobieren...

    Weiterlesen...

Neueste Artikel

  • Datenvalidierung UTF8 mit BiDi-Steuerzeichen (TrojanSource 2.0)

    Ich bin heute nochmal inspiriert worden, weiter über die Trojan Source Vulnerability nachzudenken. Meiner Meinung nach bestehen hier noch Probleme - speziell bei Nutzereingaben oder Daten, die über externe Schnittstellen ampfangen werden.

    Weiterlesen...
  • OpenStreetMap Navi als Docker-Container

    Ich habe die auf OpenStreetMap basierende OpenSource Navigationslösung Graphhopper in einen Docker-Container gepackt und als neuestes Mitglied in meinem Docker-Zoo willkommen geheißen.

    Weiterlesen...
  • SQL-Aggregatfunktionen in SQLite als BeanShell-Scripts

    Ich habe neulich über eine Möglichkeit berichtet, SQLite mittels der sQLshell und Beanshell-Skripten um SQL-Funktionen zu erweitern. In diesem Artikel versprach ich auch, über eine solche Möglichkeit für Aggregatfunktionen zu berichten.

    Weiterlesen...

Manche nennen es Blog, manche Web-Seite - ich schreibe hier hin und wieder über meine Erlebnisse, Rückschläge und Erleuchtungen bei meinen Hobbies.

Wer daran teilhaben und eventuell sogar davon profitieren möchte, muß damit leben, daß ich hin und wieder kleine Ausflüge in Bereiche mache, die nichts mit IT, Administration oder Softwareentwicklung zu tun haben.

Ich wünsche allen Lesern viel Spaß und hin und wieder einen kleinen AHA!-Effekt...

PS: Meine öffentlichen GitHub-Repositories findet man hier - meine öffentlichen GitLab-Repositories finden sich dagegen hier.