Parallelisierung mit definierter Resultatsreihenfolge

vorhergehende Artikel in: Java Komponenten
11.10.2015

Bereits einige Zeit vor Callable, Future und den ganzen anderen neuen interessanten Klassen im Zusammenhang mit Threads machte ich mir Gedanken über die Möglichkeit, Threads parallel auszuführen, ihre Ergebnisse aber in ihrer Startreihenfolge präsentiert zu bekommen. Nachdem ich die praktische Umsetzung jetzt in dWb+ integriert habe hier die technischen Grundlagen

Herausforderung

Es geht dabei darum, Arbeiten parallel auszuführen, die viel Wartezeit beinhalten (Beispiel: Download via DSL-1000), aber in ihrer Gesamtheit lange dauern. Um im Beispiel zu bleiben: Man könnte mehrere Downloads parallel starten und auf ihre jeweiligen Ergebnisse warten.

Ist man aber auf die Ergebnisse in der Reihenfolge angewiesen, in der die parallelen Bearbeitungen gestartet wurden, reichen Threads nicht aus - bei denen ist es nämlich nicht sicher, welcher zuerst und welcher danach fertig wird.

(Meine) Lösung

Ich habe ein Interface namens Workload definiert, das im Wesentlichen eine Erweiterung des Interface Runnable darstellt, aber ein weiteres Runnable liefert - ich nenne das das Sequential.

Eine Klasse, die die Arbeit damit unterstützt, ist der ParallelSequentialManager. Der tut im Prinzip nichts anderes, als die Workloads in Threads zu packen und diese zu starten. Gleichzeitig läuft in ihm ein Thread, der sich aus einer Queue Runnables holt und diese abarbeitet. Diese Runnables warten wiederum auf einen join eines anderen Runnables - das ist der eigentliche Workload.

Damit funktioniert die ganze Sache wie folgt:

  • Workload 1 wird gestartet
  • Sequential 1 wird geholt und ausgeführt, wartet auf join von Workload 1
  • Workload 2 wird gestartet, Sequential 2 wird in Queue eingefügt
  • Workload 3 wird gestartet, Sequential 3 wird in Queue eingefügt
  • Workload 2 wird beendet
  • Workload 1 wird beendet - damit wird Sequential 1 fertig ausgeführt
  • Sequential 2 wird aus der Queue geholt und ausgeführt
  • Da Workload 2 bereits beendet, wird Sequential 2 sofort fertig ausgeführt
  • ...
Unten findet man den Code von Workload und ParallelSequentialManager angehängt.

Lizenz
Workload
ParallelSequentialManager

Alle Artikel rss Wochenübersicht Monatsübersicht Github Repositories Gitlab Repositories Mastodon Über mich home xmpp


Vor 5 Jahren hier im Blog

  • CI/CD mit shellcheck

    13.10.2019

    Ich habe mich entschlossen, in meinen diversen Shell-Projekten shellcheck als Mittel zur Qualitätssicherung einzusetzen.

    Weiterlesen...

Neueste Artikel

  • Linux-System SBOM visualisiert als Graph

    In meinem $dayjob kam neulich die Frage auf, ob es möglich wäre, die aktuelle Softwareinstallation eines Linux-Systems als Software Bill of Materials (SBOM) zu exportieren.

    Weiterlesen...
  • Visualisierung von Datenmodellen als gerichtete Graphen

    Ich habe - motiviert durch meine Experimente zur Visualisierung von Paketabhängigkeiten in Linux-Installationen als interaktive Graphen - versucht, relationale Datenmodelle in ähnlicher Form zu visualisieren und dazu zwei Plugins für die sQLshell geschrieben.

    Weiterlesen...
  • Carl Sagan - Christmas Lectures at the Royal Institution

    Die Royal Institution hat in ihren Schätzen gegraben und die Christmas Lectures von Carl Sagan auf Youtube nochmals veröffentlicht. Meiner Ansicht nach unbedingt lohnenswert für alle, die Englisch verstehen!

    Weiterlesen...

Manche nennen es Blog, manche Web-Seite - ich schreibe hier hin und wieder über meine Erlebnisse, Rückschläge und Erleuchtungen bei meinen Hobbies.

Wer daran teilhaben und eventuell sogar davon profitieren möchte, muß damit leben, daß ich hin und wieder kleine Ausflüge in Bereiche mache, die nichts mit IT, Administration oder Softwareentwicklung zu tun haben.

Ich wünsche allen Lesern viel Spaß und hin und wieder einen kleinen AHA!-Effekt...

PS: Meine öffentlichen GitHub-Repositories findet man hier - meine öffentlichen GitLab-Repositories finden sich dagegen hier.