Konverter : WARC -> GraphViz

vorhergehende Artikel in: Java Komponenten Git(lab|hub)
23.10.2021

Ich wurde durch eine Frage in meiner Mastodon-Blase auf ein mir bis dato unbekanntes Dateiformat aufmerksam gemacht und dadurch neugierig...

Der Post, der letztlich alles auslöste fragte nach einer Möglichkeit, aus einer WARC-Datei eine SiteMap im Graphviz-Format zu erstellen.

Da ich bereits aus den Quelltexten meines eigenen Static Site Generators eine SiteMap erstelle, wurde ich neugierig und las erst einmal einige Artikel zu den entsprechenden Themen, folgte einigen Links und sah mir einige Suchergebnisse an. Das brachte mich zu der Entscheidung, mich selbst einmal an so etwas versuchen zu wollen. Inzwischen ist das Projekt auf Github veröffentlicht.

WARC-Dateien können zum Beispiel per wget erzeugt werden. Ein mögliches Kommando, dies zu tun wäre zum Beispiel:

wget "https://elbosso.github.io/index.html" --warc-file="elbosso" --mirror --no-warc-compression

Momentan kann das Projekt mit unkomprimierten wie mit komprimierten WARC-Dateien umgehen.

  • Die WARC-Datei wird nach Responses durchsucht - nur diese werden benutzt
  • Von den gefundenen Responses werden nur die verarbeitet, die den Mediatype text/html aufweisen
  • Der Pfad der dabei übrig gebliebenen URLs wird dann mit der Whitelist abgeglichen (falls eine angegeben wurde)
  • Passt ein Pfad auf mindestens einen der angegebenen regulären Ausdrücke (oder wurden keine angegeben), wird er weiter bearbeitet.
  • Der Pfad der dabei übrig gebliebenen URLs wird dann mit der Blacklist abgeglichen (falls eine angegeben wurde)
  • Passt ein Pfad auf keinen der regulären Ausdrücke in der Blacklist (oder wurden keine angegeben) wird der Body der Response geladen und analysiert:
  • Für jeden XPath-Ausdruck in der Liste der zu suchenden Ausdrücke wird //a/@href angehängt und nach dem Resultat gesucht - wurde keine solche Liste vorgegeben, wird nur nach //a/@href gesucht
  • Aus der Vereinigung der Suchergebnisse werden alle Duplikate entfernt
  • Die verbliebenen Pfade werden wieder mittels der Whitelist und Blacklist für Pfade gefiltert wie weiter oben ausführlich beschrieben
  • Die danach übrig bleibenden Pfade sind die Seiten, mit denen die untersuchte in Verbindung steht

Die Whitelist und die Blacklist wie auch die Liste zu suchender XPaths können beim Start der Anwendung über Kommandozeilenparameter spezifiziert werden.

Weiterhin kann man über die Kommandozeile eine Liste von regulären Ausdrücken angeben. Pfade, deren Namen darauf passen, werden im Resultat farbig hervorgehoben: Die Knoten werden mit einer entsprechenden Hintergrundfarbe gefüllt und alle mit dem Knoten verbundenen Kanten werden dick gepunktet in dieser Farbe hervorgehoben

Ein Beispielaufruf könnte also etwa so aussehen:

$JAVA_HOME/bin/java -jar target/warc2sitemap-<version>-jar-with-dependencies.jar \
-w examples/whitelist.txt -b examples/blacklist.txt -x examples/xpathsToSearch.txt \
-i input.warc -o output.gv

Das Ergebnis kann mit GraphViz wie folgt in eine SVG-Datei umgewandelt werden:

dot -Tsvg /tmp/output.gv >/tmp/sitemap.svg

Das Ergebnis würde etwa wie hier gezeigt aussehen (Das ist ein Ausschnitt des Ergebnisses für elbosso.github.io):

Screenshot Ausschnitt aus der mittels warc2sitemap erstellten Sitemap für elbosso.github.io

Man kann erkennen, dass die Schriftgröße, die Dicke der Umrandung und der das Label umgebende Freiraum eines Knotens proportional mit der Anzahl der ein- und ausgehenden Verbindungen wächst.

Hier sieht man ein weiteres Beispiel, das die farbige Hervorhebung einzelner Seiten und ihrer Verbindungen demonstriert:

Screenshot Demonstration der Hervorhebung einzelner Seiten und ihrer Verbindungen

Artikel, die hierher verlinken

Java Strokes und OpenSource-Lizenzen

04.02.2022

Nachdem ich neulich auf der Suche nach Neuem SketchViz gefunden hatte, wollte ich herausfinden, ob sich dieser "Servietten-Look" auch lokal für PlantUML oder ganz allgemein GraphViz erzeugen lässt.

Erzeugen kompakter Textboxen

20.12.2021

In einem Text Zeilenumbrüche einzufügen, um eine bestimmte Zeilenlänge nicht zu überschreiten ist trivial. Ebenso trivial ist es, einen Text so umzubrechen, dass eine bestimmte Zeilenanzahl nicht überschritten wird - Wie bricht man aber die Zeilen automatisch um, wenn die resultierenden Textblöcke besonders kompakt sein sollen - also weder zu lange, noch zu viele Zeilen aufweisen sollen?

Alle Artikel rss Wochenübersicht Monatsübersicht Github Repositories Gitlab Repositories Mastodon Über mich home xmpp


Vor 5 Jahren hier im Blog

  • Mandelbrot-Sets mittels Shadern berechnen

    17.05.2019

    Nachdem ich in den letzten verregneten Tagen auf Youtube in den Videos von Numberphile versunken bin, hat mich eines davon angestachelt, mich selbst mit dem Mandelbrotset zu beschäftigen. Als ich dann noch Code fand, der behauptete, das auf einer Graphikkarte mittels Shadern berechnen zu können, war es um mich geschehen...

    Weiterlesen...

Neueste Artikel

  • Erste Vor-Version eines Gis-Plugin für die sQLshell

    Wie bereits in einem früheren Artikel erwähnt plane ich, demnächst ein Plugin für die sQLshell anzubieten, das eine Visualisierung von Daten mit räumlichem Bezug im Stil eines Geoinformationssystems erlaubt.

    Weiterlesen...
  • bad-certificates Version 2.1.0

    Das bereits vorgestellte Projekt zur automatisierten Erzeugung von Zertifikaten mit allen möglichen Fehlern hat eine Erweiterung erfahren und verfügt über ein Partnerprojekt - beide sind nunmehr in der Version 2.1.0 freigegeben

    Weiterlesen...
  • SQLite als Geodatenbank

    Wie bereits in einem früheren Artikel beschrieben treibe ich derzeit Anstrengungen voran, die sQLshell attraktiver für Nutzer zu machen, die mit Geodatenbanken arbeiten.

    Weiterlesen...

Manche nennen es Blog, manche Web-Seite - ich schreibe hier hin und wieder über meine Erlebnisse, Rückschläge und Erleuchtungen bei meinen Hobbies.

Wer daran teilhaben und eventuell sogar davon profitieren möchte, muß damit leben, daß ich hin und wieder kleine Ausflüge in Bereiche mache, die nichts mit IT, Administration oder Softwareentwicklung zu tun haben.

Ich wünsche allen Lesern viel Spaß und hin und wieder einen kleinen AHA!-Effekt...

PS: Meine öffentlichen GitHub-Repositories findet man hier - meine öffentlichen GitLab-Repositories finden sich dagegen hier.