Ich wurde durch eine Frage in meiner Mastodon-Blase auf ein mir bis dato unbekanntes Dateiformat aufmerksam gemacht und dadurch neugierig...
Der Post, der letztlich alles auslöste fragte nach einer Möglichkeit, aus einer WARC-Datei eine SiteMap im Graphviz-Format zu erstellen.
Da ich bereits aus den Quelltexten meines eigenen Static Site Generators eine SiteMap erstelle, wurde ich neugierig und las erst einmal einige Artikel zu den entsprechenden Themen, folgte einigen Links und sah mir einige Suchergebnisse an. Das brachte mich zu der Entscheidung, mich selbst einmal an so etwas versuchen zu wollen. Inzwischen ist das Projekt auf Github veröffentlicht.
WARC-Dateien können zum Beispiel per wget erzeugt werden. Ein mögliches Kommando, dies zu tun wäre zum Beispiel:
wget "https://elbosso.github.io/index.html" --warc-file="elbosso" --mirror --no-warc-compression
Momentan kann das Projekt mit unkomprimierten wie mit komprimierten WARC-Dateien umgehen.
Die Whitelist und die Blacklist wie auch die Liste zu suchender XPaths können beim Start der Anwendung über Kommandozeilenparameter spezifiziert werden.
Weiterhin kann man über die Kommandozeile eine Liste von regulären Ausdrücken angeben. Pfade, deren Namen darauf passen, werden im Resultat farbig hervorgehoben: Die Knoten werden mit einer entsprechenden Hintergrundfarbe gefüllt und alle mit dem Knoten verbundenen Kanten werden dick gepunktet in dieser Farbe hervorgehoben
Ein Beispielaufruf könnte also etwa so aussehen:
$JAVA_HOME/bin/java -jar target/warc2sitemap-<version>-jar-with-dependencies.jar \
-w examples/whitelist.txt -b examples/blacklist.txt -x examples/xpathsToSearch.txt \
-i input.warc -o output.gv
Das Ergebnis kann mit GraphViz wie folgt in eine SVG-Datei umgewandelt werden:
dot -Tsvg /tmp/output.gv >/tmp/sitemap.svg
Das Ergebnis würde etwa wie hier gezeigt aussehen (Das ist ein Ausschnitt des Ergebnisses für elbosso.github.io):
Ausschnitt aus der mittels warc2sitemap erstellten Sitemap für elbosso.github.io
Man kann erkennen, dass die Schriftgröße, die Dicke der Umrandung und der das Label umgebende Freiraum eines Knotens proportional mit der Anzahl der ein- und ausgehenden Verbindungen wächst.
Hier sieht man ein weiteres Beispiel, das die farbige Hervorhebung einzelner Seiten und ihrer Verbindungen demonstriert:
Demonstration der Hervorhebung einzelner Seiten und ihrer Verbindungen
04.02.2022
Nachdem ich neulich auf der Suche nach Neuem SketchViz gefunden hatte, wollte ich herausfinden, ob sich dieser "Servietten-Look" auch lokal für PlantUML oder ganz allgemein GraphViz erzeugen lässt.
20.12.2021
In einem Text Zeilenumbrüche einzufügen, um eine bestimmte Zeilenlänge nicht zu überschreiten ist trivial. Ebenso trivial ist es, einen Text so umzubrechen, dass eine bestimmte Zeilenanzahl nicht überschritten wird - Wie bricht man aber die Zeilen automatisch um, wenn die resultierenden Textblöcke besonders kompakt sein sollen - also weder zu lange, noch zu viele Zeilen aufweisen sollen?
Fährnisse des Buildprozesses unter Windows
17.07.2019
Nachdem ich begonnen hatte, mich mit der Beschleunigung der Berechnung des Mandelbrot-Fraktals unter Zuhilfenahme der Shadereinheiten in Graphikkarten zu beschäftigen und erste Erfolge feiern konnte, wollte ich das mal auf einer richtigen Graphikkarte ausprobieren...
Weiterlesen...Android Basteln C und C++ Chaos Datenbanken Docker dWb+ ESP Wifi Garten Geo Git(lab|hub) Go GUI Gui Hardware Java Jupyter Komponenten Links Linux Markdown Markup Music Numerik PKI-X.509-CA Python QBrowser Rants Raspi Revisited Security Software-Test sQLshell TeleGrafana Verschiedenes Video Virtualisierung Windows Upcoming...
Ich bin heute nochmal inspiriert worden, weiter über die Trojan Source Vulnerability nachzudenken. Meiner Meinung nach bestehen hier noch Probleme - speziell bei Nutzereingaben oder Daten, die über externe Schnittstellen ampfangen werden.
Weiterlesen...Ich habe die auf OpenStreetMap basierende OpenSource Navigationslösung Graphhopper in einen Docker-Container gepackt und als neuestes Mitglied in meinem Docker-Zoo willkommen geheißen.
Weiterlesen...Ich habe neulich über eine Möglichkeit berichtet, SQLite mittels der sQLshell und Beanshell-Skripten um SQL-Funktionen zu erweitern. In diesem Artikel versprach ich auch, über eine solche Möglichkeit für Aggregatfunktionen zu berichten.
Weiterlesen...Manche nennen es Blog, manche Web-Seite - ich schreibe hier hin und wieder über meine Erlebnisse, Rückschläge und Erleuchtungen bei meinen Hobbies.
Wer daran teilhaben und eventuell sogar davon profitieren möchte, muß damit leben, daß ich hin und wieder kleine Ausflüge in Bereiche mache, die nichts mit IT, Administration oder Softwareentwicklung zu tun haben.
Ich wünsche allen Lesern viel Spaß und hin und wieder einen kleinen AHA!-Effekt...
PS: Meine öffentlichen GitHub-Repositories findet man hier - meine öffentlichen GitLab-Repositories finden sich dagegen hier.