Die sQLshell ist nun cloudnative!

13.04.2024

Die sQLshell hat eine weitere Integration erfahren - obwohl ich eigentlich selber nicht viel dazu tun musste: Es existiert ein Projekt/Produkt namens steampipe, dessen Slogan ist select * from cloud; - Im Prinzip eine Wrapperschicht um diverse (laut Eigenwerbung mehr als 140) (cloud) data sources.

Nachdem ich mich ein wenig eingelesen hatte, dachte ich zwangsläufig: SQL - das bringt mich auf JDBC und das wiederum lässt mich sofort an die sQLshell denken. Durch die letzten größeren Brückenschläge ermutigt begann ich, darüber nachzudenken, ob ich dieses Projekt in der sQLshell würde nutzen können.

Die Beschreibung erläutert zunächst nur, wie eine Integration in PostgreSQL oder SQLite vor sich geht. Die Erklärungen bleiben aber da stehen, wo die Interaktion entweder mit der steampipe-CLI oder mit den jeweiligen proprietären Datenbank-Frontends erläutert werden.

Daher musste ich mich zunächst nun für eine der beiden Möglichkeiten entscheiden. Da ich meine letztenm Erfolge mit PostgreSQL gefeiert hatte und die Daten ja sowieso nicht in der eigentlichen Datenbank, sondern in der Cloud liegen würden und die Datenbank dafür nur eine Fassade wäre entschied ich mich für SQLite: Man braucht keinen Server und kann die Datenbank sogar in-memory implementieren. Das wäre eine wirklich schlanke Fassade für riesigen Cloud-Datenquellen.

Dafür musste ich jedoch von der Anleitung ein wenig abweichen: Die eigentliche Extension installierte ich noch so wie angegeben, aber da ich nicht das proprietäre Frontend benutzen wollte, wich das restliche Vorgehen ein wenig ab:

Die Extension lud ich mittels

SELECT load_extension('/path/to/steampipe_sqlite_github','sqlite3_extension_init');

Wichtig war hier das Weglassen der Endung der Extension.

Über die JDBC Connection Properties sollte unbedingt auch noch enable_load_extension auf den Wert true gesetzt werden.

Anschließend konnte ich das von mir auserkorene Beispiel Github mittels

select steampipe_configure_github('token="xxx_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"');

erfolgreich konfigurieren und anschließend erste Abfragen absetzen. Sieht man dabei Fehlermeldungen, in denen etwas Ähnliches wie code = Internal desc = 'List' call requires an '=' qual for column: repository_full_name auftaucht, zeigt das an, dass die betreffende Pseudotabelle zwingend eine WHERE Klausel erwartet.

Das erste erfolgreiche Statement, das ich also absetzen konnte, lautete:

select * from github_pull_request where repository_full_name='elbosso/rfc3161timestampingserver';

Der einzige Wermutstropfen hierbei ist, dass ich in der sQLshell keine Angaben über die verfügbaren Tabellen bekomme, während das mit dem proprietären Frontend der SQLite Datenbank durchaus möglich ist.

Aber: die diversen Komfortfeatures wie etwa das Reporting in der sQLshell sind damit auch auf irgendwelche Datenquellen in der Cloud anwendbar!

Alle Artikel rss Wochenübersicht Monatsübersicht Github Repositories Gitlab Repositories Mastodon Über mich home xmpp


Vor 5 Jahren hier im Blog

  • Mandelbrot-Sets mittels Shadern berechnen

    17.05.2019

    Nachdem ich in den letzten verregneten Tagen auf Youtube in den Videos von Numberphile versunken bin, hat mich eines davon angestachelt, mich selbst mit dem Mandelbrotset zu beschäftigen. Als ich dann noch Code fand, der behauptete, das auf einer Graphikkarte mittels Shadern berechnen zu können, war es um mich geschehen...

    Weiterlesen...

Neueste Artikel

  • Erste Vor-Version eines Gis-Plugin für die sQLshell

    Wie bereits in einem früheren Artikel erwähnt plane ich, demnächst ein Plugin für die sQLshell anzubieten, das eine Visualisierung von Daten mit räumlichem Bezug im Stil eines Geoinformationssystems erlaubt.

    Weiterlesen...
  • bad-certificates Version 2.1.0

    Das bereits vorgestellte Projekt zur automatisierten Erzeugung von Zertifikaten mit allen möglichen Fehlern hat eine Erweiterung erfahren und verfügt über ein Partnerprojekt - beide sind nunmehr in der Version 2.1.0 freigegeben

    Weiterlesen...
  • SQLite als Geodatenbank

    Wie bereits in einem früheren Artikel beschrieben treibe ich derzeit Anstrengungen voran, die sQLshell attraktiver für Nutzer zu machen, die mit Geodatenbanken arbeiten.

    Weiterlesen...

Manche nennen es Blog, manche Web-Seite - ich schreibe hier hin und wieder über meine Erlebnisse, Rückschläge und Erleuchtungen bei meinen Hobbies.

Wer daran teilhaben und eventuell sogar davon profitieren möchte, muß damit leben, daß ich hin und wieder kleine Ausflüge in Bereiche mache, die nichts mit IT, Administration oder Softwareentwicklung zu tun haben.

Ich wünsche allen Lesern viel Spaß und hin und wieder einen kleinen AHA!-Effekt...

PS: Meine öffentlichen GitHub-Repositories findet man hier - meine öffentlichen GitLab-Repositories finden sich dagegen hier.