XML und ungültige Zeichen

vorhergehende Artikel in: Java Markup
17.09.2017

Ich mag Markup - egal in welcher Form (ich habe hin und wieder darüber berichtet). XML - wie der Name schon sagt - gehört auch dazu und zu meinem Erstaunen habe ich neulich wieder mal etwas Neues darüber gelernt...

Auf Arbeit wurde ich neulich mit einem Ticket konfrontiert, das als Attachment ein Log angehängt hatte. In diesem Log stellte sich als Ursache der häufigen Exceptions heraus, dass ein XML versucht wurde zu parsen, das ungültige Zeichen enthielt.

Damit meine ich nicht solche, die man über Entities abbilden kann wie etwa & oder > sondern solche, die wirklich nicht auftreten dürfen - wie etwa 0x0b (Cursor runter oder vertical tab) oder 0x01 oder 0x6823 oder, oder, oder....

Solche waren in die Datenbank gelangt und wann immer der (proprietäre) OR-Mapper ein Objekt daraus zauberte und dieses Objekt dann vom (proprietären) XML-Serialisierer in ein XML-Fragment umgewandelt wurde entstand ungültiges HTML. Der Fic war schnell gefunden, aber die gesamte Aktion (Forensik, Tests, Alternativen, Implementieren, Testen) hatte mich nachdenklich gemacht: In Java existiert ja bereits ein XML-Serialisierer (java.beans.XMLEncoder), der mit diesem Problem ebenso umgehen können sollte - oder konnte es wirklich sein, dass ich damit ein Loophole in Java entdeckt haben könnte? Diesen Gedanken verwarf ich nach ein wenig Nachdenken sofort wieder: Der XMLEncoder ist dafür da, JavaBeans zu serialisieren. Diese haben häufig String-Properties. Es kann keine Einschränkungen hinsichtlich der verwendbaren Unicode-Zeichen geben, wenn der Serialisierer universell für jegliche JavaBeans eingesetzt werden können soll - neugierig war ich aber jetzt darauf, wie die Entwickler das geschafft hatten...

Ich probierte dazu ein kleines Java-fragment aus, das wie folgt beschaffen war:

		XMLBean bean=new XMLBean();
		bean.setData("huhu\u000bhallo");
		System.out.println(bean);
		java.io.ByteArrayOutputStream baos = new java.io.ByteArrayOutputStream();
		java.beans.XMLEncoder enc=new java.beans.XMLEncoder(baos);
		enc.writeObject(bean);
		enc.close();
		baos.close();
		java.lang.String encoded=baos.toString();
		System.out.println(encoded);
		java.io.ByteArrayInputStream bais=new java.io.ByteArrayInputStream(baos.toByteArray());
		java.beans.XMLDecoder dec=new java.beans.XMLDecoder(bais);
		java.lang.Object obj=dec.readObject();
		dec.close();
		bais.close();
		System.out.println(obj.toString());

Die XMLBean-Klasse war trivial:

public class XMLBean extends java.lang.Object
{
	private java.lang.String data;
	public String getData()
	{
		return data;
	}
	public void setData(String data)
	{
		this.data = data;
	}
	@Override
	public String toString()
	{
		return getData();
	}
}

Die Ausgabe dieses Testprogramms sieht wie folgt aus:

huhuhallo
<?xml version="1.0" encoding="UTF-8"?>
<java version="1.8.0_51" class="java.beans.XMLDecoder">
 <object class="de.elbosso.scratch.misc.XMLBean">
  <void property="data">
   <string>huhu<char code="#1b"/>hallo</string>
  </void>
 </object>
</java>

huhuhallo

Das in XML nicht gültige Steuerzeichen wird hier über ein eigenes Vokabular abgedeckt - genauer über ein Tag namens char mit einem Attribut namens code, das den hexadezimalen Codepoint für das in XML nicht erlaubte Zeichen enthält.

Das Gegenstück java.beans.XMLDecoder kennt dieses Tag natürlich und setzt die Property korrekt wieder zusammen, was man am Ende der Ausgabe des Testprogrammes erkennen kann. Damit ist das Ergebnis der Serialisierung gültiges XML, das von jedem Parser verstanden werden kann.

Eine wie ich finde clevere Idee - kennt man dieses Vorgehen, kann man es zum Beispiel in eigenen XSLT-Templates nutzen...

Alle Artikel rss Wochenübersicht Monatsübersicht Github Repositories Gitlab Repositories Mastodon Über mich home xmpp


Vor 5 Jahren hier im Blog

  • Certstream, InfluxDB, Grafana und Netflix

    16.04.2019

    Nachdem ich vor kurzem über mein erstes Spielen mit dem certstream berichtete, habe ich weitere Experimente gemacht und die Daten zur besseren Auswertung in eine InfluxDB gepackt, um sie mit Grafana untersuchen zu können.

    Weiterlesen...

Neueste Artikel

  • Die sQLshell ist nun cloudnative!

    Die sQLshell hat eine weitere Integration erfahren - obwohl ich eigentlich selber nicht viel dazu tun musste: Es existiert ein Projekt/Produkt namens steampipe, dessen Slogan ist select * from cloud; - Im Prinzip eine Wrapperschicht um diverse (laut Eigenwerbung mehr als 140) (cloud) data sources.

    Weiterlesen...
  • LinkCollections 2024 III

    Nach der letzten losen Zusammenstellung (für mich) interessanter Links aus den Tiefen des Internet von 2024 folgt hier gleich die nächste:

    Weiterlesen...
  • Funktionen mit mehreren Rückgabewerten in Java

    Da ich seit nunmehr einem Jahr bei meinem neeun Arbeitgeber beschäftigt und damit seit ungefähr derselben Zeit für Geld mit Python arbeite, haben sich gewisse Antipathien gegenüber Python vertieft (ich kann mit typlosen Sprachen einfach nicht umgehen) - aber auch einige meiner Gründe, Python zu lieben sind ebenso stärker geworden. Einer davon ist der Fakt, dass eine Methode in Python mehr als einen Wert zurückgeben kann.

    Weiterlesen...

Manche nennen es Blog, manche Web-Seite - ich schreibe hier hin und wieder über meine Erlebnisse, Rückschläge und Erleuchtungen bei meinen Hobbies.

Wer daran teilhaben und eventuell sogar davon profitieren möchte, muß damit leben, daß ich hin und wieder kleine Ausflüge in Bereiche mache, die nichts mit IT, Administration oder Softwareentwicklung zu tun haben.

Ich wünsche allen Lesern viel Spaß und hin und wieder einen kleinen AHA!-Effekt...

PS: Meine öffentlichen GitHub-Repositories findet man hier - meine öffentlichen GitLab-Repositories finden sich dagegen hier.