Falsches Encoding in XML-Dateien

vorhergehende Artikel in: Java Markup
26.06.2021

Neulich kam während des Zutaten-für-Kuchen-Verdienens eine interessante Frage aus, die ich hier näher beleuchten möchte:

Das Problem stellte sich wie folgt dar: unsere Komponente bekam Dateien angeliefert - darunter auch XML-Dateien. Diese wurden durch unsere Komponente gepuffert und später Clients zur Verfügung gestellt. Wenn diese im Browser angezeigt werden sollten, reagierten diese zwar verschieden, aber ale mit irgendeiner Form von Fehler.

Ursache dafür war, dass die Dateien in einem anderen Encoding abgespeichert waren, als im Header stand und die Bytes in der Datei sich nicht in dem im Header benannten Encoding dekodieren ließen. Es wurde entschieden, diesen Sachverhalt nicht zu adressieren: die Clients, die die Dateien abrufen sollten exakt das bekommen, was vorher an unsere Komponente übermittelt wurde. Ich wollte trotzdem wissen, ob man diese Tatsache in Java irgendwie detektieren könnte.

Die Frage war also: kann man mit Java und Bordmitteln ermitteln, welches Encoding für eine vorgegebene XML-Datei das passende ist? Ich analysierte das mit dem java.beans.XMLDecoder und seinem Gegenstück, dem java.beans.XMLEncoder.

Ich fand im Internet zwei Ressourcen aus denen ich mit leichten Abwandlungen meine eigene Lösung erstellte:

public static java.lang.String findCorrectEncoding(java.io.InputStream is,
    java.util.Collection<java.lang.String> possibleCharsetNames) throws IOException
{
    java.lang.String rv=null;

java.io.ByteArrayOutputStream baos = new java.io.ByteArrayOutputStream();

de.elbosso.util.Utilities.copyBetweenStreams(is, baos, true);

byte[] bytes = baos.toByteArray();

java.nio.CharBuffer out = java.nio.CharBuffer.wrap(new char[bytes.length * 4 + 1]); for(java.lang.String charsetName:possibleCharsetNames) { java.nio.charset.CharsetDecoder ebcdicDecoder = java.nio.charset.Charset.forName(charsetName).newDecoder(); ebcdicDecoder.onMalformedInput(java.nio.charset.CodingErrorAction.REPORT); ebcdicDecoder.onUnmappableCharacter(java.nio.charset.CodingErrorAction.REPORT);

java.nio.charset.CoderResult result = ebcdicDecoder.decode(java.nio.ByteBuffer.wrap(bytes), out, true); if (result.isError() || result.isOverflow() || /*result.isUnderflow() ||*/ result.isMalformed() || result.isUnmappable()) { if(CLASS_LOGGER.isTraceEnabled()) CLASS_LOGGER.trace("Cannot decode " + charsetName); } else { result = ebcdicDecoder.flush(out); if (result.isOverflow()) if(CLASS_LOGGER.isTraceEnabled()) CLASS_LOGGER.trace("Cannot decode " + charsetName); if (result.isUnderflow()) { if(CLASS_LOGGER.isTraceEnabled()) CLASS_LOGGER.trace("Successfully decoded " + charsetName); rv=charsetName; break; } } } return rv; }

Damit ist es möglich, eine Menge valider Encodings zu übergeben und diese Methode liefert das erste, mit dem sich alle enthaltenen Bytes als gültige Zeichen interpretieren lassen zurück.

Alle Artikel rss Wochenübersicht Monatsübersicht Github Repositories Gitlab Repositories Mastodon Über mich home xmpp


Vor 5 Jahren hier im Blog

  • Mandelbrot-Sets mittels Shadern berechnen

    17.05.2019

    Nachdem ich in den letzten verregneten Tagen auf Youtube in den Videos von Numberphile versunken bin, hat mich eines davon angestachelt, mich selbst mit dem Mandelbrotset zu beschäftigen. Als ich dann noch Code fand, der behauptete, das auf einer Graphikkarte mittels Shadern berechnen zu können, war es um mich geschehen...

    Weiterlesen...

Neueste Artikel

  • Erste Vor-Version eines Gis-Plugin für die sQLshell

    Wie bereits in einem früheren Artikel erwähnt plane ich, demnächst ein Plugin für die sQLshell anzubieten, das eine Visualisierung von Daten mit räumlichem Bezug im Stil eines Geoinformationssystems erlaubt.

    Weiterlesen...
  • bad-certificates Version 2.1.0

    Das bereits vorgestellte Projekt zur automatisierten Erzeugung von Zertifikaten mit allen möglichen Fehlern hat eine Erweiterung erfahren und verfügt über ein Partnerprojekt - beide sind nunmehr in der Version 2.1.0 freigegeben

    Weiterlesen...
  • SQLite als Geodatenbank

    Wie bereits in einem früheren Artikel beschrieben treibe ich derzeit Anstrengungen voran, die sQLshell attraktiver für Nutzer zu machen, die mit Geodatenbanken arbeiten.

    Weiterlesen...

Manche nennen es Blog, manche Web-Seite - ich schreibe hier hin und wieder über meine Erlebnisse, Rückschläge und Erleuchtungen bei meinen Hobbies.

Wer daran teilhaben und eventuell sogar davon profitieren möchte, muß damit leben, daß ich hin und wieder kleine Ausflüge in Bereiche mache, die nichts mit IT, Administration oder Softwareentwicklung zu tun haben.

Ich wünsche allen Lesern viel Spaß und hin und wieder einen kleinen AHA!-Effekt...

PS: Meine öffentlichen GitHub-Repositories findet man hier - meine öffentlichen GitLab-Repositories finden sich dagegen hier.