Unicode und Internationalisierung

Unicode-Normalisierunggespeicherte Zeichenfolgen sichtbar machen

Alle vier Formen werden einzeln mit dem ursprünglichen Text verglichen.

Unicode-Normalisierung

Originaltext

Gewähltes normalisiertes Ergebnis

Die Vorschau zeigt höchstens 4.000 Zeichen; Kopie und Download enthalten alles.

Der Text wird nur in diesem Browser verarbeitet und nicht hochgeladen.

Höchstens 10.000 UTF-16-Einheiten; größere Eingaben werden nicht abgeschnitten.

Die Unicode-Version der Normalisierung stammt vom Browser und wird nicht fest zugesichert.

Text eingeben oder ein Beispiel wählen.

Zwei Namen sehen gleich aus, lassen sich aber nicht gleich finden? Ein Akzent kann als fertiges Zeichen oder als Grundbuchstabe plus kombinierendes Zeichen gespeichert sein. Die Unicode-Normalisierung zeigt diese Abweichung im Code statt nur im Schriftbild.

Vor dem Vereinheitlichen von Dateinamen oder Eingaben lohnt sich ein Blick auf NFC und NFD. Die Unicode-Normalisierung zeigt auch, was NFKC und NFKD an Breite, Ligaturen oder hochgestellten Zeichen verändern würden.

Warum Unicode-Normalisierung verwenden?

Das Schriftbild sagt nichts über die gespeicherte Folge.

Vier Formen aus derselben Quelle

NFC-Konverter und NFD-Zerlegung werden hier nicht nacheinander ausgeführt: Jede der vier Formen entsteht unabhängig aus dem Original. So ist sichtbar, welche Form bereits vorliegt.

Ein akzentuiertes Zeichen verzweigt in vier Normalisierungswege.

Kompatibilitätsänderungen vorher sehen

NFKC kann Vollbreitenbuchstaben oder Ligaturen in gewöhnliche Buchstaben überführen. Die Unicode-Normalisierung markiert den Bereich und zeigt die Bytes, bevor Sie den Originaltext ersetzen.

Besondere Zeichen und ihre vereinfachte Darstellung stehen nebeneinander.

Die passende Form wählen und die Quelle behalten

01

Mit NFC beginnen, alle vier prüfen

NFC ist vorausgewählt, doch NFC, NFD, NFKC und NFKD werden zusammen berechnet. Bei identischem Aussehen helfen U+-Werte und UTF-8-Bytes, die tatsächliche Änderung zu erkennen.

02

Zeilen nur bei unabhängigen Einträgen trennen

Gesamter Text erhält Zeilenenden. Der Zeilenmodus prüft jeden Eintrag separat, auch leere, und verbindet Ausgaben mit LF. Für unveränderte CRLF-Trennzeichen den Gesamtmodus wählen.

03

Vor Übernahme die Folge vergleichen

Eine hervorgehobene Änderung kann mehrere Codepunkte umfassen. Kopieren und Herunterladen liefern das vollständige Ergebnis. Bei ausgeschalteter Automatik startet Strg/Cmd+Enter die Prüfung.

Was der Vergleich offenlegt

Vier unabhängige Ergebnisse

Unicode normalisieren lässt sich kanonisch oder mit Kompatibilitätsabbildungen. Die Übersicht nennt je Form den Abgleich mit dem Original sowie Codepunkt- und Bytezahlen.

Codepunkte und Bytes je Änderung

Zusammensetzen und Zerlegen sind keine eindeutige Zeichen-zu-Zeichen-Zuordnung. Die Anzeige gruppiert Änderungen und listet die U+-Folgen und UTF-8-Bytes vor und nach der Umwandlung.

Sichere Übernahme mit Rückweg

Die Bildschirmvorschau ist begrenzt, die exportierte Ausgabe vollständig. Das Ersetzen der Eingabe verlangt eine Vorschau; einmaliges Rückgängigmachen stellt Eingabe und Ergebnisse wieder her.

Grenzen der Umwandlung

Kompatibilität kann Information verlieren
Eine NFKC-Umwandlung oder NFKD kann Breite, Ligaturen und Hochstellungen einebnen. Aus dem Ergebnis lässt sich die ursprüngliche Darstellung möglicherweise nicht zurückgewinnen.
Keine Akzententfernung oder Transliteration
NFD trennt kombinierende Zeichen, löscht sie aber nicht. Groß- und Kleinschreibung, ASCII-Umschrift und NFKC_Casefold sind andere Arbeitsschritte.
Keine Erkennung von Täuschungszeichen
Ähnlich aussehende lateinische und kyrillische Buchstaben sowie unsichtbare Zeichen werden nicht automatisch bereinigt. Dafür ist eine Zeicheninspektion nötig.
Begrenzte Texteingabe
10.000 UTF-16-Einheiten und im Zeilenmodus 500 Einträge sind zulässig. Einzelne Surrogate und zu große Ergebnisse werden abgewiesen; Dateien, CSV und JSON werden nicht eingelesen.

Fragen zur Unicode-Normalisierung

Welche Form sollte ich meistens verwenden?

Für gewöhnlichen Text ist NFC oft ein guter Ausgangspunkt. Wenn das Zielsystem ausdrücklich eine zerlegte Form verlangt, verwenden Sie NFD. Die Anforderungen des Zielsystems sind entscheidend.

Wann sollte ich NFKC verwenden?

NFKC ist sinnvoll, wenn Kompatibilitätsunterschiede wie Vollbreite oder Ligaturen absichtlich vereinheitlicht werden sollen. Prüfen Sie vorher die Vorschau, weil diese Abbildung Information verlieren kann.

Ist Markierungen entfernen dasselbe wie Transliteration?

Nein. Das Entfernen kombinierender Zeichen ist ein zusätzlicher Schritt und nicht dasselbe wie Normalisierung; Transliteration geht noch weiter und ersetzt Schriftzeichen. Beides führt dieses Werkzeug nicht aus.

Warum sieht der Text unverändert aus?

Eine Zeichenfolge kann äußerlich gleich bleiben, obwohl ihre Codepunkte anders gespeichert sind. Der Vergleich zeigt U+-Werte und UTF-8-Bytes, damit Sie diese Änderung erkennen.

Kann die Normalisierung Spoofing erkennen?

Nein. Unicode-Normalisierung ist keine Spoofing-Erkennung. Ähnlich aussehende Zeichen aus anderen Schriften und unsichtbare Steuerzeichen müssen getrennt geprüft werden.

Ist eine Änderung unklar?

Unicode-Normalisierung mit eigenem Text testen

Nehmen Sie die kürzeste problematische Zeichenfolge und vergleichen Sie die vier Ergebnisse, bevor Sie eines übernehmen.