19.02.2026 07:11
Unicode нормализация в Python: NFC, NFD, NFKC, NFKD
Одна и та же строка может быть представлена по-разному в Unicode, и стандарт это учитывает. Он определяет два типа
эквивалентности: последовательности могут быть канонически эквивалентными или совместимыми.
Канонически эквивалентные последовательности выглядят одинаково, но содержат разные кодовые точки. Например,
символ ö может быть представлен как LATIN SMALL LETTER O WITH DIAERESIS (U+00F6) или как комбинация из o и
диакритического знака: LATIN SMALL LETTER O (U+006F) + COMBINING DIAERESIS (U+0308).
Совместимые последовательности выглядят по-разному, но могут трактоваться одинаково с точки зрения смысла, например, ff и ff.
Для каждого из этих типов эквивалентности можно нормализовать строку в Unicode, сжимая или расширяя последовательности.
В Python для этого используется модуль unicodedata:
import unicodedata
modes = [
# Сжать канонически эквивалентные
'NFC',
# Расширить канонически эквивалентные
'NFD',
# Сжать совместимые
'NFKC',
# Расширить совместимые
'NFKD',
]
s = 'ff + ö'
for mode in modes:
norm = unicodedata.normalize(mode, s)
print('\t'.join([
mode,
norm,
str(len(norm.encode('utf8'))),
]))
Результат:
NFC ff + ö 8
NFD ff + ö 9
NFKC ff + ö 7
NFKD ff + ö 8
👉 @BookPython
эквивалентности: последовательности могут быть канонически эквивалентными или совместимыми.
Канонически эквивалентные последовательности выглядят одинаково, но содержат разные кодовые точки. Например,
символ ö может быть представлен как LATIN SMALL LETTER O WITH DIAERESIS (U+00F6) или как комбинация из o и
диакритического знака: LATIN SMALL LETTER O (U+006F) + COMBINING DIAERESIS (U+0308).
Совместимые последовательности выглядят по-разному, но могут трактоваться одинаково с точки зрения смысла, например, ff и ff.
Для каждого из этих типов эквивалентности можно нормализовать строку в Unicode, сжимая или расширяя последовательности.
В Python для этого используется модуль unicodedata:
import unicodedata
modes = [
# Сжать канонически эквивалентные
'NFC',
# Расширить канонически эквивалентные
'NFD',
# Сжать совместимые
'NFKC',
# Расширить совместимые
'NFKD',
]
s = 'ff + ö'
for mode in modes:
norm = unicodedata.normalize(mode, s)
print('\t'.join([
mode,
norm,
str(len(norm.encode('utf8'))),
]))
Результат:
NFC ff + ö 8
NFD ff + ö 9
NFKC ff + ö 7
NFKD ff + ö 8
👉 @BookPython