
Lỗi Unicode tiếng Việt: sắp xếp sai 15/18 và cách sửa
Đo thật 7 lỗi Unicode: sorted() xếp sai 15/18 vị trí, cắt chuỗi NFD mất dấu, validate độ dài từ chối tên hợp lệ. Kèm checklist cho app tiếng Việt.
Tôi chạy thử 7 tình huống Unicode tiếng Việt trên Python và tìm ra lỗi mà nhiều app Việt Nam đang mắc: sắp xếp danh sách sai 15 trên 18 vị trí, tìm kiếm không khớp, giới hạn độ dài cắt mất dấu.
Đây không phải lỗi hiếm. Đây là mặc định của Python, JavaScript, và gần như mọi ngôn ngữ lập trình.
Vấn đề gốc: một chữ, hai cách mã hoá
Chữ "ò" có thể lưu theo hai cách:
| Cách | Tên | Lưu thế nào | Số ký tự |
|---|---|---|---|
| NFC | dựng sẵn | một ký tự U+00F2 "ò" | 1 |
| NFD | tách rời | U+006F "o" + U+0300 dấu huyền | 2 |
Nhìn giống nhau, hiển thị giống nhau, nhưng máy tính coi là hai chuỗi khác nhau.
Số đo thật trên Python:
| Chuỗi | len NFC | len NFD | Bằng nhau? | Byte NFC | Byte NFD |
|---|---|---|---|---|---|
| "Hòa bình" | 8 | 10 | False | 10 | 12 |
| "Tiếng Việt" | 10 | 14 | False | 14 | 18 |
| "Đường" | 5 | 8 | False | 9 | 12 |
"Tiếng Việt" dài 10 ký tự nếu NFC, 14 ký tự nếu NFD. Cùng một chữ.
Lỗi 1: so sánh chuỗi thất bại
a = "Hòa bình" # NFC
b = unicodedata.normalize("NFD", "Hòa bình")
a == b # False <- day la loi
"Hòa" in b # False <- tim kiem cung hong
Đây là lỗi phổ biến nhất. Người dùng nhập tên từ điện thoại (thường NFD trên macOS) và từ Windows (thường NFC) — hệ thống coi là hai người khác nhau.
Cách sửa: chuẩn hoá về NFC ngay khi nhận dữ liệu.
import unicodedata as ud
a = ud.normalize("NFC", a)
b = ud.normalize("NFC", b)
a == b # True
Lỗi 2: sắp xếp sai 15/18 vị trí
Đây là lỗi nghiêm trọng nhất, và hầu như ai cũng mắc.
Tôi sắp xếp 18 từ tiếng Việt bằng hai cách:
words = ["ăn","an","âng","ang","ba","bà","cà","ca","đi","di",
"du","đu","ông","ong","ơn","on","ưa","ua"]
sorted(words) # mac dinh
sorted(words, key=locale.strxfrm) # locale vi_VN
Kết quả:
sorted() : an, ang, ba, bà, ca, cà, di, du, on, ong, ua,
âng, ông, ăn, đi, đu, ơn, ưa
locale vi_VN : an, ang, ăn, âng, ba, bà, ca, cà, di, du, đi,
đu, on, ong, ông, ơn, ua, ưa
Bản sorted() đặt "ăn" sau "ua" và "đi" sau "ông". Đó là sắp xếp theo mã Unicode, không theo bảng chữ cái tiếng Việt.
Số vị trí lệch: 15 trên 18. Chỉ 3 từ trùng vị trí may mắn.
Lý do: Unicode xếp "ă" (U+0103) sau "z" (U+007A). Với máy tính, "ăn" đứng sau cả "z". Với người Việt, "ăn" đứng sau "an".
Cách sửa:
import locale
locale.setlocale(locale.LC_COLLATE, "vi_VN.UTF-8")
sorted(words, key=locale.strxfrm)
Lưu ý: locale phụ thuộc hệ điều hành. Trên máy chủ Linux tối giản, vi_VN.UTF-8 có thể chưa cài — phải locale-gen vi_VN.UTF-8. Trên Windows, tên locale là Vietnamese_Vietnam.1258 chứ không phải vi_VN.UTF-8.
Nếu cần chạy đa nền tảng, dùng thư viện pyuca hoặc tự viết bảng thứ tự — đừng phụ thuộc locale hệ thống.

Lỗi 3: giới hạn độ dài cắt mất dấu
Đây là lỗi tinh vi nhất, và nó tạo ra dữ liệu hỏng im lặng.
Giả sử bạn giới hạn tên hiển thị 6 ký tự:
ten = "Trường"
ten[:6] # 'Trường' (NFC, dung)
ud.normalize("NFD", ten)[:6] # 'Trươ' (NFD, hong)
Kết quả NFD là 'Trươ' — hai nguyên âm mất dấu hoàn toàn. Nhìn kỹ bạn sẽ thấy nó khác "Truơ".
Thêm ví dụ:
| Tên | NFC | NFD | Cắt 6 theo NFD |
|---|---|---|---|
| Nguyễn | 6 | 8 | 'Nguyê' — mất dấu ngã |
| Trường | 6 | 9 | 'Trươ' — mất cả hai dấu |
| Đường | 5 | 8 | 'Đườ' — mất dấu huyền |
Cách sửa: luôn chuẩn hoá NFC trước khi cắt chuỗi.
ten_nfc = ud.normalize("NFC", ten)
ten_nfc[:6] # an toan
Và nếu cắt để hiển thị, cắt theo grapheme cluster chứ không theo code point:
import grapheme
grapheme.slice(ten, 0, 6)

Lỗi 4: validate độ dài sai
Cùng một cái tên, đo theo NFC hay NFD cho kết quả khác nhau:
| Tên | NFC | NFD | Giới hạn 20 ký tự |
|---|---|---|---|
| Nguyễn Văn A | 12 | 15 | cả hai PASS |
| Trần Thị Bích Hà | 16 | 21 | NFC PASS / NFD FAIL |
| Lê Ức | 5 | 8 | cả hai PASS |
| Đỗ Đình Đạt | 11 | 15 | cả hai PASS |
"Trần Thị Bích Hà" dài 16 ký tự theo NFC nhưng 21 theo NFD. Nếu người dùng nhập từ macOS và form giới hạn 20, họ bị từ chối — dù tên chỉ có 16 chữ.
Cách sửa: chuẩn hoá NFC ở tầng API trước khi validate. Đừng tin dữ liệu client gửi lên.
Lỗi 5: tìm kiếm không khớp
db = ud.normalize("NFC", "Hòa Bình")
"Hòa Bình".lower() in db.lower() # True
ud.normalize("NFD","hòa bình").lower() in db.lower() # False
"hoa binh" in db.lower() # False
Trường hợp thứ ba quan trọng: người Việt hay tìm không dấu. Gõ "hoa binh" phải ra "Hòa Bình".
Cách sửa: lưu thêm một cột đã bỏ dấu, tìm trên cột đó.
def strip_accents(s):
s = ud.normalize("NFD", s)
s = "".join(c for c in s if not ud.combining(c))
return s.replace("đ","d").replace("Đ","D")
strip_accents("Đường phố Hà Nội") # 'Duong pho Ha Noi'
strip_accents("Tiếng Việt") # 'Tieng Viet'
Cái bẫy: đ (U+0111) không phải ký tự tổ hợp — nó là một chữ riêng. Nếu chỉ xoá dấu tổ hợp, "đ" sẽ còn nguyên và "Đường" thành "Đuong". Phải thay thủ công đ → d.
Lỗi 6: đếm ký tự trong giao diện
Ô nhập có bộ đếm "0/100" — đếm theo gì?
| Chuỗi | len NFC | len NFD | Chênh |
|---|---|---|---|
| Tiếng Việt có dấu | 17 | 24 | +7 (41%) |
| Đường phố Hà Nội | 16 | 24 | +8 (50%) |
Nếu đếm theo NFD, người dùng thấy bộ đếm nhảy nhanh gấp rưỡi so với số chữ họ gõ. Họ sẽ tưởng bị lỗi.
Cách sửa: đếm sau khi chuẩn hoá NFC, và nếu cần chính xác theo cảm nhận người dùng thì đếm grapheme cluster.
Hiệu năng: NFC nhanh hơn NFD
Đo 10.000 lần trên chuỗi 940 ký tự:
| Thao tác | 10.000 lần |
|---|---|
normalize("NFC") | 0,037 s |
normalize("NFD") | 0,243 s |
is_normalized("NFC") | 0,064 s |
NFD chậm hơn NFC 6,6 lần vì phải tách mỗi ký tự thành nhiều code point. Đây là lý do nữa để chuẩn hoá về NFC, không phải NFD.
Lưu ý ngược với trực giác: is_normalized() mất 0,064 s — chậm hơn 1,73 lần so với gọi normalize("NFC") trực tiếp (0,037 s). Nghĩa là kiểm tra trước rồi mới chuẩn hoá lại tốn hơn là chuẩn hoá luôn. Trên Python, cứ gọi normalize("NFC") thẳng — hàm này đã tự kiểm tra nội bộ và trả về ngay nếu chuỗi đã đúng chuẩn.
Bảng chữ cái tiếng Việt: thứ tự đúng
Đây là thứ tự mà sorted() không biết:
a à ả ã ạ
ă ằ ẳ ẵ ặ
â ầ ấ ẩ ẫ ậ
b c d đ e ê g h i k l m n o ô ơ p q r s t u ư v x y
Ba điểm khác biệt so với tiếng Anh:
- ă và â đứng sau a, không phải sau z.
- đ đứng sau d, không phải sau z.
- ô và ơ đứng sau o; ư đứng sau u.
Trong tiếng Việt, dấu thanh không tạo ra chữ cái mới — "à" vẫn là "a" khi sắp xếp. Chỉ ă, â, đ, ê, ô, ơ, ư mới là chữ cái riêng.
Checklist cho app tiếng Việt
| Việc | Làm gì |
|---|---|
| Nhận dữ liệu từ client | ud.normalize("NFC", s) ngay đầu hàm |
| So sánh chuỗi | chuẩn hoá cả hai vế về NFC |
| Sắp xếp danh sách | locale.strxfrm với locale tiếng Việt, hoặc pyuca |
| Cắt chuỗi | chuẩn hoá NFC trước, rồi cắt theo grapheme |
| Validate độ dài | chuẩn hoá NFC ở server, không tin client |
| Tìm kiếm | lưu cột phụ đã bỏ dấu, tìm trên đó |
| Đếm ký tự hiển thị | grapheme cluster, không phải code point |
| Lưu database | NFC, và đặt collation utf8mb4_vi_VN nếu dùng MySQL |
Phù hợp với ai
Đọc bài này nếu:
- Bạn làm app/web có người dùng Việt Nam.
- Bạn đã từng thấy danh sách sắp xếp lạ, hoặc tìm kiếm không ra kết quả dù chắc chắn có.
- Bạn xử lý tên người, địa chỉ, hoặc bất kỳ chuỗi tiếng Việt do người dùng nhập.
Bỏ qua nếu:
- App chỉ hiển thị văn bản tĩnh do bạn tự viết — không có nhập liệu, không có sắp xếp.
- Bạn dùng framework đã xử lý sẵn (một số ORM có collation tiếng Việt).
Ba điều tôi học được
1. Sắp xếp mặc định sai gần như hoàn toàn. 15/18 vị trí lệch. Tôi đã nghĩ sorted() là đủ cho danh sách tiếng Việt — sai hoàn toàn. "ăn" đứng sau "ua" là thứ không người Việt nào chấp nhận.
2. đ là cái bẫy riêng. Nó không phải dấu tổ hợp, nên mọi hàm "bỏ dấu" viết vội đều để lại "đ". Phải thay thủ công, và phải làm cho cả chữ hoa.
3. Cắt chuỗi theo NFD tạo dữ liệu hỏng im lặng. Không có exception, không có cảnh báo — chỉ là "Trường" thành "Trươ". Loại lỗi này chỉ phát hiện khi người dùng phàn nàn, và rất khó truy nguyên vì dữ liệu đã hỏng từ lúc lưu.
Nguồn tham khảo
- Unicode — Normalization Forms — Đặc tả NFC/NFD, lý do tồn tại hai dạng chuẩn hoá
- Python — unicodedata — normalize(), is_normalized(), combining()
- Python — locale.strxfrm — Sắp xếp theo locale, yêu cầu cho tiếng Việt
- pyuca — Unicode Collation Algorithm — Sắp xếp không phụ thuộc locale hệ điều hành
- grapheme — cắt chuỗi theo cụm — Cắt chuỗi an toàn cho ngôn ngữ có dấu
- W3C — Vietnamese Typography — Bảng chữ cái, thứ tự sắp xếp chuẩn của tiếng Việt
- MDN — String.prototype.normalize — Tương đương trong JavaScript