Đang tải quảng cáo...
Lỗi Unicode tiếng Việt: sắp xếp sai 15/18 và cách sửa

Lỗi Unicode tiếng Việt: sắp xếp sai 15/18 và cách sửa

adminQuản trị viên
👁️ 6👍 0
Thủ thuậtCông cụ lập trình

Đo thật 7 lỗi Unicode: sorted() xếp sai 15/18 vị trí, cắt chuỗi NFD mất dấu, validate độ dài từ chối tên hợp lệ. Kèm checklist cho app tiếng Việt.

Đang tải quảng cáo...

Tôi chạy thử 7 tình huống Unicode tiếng Việt trên Python và tìm ra lỗi mà nhiều app Việt Nam đang mắc: sắp xếp danh sách sai 15 trên 18 vị trí, tìm kiếm không khớp, giới hạn độ dài cắt mất dấu.

Đây không phải lỗi hiếm. Đây là mặc định của Python, JavaScript, và gần như mọi ngôn ngữ lập trình.

Vấn đề gốc: một chữ, hai cách mã hoá

Chữ "ò" có thể lưu theo hai cách:

CáchTênLưu thế nàoSố ký tự
NFCdựng sẵnmột ký tự U+00F2 "ò"1
NFDtách rờiU+006F "o" + U+0300 dấu huyền2

Nhìn giống nhau, hiển thị giống nhau, nhưng máy tính coi là hai chuỗi khác nhau.

Số đo thật trên Python:

Chuỗilen NFClen NFDBằng nhau?Byte NFCByte NFD
"Hòa bình"810False1012
"Tiếng Việt"1014False1418
"Đường"58False912

"Tiếng Việt" dài 10 ký tự nếu NFC, 14 ký tự nếu NFD. Cùng một chữ.

Lỗi 1: so sánh chuỗi thất bại

a = "Hòa bình"                       # NFC
b = unicodedata.normalize("NFD", "Hòa bình")
a == b          # False  <- day la loi
"Hòa" in b      # False  <- tim kiem cung hong

Đây là lỗi phổ biến nhất. Người dùng nhập tên từ điện thoại (thường NFD trên macOS) và từ Windows (thường NFC) — hệ thống coi là hai người khác nhau.

Cách sửa: chuẩn hoá về NFC ngay khi nhận dữ liệu.

import unicodedata as ud
a = ud.normalize("NFC", a)
b = ud.normalize("NFC", b)
a == b          # True

Lỗi 2: sắp xếp sai 15/18 vị trí

Đây là lỗi nghiêm trọng nhất, và hầu như ai cũng mắc.

Tôi sắp xếp 18 từ tiếng Việt bằng hai cách:

words = ["ăn","an","âng","ang","ba","bà","cà","ca","đi","di",
         "du","đu","ông","ong","ơn","on","ưa","ua"]

sorted(words)                              # mac dinh
sorted(words, key=locale.strxfrm)          # locale vi_VN

Kết quả:

sorted()     : an, ang, ba, bà, ca, cà, di, du, on, ong, ua,
               âng, ông, ăn, đi, đu, ơn, ưa

locale vi_VN : an, ang, ăn, âng, ba, bà, ca, cà, di, du, đi,
               đu, on, ong, ông, ơn, ua, ưa

Bản sorted() đặt "ăn" sau "ua" và "đi" sau "ông". Đó là sắp xếp theo mã Unicode, không theo bảng chữ cái tiếng Việt.

Số vị trí lệch: 15 trên 18. Chỉ 3 từ trùng vị trí may mắn.

Lý do: Unicode xếp "ă" (U+0103) sau "z" (U+007A). Với máy tính, "ăn" đứng sau cả "z". Với người Việt, "ăn" đứng sau "an".

Cách sửa:

import locale
locale.setlocale(locale.LC_COLLATE, "vi_VN.UTF-8")
sorted(words, key=locale.strxfrm)

Lưu ý: locale phụ thuộc hệ điều hành. Trên máy chủ Linux tối giản, vi_VN.UTF-8 có thể chưa cài — phải locale-gen vi_VN.UTF-8. Trên Windows, tên locale là Vietnamese_Vietnam.1258 chứ không phải vi_VN.UTF-8.

Nếu cần chạy đa nền tảng, dùng thư viện pyuca hoặc tự viết bảng thứ tự — đừng phụ thuộc locale hệ thống.

Hai cột thẻ: bên trái xếp lộn xộn, bên phải xếp thẳng hàng gọn gàng
Sắp xếp mặc định để 15/18 từ sai vị trí; locale tiếng Việt mới cho thứ tự đúng

Lỗi 3: giới hạn độ dài cắt mất dấu

Đây là lỗi tinh vi nhất, và nó tạo ra dữ liệu hỏng im lặng.

Giả sử bạn giới hạn tên hiển thị 6 ký tự:

ten = "Trường"
ten[:6]                                    # 'Trường'  (NFC, dung)
ud.normalize("NFD", ten)[:6]               # 'Trươ'   (NFD, hong)

Kết quả NFD là 'Trươ' — hai nguyên âm mất dấu hoàn toàn. Nhìn kỹ bạn sẽ thấy nó khác "Truơ".

Thêm ví dụ:

TênNFCNFDCắt 6 theo NFD
Nguyễn68'Nguyê' — mất dấu ngã
Trường69'Trươ' — mất cả hai dấu
Đường58'Đườ' — mất dấu huyền

Cách sửa: luôn chuẩn hoá NFC trước khi cắt chuỗi.

ten_nfc = ud.normalize("NFC", ten)
ten_nfc[:6]         # an toan

Và nếu cắt để hiển thị, cắt theo grapheme cluster chứ không theo code point:

import grapheme
grapheme.slice(ten, 0, 6)
Một dải ruy băng dài đang bị kéo cắt bằng kéo ở vạch đánh dấu
Cắt chuỗi theo NFD làm mất dấu: 'Trường' thành 'Trươ'

Lỗi 4: validate độ dài sai

Cùng một cái tên, đo theo NFC hay NFD cho kết quả khác nhau:

TênNFCNFDGiới hạn 20 ký tự
Nguyễn Văn A1215cả hai PASS
Trần Thị Bích Hà1621NFC PASS / NFD FAIL
Lê Ức58cả hai PASS
Đỗ Đình Đạt1115cả hai PASS

"Trần Thị Bích Hà" dài 16 ký tự theo NFC nhưng 21 theo NFD. Nếu người dùng nhập từ macOS và form giới hạn 20, họ bị từ chối — dù tên chỉ có 16 chữ.

Cách sửa: chuẩn hoá NFC ở tầng API trước khi validate. Đừng tin dữ liệu client gửi lên.

Lỗi 5: tìm kiếm không khớp

db = ud.normalize("NFC", "Hòa Bình")

"Hòa Bình".lower() in db.lower()                          # True
ud.normalize("NFD","hòa bình").lower() in db.lower()      # False
"hoa binh" in db.lower()                                  # False

Trường hợp thứ ba quan trọng: người Việt hay tìm không dấu. Gõ "hoa binh" phải ra "Hòa Bình".

Cách sửa: lưu thêm một cột đã bỏ dấu, tìm trên cột đó.

def strip_accents(s):
    s = ud.normalize("NFD", s)
    s = "".join(c for c in s if not ud.combining(c))
    return s.replace("đ","d").replace("Đ","D")

strip_accents("Đường phố Hà Nội")   # 'Duong pho Ha Noi'
strip_accents("Tiếng Việt")          # 'Tieng Viet'

Cái bẫy: đ (U+0111) không phải ký tự tổ hợp — nó là một chữ riêng. Nếu chỉ xoá dấu tổ hợp, "đ" sẽ còn nguyên và "Đường" thành "Đuong". Phải thay thủ công đ → d.

Lỗi 6: đếm ký tự trong giao diện

Ô nhập có bộ đếm "0/100" — đếm theo gì?

Chuỗilen NFClen NFDChênh
Tiếng Việt có dấu1724+7 (41%)
Đường phố Hà Nội1624+8 (50%)

Nếu đếm theo NFD, người dùng thấy bộ đếm nhảy nhanh gấp rưỡi so với số chữ họ gõ. Họ sẽ tưởng bị lỗi.

Cách sửa: đếm sau khi chuẩn hoá NFC, và nếu cần chính xác theo cảm nhận người dùng thì đếm grapheme cluster.

Hiệu năng: NFC nhanh hơn NFD

Đo 10.000 lần trên chuỗi 940 ký tự:

Thao tác10.000 lần
normalize("NFC")0,037 s
normalize("NFD")0,243 s
is_normalized("NFC")0,064 s

NFD chậm hơn NFC 6,6 lần vì phải tách mỗi ký tự thành nhiều code point. Đây là lý do nữa để chuẩn hoá về NFC, không phải NFD.

Lưu ý ngược với trực giác: is_normalized() mất 0,064 s — chậm hơn 1,73 lần so với gọi normalize("NFC") trực tiếp (0,037 s). Nghĩa là kiểm tra trước rồi mới chuẩn hoá lại tốn hơn là chuẩn hoá luôn. Trên Python, cứ gọi normalize("NFC") thẳng — hàm này đã tự kiểm tra nội bộ và trả về ngay nếu chuỗi đã đúng chuẩn.

Bảng chữ cái tiếng Việt: thứ tự đúng

Đây là thứ tự mà sorted() không biết:

a à ả ã ạ
ă ằ ẳ ẵ ặ
â ầ ấ ẩ ẫ ậ
b c d đ e ê g h i k l m n o ô ơ p q r s t u ư v x y

Ba điểm khác biệt so với tiếng Anh:

  • ă và â đứng sau a, không phải sau z.
  • đ đứng sau d, không phải sau z.
  • ô và ơ đứng sau o; ư đứng sau u.

Trong tiếng Việt, dấu thanh không tạo ra chữ cái mới — "à" vẫn là "a" khi sắp xếp. Chỉ ă, â, đ, ê, ô, ơ, ư mới là chữ cái riêng.

Checklist cho app tiếng Việt

ViệcLàm gì
Nhận dữ liệu từ clientud.normalize("NFC", s) ngay đầu hàm
So sánh chuỗichuẩn hoá cả hai vế về NFC
Sắp xếp danh sáchlocale.strxfrm với locale tiếng Việt, hoặc pyuca
Cắt chuỗichuẩn hoá NFC trước, rồi cắt theo grapheme
Validate độ dàichuẩn hoá NFC ở server, không tin client
Tìm kiếmlưu cột phụ đã bỏ dấu, tìm trên đó
Đếm ký tự hiển thịgrapheme cluster, không phải code point
Lưu databaseNFC, và đặt collation utf8mb4_vi_VN nếu dùng MySQL

Phù hợp với ai

Đọc bài này nếu:

  • Bạn làm app/web có người dùng Việt Nam.
  • Bạn đã từng thấy danh sách sắp xếp lạ, hoặc tìm kiếm không ra kết quả dù chắc chắn có.
  • Bạn xử lý tên người, địa chỉ, hoặc bất kỳ chuỗi tiếng Việt do người dùng nhập.

Bỏ qua nếu:

  • App chỉ hiển thị văn bản tĩnh do bạn tự viết — không có nhập liệu, không có sắp xếp.
  • Bạn dùng framework đã xử lý sẵn (một số ORM có collation tiếng Việt).

Ba điều tôi học được

1. Sắp xếp mặc định sai gần như hoàn toàn. 15/18 vị trí lệch. Tôi đã nghĩ sorted() là đủ cho danh sách tiếng Việt — sai hoàn toàn. "ăn" đứng sau "ua" là thứ không người Việt nào chấp nhận.

2. đ là cái bẫy riêng. Nó không phải dấu tổ hợp, nên mọi hàm "bỏ dấu" viết vội đều để lại "đ". Phải thay thủ công, và phải làm cho cả chữ hoa.

3. Cắt chuỗi theo NFD tạo dữ liệu hỏng im lặng. Không có exception, không có cảnh báo — chỉ là "Trường" thành "Trươ". Loại lỗi này chỉ phát hiện khi người dùng phàn nàn, và rất khó truy nguyên vì dữ liệu đã hỏng từ lúc lưu.

Nguồn tham khảo

Đang tải quảng cáo...
👁️6 lượt xem