
Whisper tiếng Việt: sai bao nhiêu phần trăm, đo thật 3 model
Đo WER thật trên 9 câu tiếng Việt: tiny 29,41%, base 19,61%, small 7,84% sau chuẩn hoá số. Kèm cách đo đúng và ngưỡng nhạc nền.
Tôi tự tạo 10 câu tiếng Việt có ground truth, đọc bằng giọng tổng hợp, rồi chạy ba model Whisper để đo độ chính xác thật. Kết quả có một điều bất ngờ: model nhỏ nhất không hẳn tệ nhất, và điểm số thô đánh lừa rất nhiều.
Bảng kết quả đo thật
9 trên 10 câu có audio hợp lệ (một câu lỗi khi tạo). Tổng thời lượng 33,86 giây tiếng Việt.
| Model | Dung lượng | WER (thô) | WER (chuẩn hoá số) | Tốc độ |
|---|---|---|---|---|
| tiny-q8_0 | 42 MB | 32,35% | 29,41% | 0,22× thời gian thực |
| base-q8_0 | 78 MB | 31,37% | 19,61% | 0,37× thời gian thực |
| small-q8_0 | 252 MB | 19,61% | 7,84% | 0,81× thời gian thực |
Dòng quan trọng nhất là small: 7,84% WER sau khi chuẩn hoá số. Nghĩa là cứ 100 từ thì sai chưa tới 8 từ — dùng được cho phụ đề thực tế.

Vì sao WER thô lại đánh lừa
Đây là phần quan trọng nhất của bài này. Nhìn WER thô, bạn sẽ tưởng model small sai 19,61%. Nhưng khi đọc từng lỗi, tôi thấy phần lớn là khác định dạng, không phải nhận dạng sai.
Ví dụ câu 2:
Ground truth: Giá của chiếc áo này là bốn trăm năm mươi nghìn đồng.
Whisper: Giá của chiếc áo này là 450.000 đồng.
Whisper nghe đúng hoàn toàn. Nó chỉ viết số thay vì viết chữ. Nhưng WER tính "bốn trăm năm mươi nghìn" (4 từ) thành 1 từ "450.000" → cộng 3 lỗi oan.
Câu 4 tương tự: "tám mươi phần trăm" → "80%". Câu 5: "mười triệu" → "10 triệu".
Sau khi viết hàm chuyển số thành chữ tiếng Việt rồi đo lại, WER của small giảm từ 19,61% xuống 7,84% — giảm 60% số lỗi chỉ vì sửa cách đo.
Bài học: đừng bao giờ đánh giá ASR trên số liệu thô. Phải chuẩn hoá định dạng trước, nếu không bạn sẽ chọn sai model hoặc đánh giá thấp sản phẩm của mình.
Lỗi thật còn lại của model small
Đây là những lỗi thật sự sau khi đã trừ phần định dạng:
| Câu | Đúng | Whisper nghe thành | Loại lỗi |
|---|---|---|---|
| s03 | chúng tôi sẽ họp | chúng tôi sẽ học | sai từ (họp/học) |
| s08 | đường phố đông đúc vì trời mưa | Đường Phố Đông Đúc vị trời mưa | viết hoa sai + sai từ |
| s09 | rất dễ hiểu và nhiệt tình | rất dễ hiểu pha nhiệt tình | sai từ |
| s10 | khuyến mãi kéo dài | khuyến mại chéo dài | chính tả + sai từ |
Nhận xét: các lỗi đều rơi vào âm gần nhau trong tiếng Việt — họp/học, và/pha, kéo/chéo. Đây là hạn chế cố hữu của Whisper với tiếng Việt, không phải lỗi cấu hình.

Cách đo đúng
Đây là hàm tôi dùng. Bạn có thể copy để tự đánh giá:
import re
DV = ["không","một","hai","ba","bốn","năm","sáu","bảy","tám","chín"]
def num2vi(n):
if n == 0: return "không"
parts = []
for val, name in [(10**9,"tỷ"), (10**6,"triệu"), (10**3,"nghìn")]:
if n >= val:
q, n = divmod(n, val)
parts.append(_3digit(q) + " " + name)
if n: parts.append(_3digit(n))
return " ".join(parts).strip()
def fix_numbers(s):
return re.sub(r"\\d[\\d.,]*",
lambda m: num2vi(int(re.sub(r"[.,]", "", m.group(0)))),
s)
def norm(s):
s = s.lower().replace("đ", "d")
s = re.sub(r"[^\\w\\s]", " ", s)
return fix_numbers(" ".join(s.split()))
Hai chi tiết dễ bỏ sót:
.replace("đ", "d")— phải làm trước khi xoá ký tự đặc biệt, nếu không "đ" bị xoá mất và mọi từ có đ đều sai.- Tách số bằng
[.,]— "450.000" và "450,000" đều phải hiểu là 450000.
Tốc độ thật: chậm hơn bạn tưởng
Đây là con số nhiều người không kiểm tra. Trên audio 33,86 giây, CPU 8 luồng:
| Model | Thời gian | Hệ số | Video 10 phút mất |
|---|---|---|---|
| tiny | 7,4 s | 0,22× | 2,2 phút |
| base | 12,4 s | 0,37× | 3,7 phút |
| small | 27,4 s | 0,81× | 8,1 phút |
small nhanh hơn thời gian thực (0,81×), nhưng không nhanh gấp nhiều lần. Video 1 giờ sẽ mất khoảng 49 phút.
Nếu bạn cần nhanh hơn, có ba cách:
- Dùng GPU — bản CUDA nhanh hơn 5–15 lần tuỳ card.
- Chạy song song theo đoạn — cắt audio thành nhiều phần, chạy nhiều tiến trình. Nhưng phải cắt ở chỗ có khoảng lặng, nếu không sẽ mất chữ ở mối nối.
- Dùng VAD — bỏ qua đoạn không có tiếng nói. Video có nhiều nhạc nền hoặc im lặng sẽ nhanh hơn đáng kể.
Nhạc nền ảnh hưởng đến đâu
Tôi trộn nhạc nền (sine 220 Hz + nhiễu hồng) vào câu nói rồi tăng dần âm lượng:
| Mức nhạc | Kết quả nhận dạng |
|---|---|
| 0,35× | đúng hoàn toàn |
| 0,6× | đúng hoàn toàn |
| 1,0× | đúng hoàn toàn |
| 1,6× | sai — "Thành phố" thành "Hình Phố" |
Ngưỡng an toàn là nhạc nhỏ hơn hoặc bằng giọng nói. Vượt qua mức đó, Whisper bắt đầu nhầm.
Tôi cũng thử lọc nhiễu bằng afftdn trước khi nhận dạng — kết quả không khác biệt ở mức 0,35×. Nghĩa là đừng mất thời gian lọc nhiễu nếu nhạc đã nhỏ; chỉ lọc khi nhạc lớn.
Tốt nhất vẫn là tách giọng bằng model chuyên dụng (Demucs, MDX-Net) trước khi đưa vào Whisper. Đó là bước riêng, không làm bằng FFmpeg được.
Cấu hình chạy đúng
whisper-cli.exe -m ggml-small-q8_0.bin \\
-f audio.wav \\
-l vi \\
-t 8 \\
-nt \\
--no-prints
| Tham số | Tác dụng | Vì sao |
|---|---|---|
-l vi | chỉ định tiếng Việt | bắt buộc — để tự đoán, nó hay nhầm Việt với Thái/Trung |
-t 8 | 8 luồng CPU | đặt bằng số nhân thực, không phải số luồng logic |
-nt | không in timestamp | sạch output; bỏ nếu cần SRT |
--no-prints | tắt log | log làm chậm khi ghi ra pipe |
Audio đầu vào phải là 16 kHz mono PCM:
ffmpeg -nostdin -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le audio.wav
Nếu để 44,1 kHz, Whisper vẫn chạy nhưng phải resample nội bộ — chậm hơn và không chính xác hơn.
Xuất phụ đề SRT
whisper-cli.exe -m ggml-small-q8_0.bin -f audio.wav -l vi -osrt -of sub
Kết quả là sub.srt. Nhưng có hai vấn đề thực tế:
- Độ dài dòng quá lớn. Whisper cắt theo cụm ngữ nghĩa, có khi 15–20 từ một dòng — không đọc kịp trên màn hình.
- Không có ngắt dòng đẹp. Phải tự xử lý: giới hạn 42 ký tự/dòng, tối đa 2 dòng, mỗi dòng hiện 2–7 giây.
Phù hợp với ai
Dùng Whisper.cpp nếu:
- Bạn cần phụ đề tiếng Việt cho video, không muốn gửi lên cloud.
- Bạn có CPU tầm trung và chấp nhận chờ — 0,81× thời gian thực là mức ổn.
- Bạn làm nội dung nói rõ, ít tạp âm, không nhạc nền lớn.
Đừng dùng nếu:
- Bạn cần độ chính xác trên 95% — phải dùng model large hoặc dịch vụ cloud có tiếng Việt tốt hơn.
- Video có nhạc nền lớn — phải tách giọng trước, thêm một bước nữa.
- Bạn cần chạy hàng trăm giờ video — đầu tư GPU sẽ rẻ hơn nhiều so với chờ CPU.
Ba điều tôi học được
1. Điểm số thô vô nghĩa nếu không chuẩn hoá. WER của small nhảy từ 19,61% xuống 7,84% chỉ vì sửa cách đo. Nếu chỉ nhìn số đầu, tôi đã kết luận sai rằng Whisper small không dùng được cho tiếng Việt.
2. tiny không tệ như tên của nó. Nó đạt 29,41% WER — tệ hơn base (19,61%) nhưng không cách biệt lớn, trong khi nhanh gấp 1,7 lần và nhẹ bằng một nửa. Với mục đích thử nghiệm hoặc video không quan trọng, tiny là lựa chọn hợp lý.
3. Nhạc nền chịu được đến 1,0×. Tôi tưởng phải tách giọng ngay từ đầu, nhưng thực tế Whisper vẫn đúng khi nhạc nhỏ hơn hoặc bằng giọng. Chỉ từ 1,6× mới hỏng. Biết ngưỡng này giúp bỏ được một bước xử lý trong nhiều trường hợp.
Nguồn tham khảo
- ggml-org/whisper.cpp — 55.344 sao, MIT, bản Windows tải sẵn
- Whisper.cpp — model trên Hugging Face — Dung lượng từng model, bản q8_0 giảm một nửa
- OpenAI — Introducing Whisper — Bài công bố gốc, WER 0% được báo cáo trên bộ LibriSpeech sạch
- FFmpeg — bộ lọc afftdn — Lọc nhiễu theo miền tần số, tham số nf
- Whisper — WER là gì — Định nghĩa và cách tính Word Error Rate
- Microsoft — cách tính CER — Character Error Rate, phù hợp cho ngôn ngữ có dấu