Đang tải quảng cáo...
Whisper tiếng Việt: sai bao nhiêu phần trăm, đo thật 3 model

Whisper tiếng Việt: sai bao nhiêu phần trăm, đo thật 3 model

adminQuản trị viên
👁️ 11👍 0
Thủ thuậtAI & tự động hoáSáng tạo & media

Đo WER thật trên 9 câu tiếng Việt: tiny 29,41%, base 19,61%, small 7,84% sau chuẩn hoá số. Kèm cách đo đúng và ngưỡng nhạc nền.

Đang tải quảng cáo...

Tôi tự tạo 10 câu tiếng Việt có ground truth, đọc bằng giọng tổng hợp, rồi chạy ba model Whisper để đo độ chính xác thật. Kết quả có một điều bất ngờ: model nhỏ nhất không hẳn tệ nhất, và điểm số thô đánh lừa rất nhiều.

Bảng kết quả đo thật

9 trên 10 câu có audio hợp lệ (một câu lỗi khi tạo). Tổng thời lượng 33,86 giây tiếng Việt.

ModelDung lượngWER (thô)WER (chuẩn hoá số)Tốc độ
tiny-q8_042 MB32,35%29,41%0,22× thời gian thực
base-q8_078 MB31,37%19,61%0,37× thời gian thực
small-q8_0252 MB19,61%7,84%0,81× thời gian thực

Dòng quan trọng nhất là small: 7,84% WER sau khi chuẩn hoá số. Nghĩa là cứ 100 từ thì sai chưa tới 8 từ — dùng được cho phụ đề thực tế.

Ba cột giảm dần độ cao trên nền kem, tượng trưng cho ba mức độ chính xác của model
Ba model, ba mức sai khác nhau: tiny 29,41%, base 19,61%, small 7,84% WER sau chuẩn hoá

Vì sao WER thô lại đánh lừa

Đây là phần quan trọng nhất của bài này. Nhìn WER thô, bạn sẽ tưởng model small sai 19,61%. Nhưng khi đọc từng lỗi, tôi thấy phần lớn là khác định dạng, không phải nhận dạng sai.

Ví dụ câu 2:

Ground truth: Giá của chiếc áo này là bốn trăm năm mươi nghìn đồng.
Whisper:      Giá của chiếc áo này là 450.000 đồng.

Whisper nghe đúng hoàn toàn. Nó chỉ viết số thay vì viết chữ. Nhưng WER tính "bốn trăm năm mươi nghìn" (4 từ) thành 1 từ "450.000" → cộng 3 lỗi oan.

Câu 4 tương tự: "tám mươi phần trăm" → "80%". Câu 5: "mười triệu" → "10 triệu".

Sau khi viết hàm chuyển số thành chữ tiếng Việt rồi đo lại, WER của small giảm từ 19,61% xuống 7,84% — giảm 60% số lỗi chỉ vì sửa cách đo.

Bài học: đừng bao giờ đánh giá ASR trên số liệu thô. Phải chuẩn hoá định dạng trước, nếu không bạn sẽ chọn sai model hoặc đánh giá thấp sản phẩm của mình.

Lỗi thật còn lại của model small

Đây là những lỗi thật sự sau khi đã trừ phần định dạng:

CâuĐúngWhisper nghe thànhLoại lỗi
s03chúng tôi sẽ họpchúng tôi sẽ họcsai từ (họp/học)
s08đường phố đông đúc vì trời mưaĐường Phố Đông Đúc vị trời mưaviết hoa sai + sai từ
s09rất dễ hiểu và nhiệt tìnhrất dễ hiểu pha nhiệt tìnhsai từ
s10khuyến mãi kéo dàikhuyến mại chéo dàichính tả + sai từ

Nhận xét: các lỗi đều rơi vào âm gần nhau trong tiếng Việt — họp/học, và/pha, kéo/chéo. Đây là hạn chế cố hữu của Whisper với tiếng Việt, không phải lỗi cấu hình.

Tờ giấy có bút chì đang sửa lỗi, kèm dấu tích và dấu sửa bài
Chuẩn hoá định dạng trước khi đo: viết số thành chữ rồi mới tính WER

Cách đo đúng

Đây là hàm tôi dùng. Bạn có thể copy để tự đánh giá:

import re

DV = ["không","một","hai","ba","bốn","năm","sáu","bảy","tám","chín"]

def num2vi(n):
    if n == 0: return "không"
    parts = []
    for val, name in [(10**9,"tỷ"), (10**6,"triệu"), (10**3,"nghìn")]:
        if n >= val:
            q, n = divmod(n, val)
            parts.append(_3digit(q) + " " + name)
    if n: parts.append(_3digit(n))
    return " ".join(parts).strip()

def fix_numbers(s):
    return re.sub(r"\\d[\\d.,]*",
                  lambda m: num2vi(int(re.sub(r"[.,]", "", m.group(0)))),
                  s)

def norm(s):
    s = s.lower().replace("đ", "d")
    s = re.sub(r"[^\\w\\s]", " ", s)
    return fix_numbers(" ".join(s.split()))

Hai chi tiết dễ bỏ sót:

  • .replace("đ", "d") — phải làm trước khi xoá ký tự đặc biệt, nếu không "đ" bị xoá mất và mọi từ có đ đều sai.
  • Tách số bằng [.,] — "450.000" và "450,000" đều phải hiểu là 450000.

Tốc độ thật: chậm hơn bạn tưởng

Đây là con số nhiều người không kiểm tra. Trên audio 33,86 giây, CPU 8 luồng:

ModelThời gianHệ sốVideo 10 phút mất
tiny7,4 s0,22×2,2 phút
base12,4 s0,37×3,7 phút
small27,4 s0,81×8,1 phút

small nhanh hơn thời gian thực (0,81×), nhưng không nhanh gấp nhiều lần. Video 1 giờ sẽ mất khoảng 49 phút.

Nếu bạn cần nhanh hơn, có ba cách:

  • Dùng GPU — bản CUDA nhanh hơn 5–15 lần tuỳ card.
  • Chạy song song theo đoạn — cắt audio thành nhiều phần, chạy nhiều tiến trình. Nhưng phải cắt ở chỗ có khoảng lặng, nếu không sẽ mất chữ ở mối nối.
  • Dùng VAD — bỏ qua đoạn không có tiếng nói. Video có nhiều nhạc nền hoặc im lặng sẽ nhanh hơn đáng kể.

Nhạc nền ảnh hưởng đến đâu

Tôi trộn nhạc nền (sine 220 Hz + nhiễu hồng) vào câu nói rồi tăng dần âm lượng:

Mức nhạcKết quả nhận dạng
0,35×đúng hoàn toàn
0,6×đúng hoàn toàn
1,0×đúng hoàn toàn
1,6×sai — "Thành phố" thành "Hình Phố"

Ngưỡng an toàn là nhạc nhỏ hơn hoặc bằng giọng nói. Vượt qua mức đó, Whisper bắt đầu nhầm.

Tôi cũng thử lọc nhiễu bằng afftdn trước khi nhận dạng — kết quả không khác biệt ở mức 0,35×. Nghĩa là đừng mất thời gian lọc nhiễu nếu nhạc đã nhỏ; chỉ lọc khi nhạc lớn.

Tốt nhất vẫn là tách giọng bằng model chuyên dụng (Demucs, MDX-Net) trước khi đưa vào Whisper. Đó là bước riêng, không làm bằng FFmpeg được.

Cấu hình chạy đúng

whisper-cli.exe -m ggml-small-q8_0.bin \\
  -f audio.wav \\
  -l vi \\
  -t 8 \\
  -nt \\
  --no-prints
Tham sốTác dụngVì sao
-l vichỉ định tiếng Việtbắt buộc — để tự đoán, nó hay nhầm Việt với Thái/Trung
-t 88 luồng CPUđặt bằng số nhân thực, không phải số luồng logic
-ntkhông in timestampsạch output; bỏ nếu cần SRT
--no-printstắt loglog làm chậm khi ghi ra pipe

Audio đầu vào phải là 16 kHz mono PCM:

ffmpeg -nostdin -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le audio.wav

Nếu để 44,1 kHz, Whisper vẫn chạy nhưng phải resample nội bộ — chậm hơn và không chính xác hơn.

Xuất phụ đề SRT

whisper-cli.exe -m ggml-small-q8_0.bin -f audio.wav -l vi -osrt -of sub

Kết quả là sub.srt. Nhưng có hai vấn đề thực tế:

  • Độ dài dòng quá lớn. Whisper cắt theo cụm ngữ nghĩa, có khi 15–20 từ một dòng — không đọc kịp trên màn hình.
  • Không có ngắt dòng đẹp. Phải tự xử lý: giới hạn 42 ký tự/dòng, tối đa 2 dòng, mỗi dòng hiện 2–7 giây.

Phù hợp với ai

Dùng Whisper.cpp nếu:

  • Bạn cần phụ đề tiếng Việt cho video, không muốn gửi lên cloud.
  • Bạn có CPU tầm trung và chấp nhận chờ — 0,81× thời gian thực là mức ổn.
  • Bạn làm nội dung nói rõ, ít tạp âm, không nhạc nền lớn.

Đừng dùng nếu:

  • Bạn cần độ chính xác trên 95% — phải dùng model large hoặc dịch vụ cloud có tiếng Việt tốt hơn.
  • Video có nhạc nền lớn — phải tách giọng trước, thêm một bước nữa.
  • Bạn cần chạy hàng trăm giờ video — đầu tư GPU sẽ rẻ hơn nhiều so với chờ CPU.

Ba điều tôi học được

1. Điểm số thô vô nghĩa nếu không chuẩn hoá. WER của small nhảy từ 19,61% xuống 7,84% chỉ vì sửa cách đo. Nếu chỉ nhìn số đầu, tôi đã kết luận sai rằng Whisper small không dùng được cho tiếng Việt.

2. tiny không tệ như tên của nó. Nó đạt 29,41% WER — tệ hơn base (19,61%) nhưng không cách biệt lớn, trong khi nhanh gấp 1,7 lần và nhẹ bằng một nửa. Với mục đích thử nghiệm hoặc video không quan trọng, tiny là lựa chọn hợp lý.

3. Nhạc nền chịu được đến 1,0×. Tôi tưởng phải tách giọng ngay từ đầu, nhưng thực tế Whisper vẫn đúng khi nhạc nhỏ hơn hoặc bằng giọng. Chỉ từ 1,6× mới hỏng. Biết ngưỡng này giúp bỏ được một bước xử lý trong nhiều trường hợp.

Nguồn tham khảo

Đang tải quảng cáo...
👁️11 lượt xem