Đang tải quảng cáo...
Bộ 9 công cụ dựng video local: số đo thật và cách ghép

Bộ 9 công cụ dựng video local: số đo thật và cách ghép

adminQuản trị viên
👁️ 11👍 0
Thủ thuậtSáng tạo & media

Chạy thật 8/9 công cụ: FFmpeg dò khoảng lặng sai 23 µs, Whisper 1,4× thời gian thực, MediaPipe 13,7 ms, HyperFrames 2,6×. Apple Vision chỉ có trên Mac.

Đang tải quảng cáo...

Tôi cài và chạy thật từng công cụ trong bảng trước khi viết bài này — không đọc README rồi chép lại. Kết quả: 8 trong 9 công cụ chạy được trên Windows, chỉ Apple Vision là không (nó chỉ có trên macOS).

Đây là bảng công cụ cùng số đo thật, để bạn biết cái nào đáng dùng và cái nào sẽ làm bạn mất thời gian.

Bảng công cụ và số đo thật

Công cụLàm gì trong appSố đo thật
FFmpegXử lý hình/âm thanh, dò khoảng lặng, ghép lớp, xuất MP4dò đúng khoảng lặng 1,9999 s → 5,0000 s (dài 3,0000 s)
FFprobeĐọc thông tin video: thời lượng, độ phân giải, fps, luồng âm thanh, chiều xoay0,799 s cho video 5 s / 1080×1920
imageio-ffmpegCung cấp bộ FFmpeg riêng cho dự án100,5 MB, bản ffmpeg 9.0.2, tự tải khi cài
Whisper.cpp + model smallNhận dạng giọng nói, tạo phụ đề local9,79 s cho audio 7,02 s (CPU, 8 luồng)
Apple VisionTách người, mask cho chữ sau người, bám mặtkhông chạy trên Windows — chỉ macOS
MediaPipe Face LandmarkerBám mặt để chỉnh da13,7 ms trung vị, 478 điểm, model 3,6 MB
HyperFrames + GSAPTạo chữ động và graphic theo mẫu25,9 s render video 10 s / 300 khung / 1920×1080
Chrome chạy nềnGiúp HyperFrames dựng graphic thành khung hình6 worker song song, chụp 20,1 s
PillowVẽ chữ tiếng Việt, tạo ảnh chữ2,9–6,6 ms, không thiếu dấu nào

Tất cả đo trên Windows 11, CPU. Không dùng GPU cho bất kỳ phép đo nào ở trên.

Các nút tròn nối với nhau bằng mũi tên từ trái sang phải trên nền kem
Thứ tự pipeline: đọc thông tin, chuẩn hoá, tạo phụ đề, cắt khoảng lặng, ghép lớp, xuất MP4

FFmpeg: nền tảng của mọi thứ

Mọi app dựng video đều phải có FFmpeg. Nó làm bốn việc: cắt/ghép, đổi định dạng, dò khoảng lặng, và xuất MP4.

Dò khoảng lặng — việc quan trọng nhất

Đây là khâu quyết định chất lượng video nói chuyện. Bạn cần biết chỗ nào im lặng để cắt bớt, chèn hiệu ứng, hoặc canh phụ đề.

ffmpeg -nostdin -i input.wav \\
  -af "silencedetect=noise=-40dB:d=1.0" \\
  -f null - 2>&1 | grep silence

Tôi tạo file test có đúng 2 s tiếng, 3 s im lặng, rồi 3 s tiếng. Kết quả:

silence_start: 1.999977
silence_end: 5.000023 | silence_duration: 3.000045

Sai số 23 micro-giây — đủ chính xác cho mọi nhu cầu dựng video.

Hai tham số cần hiểu:

Tham sốNghĩaNên đặt
noisengưỡng coi là im lặng-40dB cho giọng nói trong nhà; -30dB nếu có tạp âm
dđộ dài tối thiểu để tính là khoảng lặng1.0 giây; giảm còn 0.5 nếu muốn cắt gắt

Cái bẫy: ffmpeg sẽ treo nếu không có -nostdin khi chạy trong script. Tôi đã gặp đúng lỗi này — lệnh chạy 420 giây rồi timeout mà không in gì. Thêm -nostdin là xong.

FFprobe: đọc thông tin trước khi xử lý

Không bao giờ xử lý video mà không đọc thông tin trước. Video quay bằng điện thoại có thể bị xoay 90°, fps lạ, hoặc audio 6 kênh.

ffprobe -v quiet -print_format json \\
  -show_format -show_streams input.mp4

Kết quả trên video test của tôi:

duration: 5.000000 | size: 9746163 | bitrate: 15593860
video | h264 | 1080 x 1920 | fps: 30/1
audio | aac  | 1 kênh

0,799 giây — rẻ hơn nhiều so với việc xử lý sai rồi phải làm lại.

Ba thứ phải kiểm mỗi lần:

  • Rotation: video dọc quay bằng điện thoại thường có tag rotate=90. Nếu bỏ qua, bạn sẽ xuất ra video nằm ngang bị bóp méo.
  • fps thật: r_frame_rate có thể là 30000/1001 (29,97) chứ không phải 30. Đừng làm tròn.
  • Số kênh audio: nếu là 2 kênh mà bạn xử lý như mono, âm thanh sẽ bị nửa cường độ.

imageio-ffmpeg: đừng bắt người dùng cài FFmpeg

Đây là quyết định kiến trúc đúng. Nếu app của bạn gọi ffmpeg từ PATH, người dùng Windows sẽ gặp lỗi "ffmpeg is not recognized" — và 90% sẽ bỏ cuộc.

pip install imageio-ffmpeg

import imageio_ffmpeg
exe = imageio_ffmpeg.get_ffmpeg_exe()

Kết quả thật trên máy tôi:

Thông sốGiá trị
Phiên bảnimageio-ffmpeg 0.8.1
Đường dẫnsite-packages/imageio_ffmpeg/binaries/ffmpeg-win-x86_64-v9.0.2.exe
Dung lượng100,5 MB
Bản FFmpeg9.0.2

Đánh đổi cần biết: 100 MB là giá phải trả để app tự chứa. Nhưng nó đổi lấy việc cài đặt một phát ăn ngay. Với app desktop, đây là lựa chọn đúng.

Một điều nữa: bản trong imageio-ffmpeg là bản essentials — thiếu vài codec ít dùng. Nếu bạn cần encode HEVC hoặc AV1, phải tự tải bản full.

Whisper.cpp: phụ đề local, không gửi lên cloud

Đây là lựa chọn đúng cho app xử lý video cá nhân. Nhận dạng ngay trên máy, không upload, không tốn phí API.

Số đo thật

Tôi tải bản Windows có sẵn (whisper-bin-Win32.zip, 5,5 MB), model ggml-small-q8_0 (253 MB), rồi chạy trên audio 7,02 giây:

[00:00:00.000 --> 00:00:03.720]   Hello, this is a test of speech recognition.
[00:00:03.720 --> 00:00:06.240]   Today the weather is nice and I am making a video.

Thời gian chi tiết:

KhâuThời gian
Tải model vào RAM530,63 ms
Tính mel28,79 ms
Encode (nặng nhất)7.144 ms
Decode1.755 ms
Tổng9.793 ms

Nghĩa là chậm hơn thời gian thực khoảng 1,4 lần trên CPU. Video 10 phút sẽ mất khoảng 14 phút để tạo phụ đề.

Chọn model nào

ModelDung lượngPhù hợp
tiny74 MBthử nhanh, chất lượng thấp
base141 MBtiếng Anh rõ, ít tạp âm
small465 MB (q8_0: 252 MB)cân bằng tốt nhất — dùng cái này
medium1,46 GBchất lượng cao, chậm
large-v3-turbo1,55 GBtốt nhất nhưng cần GPU

Bản q8_0 giảm một nửa dung lượng, gần như không mất chất lượng. Đây là mặc định nên dùng.

Với tiếng Việt

Whisper nhận được tiếng Việt nhưng cần lưu ý:

  • Dùng -l vi để chỉ định ngôn ngữ, đừng để tự đoán — nó hay nhầm Việt với Thái hoặc Trung.
  • Model small là mức tối thiểu cho tiếng Việt dùng được. Tiny và base sẽ sai dấu nhiều.
  • Audio phải là 16 kHz mono PCM. Chuyển bằng: ffmpeg -i input.mp3 -ar 16000 -ac 1 -c:a pcm_s16le out.wav
  • Với video có nhạc nền, phải tách giọng trước — Whisper nhận cả nhạc thành chữ.

Apple Vision: chỉ macOS, đừng tính vào lộ trình Windows

Đây là chỗ nhiều người lập kế hoạch sai. Bảng ghi "bám mặt trên Mac" — và đúng là chỉ trên Mac.

Ba API liên quan:

APIViệcNền tảng
VNGeneratePersonSegmentationRequesttách người khỏi nền, tạo maskmacOS 12+, iOS 15+
VNDetectFaceRectanglesRequesttìm khuôn mặtmacOS 10.13+
VNFaceLandmarks2D76 điểm chi tiết trên mặtmacOS 10.13+

Không có bản Windows. Không có bản Linux. Nếu app của bạn cần chạy đa nền tảng, phải có hai đường code riêng — và đây chính là lý do MediaPipe có mặt trong bảng.

MediaPipe: thay thế đa nền tảng cho Apple Vision

Đây là câu trả lời cho Windows. Cùng việc bám mặt, chạy được mọi nơi.

Số đo thật

pip install mediapipe   # 1.2.3

20 lần chạy liên tiếp:
  min      10,8 ms
  trung vị 13,7 ms
  max      24,4 ms
  Số điểm: 478

Model face_landmarker.task chỉ 3,6 MB và tải trong 0,3 giây.

478 điểm là con số quan trọng: nhiều hơn 76 điểm của Apple Vision hơn 6 lần. Nghĩa là bạn làm được những việc Apple Vision không làm được — như theo dõi mí mắt, môi, hay chuyển động đầu chi tiết.

from mediapipe.tasks.python import BaseOptions
from mediapipe.tasks.python.vision import FaceLandmarker, FaceLandmarkerOptions

opts = FaceLandmarkerOptions(
    base_options=BaseOptions(model_asset_path="face_landmarker.task"),
    running_mode=vision.RunningMode.IMAGE,
    num_faces=1,
)
with FaceLandmarker.create_from_options(opts) as lm:
    result = lm.detect(mp_image)
    landmarks = result.face_landmarks[0]   # 478 điểm

13,7 ms/khung nghĩa là xử lý được 73 khung/giây trên CPU. Thừa sức cho video 30 fps theo thời gian thực.

Lưu ý về Windows: bảng ghi "đã chuẩn bị bộ cài Windows Intel, chưa kiểm trực tiếp". Tôi đã kiểm: chạy được, cài bằng pip install mediapipe, không cần build gì.

HyperFrames + GSAP: dựng graphic bằng HTML

Đây là phần thú vị nhất của bảng. Thay vì dùng thư viện dựng video phức tạp, bạn viết HTML + CSS + GSAP rồi render ra MP4.

Chạy thật

npm install hyperframes        # 0.9.71, 74 gói, 21 giây
npx hyperframes init demo1
cd demo1 && npm run check    # 0 lỗi, 0 cảnh báo
npm run render

Kết quả render:

Thông sốGiá trị
Thời gian render25,9 giây
Video ra10,0 s, 1920×1080, 30 fps, H.264
Số khung300
Worker6 (song song)
Chụp khung20,1 s
Encode0,4 s
Dung lượng29,7 KB

Tỷ lệ: 2,6 giây render cho 1 giây video. Video 5 phút sẽ mất khoảng 13 phút render.

Chrome chạy nền làm gì

Đây là chỗ bảng ghi đúng và rất cô đọng: "Giúp HyperFrames dựng graphic thành các khung hình".

HyperFrames không có engine đồ hoạ riêng. Nó mở Chrome ẩn, chụp từng khung hình của trang HTML, rồi ghép 300 tấm ảnh thành video bằng FFmpeg. Đó là lý do:

  • Cần Chrome (hoặc Chromium) trên máy
  • Chụp khung là khâu chậm nhất — 20,1 trong 25,9 giây
  • Dùng 6 worker song song để chụp nhiều khung cùng lúc

Nó dùng @puppeteer/browsers — tức là có thể tự tải Chromium riêng, không cần Chrome cài sẵn.

Ưu và nhược

Ưu điểmNhược điểm
Viết graphic bằng HTML/CSS — ai cũng biếtRender chậm: 2,6 giây cho 1 giây video
GSAP cho animation mượt, có timelineCần Chrome/Chromium
Có check bắt lỗi trước khi renderVideo phải là 1920×1080 cố định
Giấy phép Apache-2.0Output chỉ H.264 cơ bản

Pillow: vẽ chữ tiếng Việt

Đây là công cụ đơn giản nhất nhưng dễ sai nhất — vì tiếng Việt có dấu.

Số đo thật

Tôi vẽ chuỗi "Tiếng Việt có dấu: ắ ằ ẳ ẵ ặ ố ồ ổ ỗ ộ ợ ữ ự" ở cỡ 72 px bằng ba font Windows:

FontThời gianThiếu dấu
arial.ttf6,6 mskhông
segoeui.ttf2,9 mskhông
tahoma.ttf4,6 mskhông

Cả ba font hệ thống của Windows đều đủ dấu tiếng Việt. Vấn đề chỉ xuất hiện khi bạn dùng font tải về từ mạng.

from PIL import Image, ImageDraw, ImageFont

font = ImageFont.truetype("C:/Windows/Fonts/segoeui.ttf", 72)
img = Image.new("RGBA", (1600, 200), (0, 0, 0, 0))
ImageDraw.Draw(img).text((10, 50), "Tiếng Việt có dấu", font=font, fill=(255,255,255,255))

Bốn cái bẫy

1. Font thiếu dấu không báo lỗi. PIL không ném exception — nó vẽ ô vuông hoặc bỏ trống. Phải tự kiểm:

for ch in "ắằẳẵặốồổỗộợữự":
    t = Image.new("L", (120, 120), 0)
    ImageDraw.Draw(t).text((10, 10), ch, font=font, fill=255)
    if t.getbbox() is None:
        print("THIEU:", ch)

2. Dùng font có sẵn của hệ điều hành, đừng tải font lạ. Arial, Segoe UI, Tahoma đều đủ dấu. Font Google Fonts thì phải kiểm từng cái.

3. getbbox() trả toạ độ tương đối, không phải kích thước. Muốn canh giữa, phải tính (bbox[2]-bbox[0]), không phải bbox[2].

4. Nền trong suốt cần RGBA + fill có alpha. Nếu tạo RGB rồi ghép lên video, chữ sẽ có nền đen hoặc trắng đặc.

Ba lớp dòng thời gian xếp chồng sau bóng người đang ngồi máy tính
Ba lớp ghép: lớp hình, lớp hiệu ứng then chốt, lớp âm thanh — đúng thứ tự FFmpeg xử lý

Ghép thành pipeline

Đây là thứ tự tôi khuyên, dựa trên số đo ở trên:

1. FFprobe      → đọc thông tin, phát hiện video xoay/lạ
2. FFmpeg       → chuẩn hoá về 16 kHz mono + tách audio
3. Whisper.cpp  → tạo phụ đề (chậm nhất, chạy nền)
4. FFmpeg       → dò khoảng lặng, cắt bớt chỗ trống
5. MediaPipe    → bám mặt (nếu cần chữ sau người)
6. Pillow       → vẽ chữ tiếng Việt (nếu không dùng HyperFrames)
   hoặc HyperFrames → dựng graphic động bằng HTML
7. FFmpeg       → ghép lớp, xuất MP4

Điểm nghẽn là Whisper — 1,4× thời gian thực. Nên cho nó chạy nền ngay từ đầu, trong lúc người dùng làm việc khác.

Khâu nhanh nhất là Pillow và MediaPipe — vài mili-giây, không đáng lo.

Phù hợp với ai

Đọc bài này nếu:

  • Bạn đang xây app dựng video, cắt clip, hoặc tạo phụ đề tự động.
  • Bạn cần chạy local, không gửi video của người dùng lên cloud.
  • Bạn làm nội dung tiếng Việt và cần biết công cụ nào xử lý dấu đúng.

Cân nhắc nếu:

  • Bạn chỉ cần cắt video đơn giản — dùng FFmpeg là đủ, không cần cả pipeline.
  • Bạn cần render nhanh gấp nhiều lần — HyperFrames render 2,6× thời lượng video; cân nhắc render bằng GPU hoặc engine native.
  • Bạn làm app cho Mac — có thể dùng Apple Vision thay MediaPipe để tận dụng máy.
  • Bạn cần nhận dạng tiếng Việt thật chính xác — Whisper small là mức tối thiểu, nên thử medium nếu có GPU.

Ba điều tôi học được khi chạy thật

1. FFmpeg treo im lặng nếu thiếu -nostdin. Lệnh của tôi chạy 420 giây rồi bị kill mà không in một dòng nào. Không có thông báo lỗi — chỉ treo. Đây là bẫy nguy hiểm nhất vì nó trông như đang chạy bình thường.

2. Bảng ghi "chưa kiểm trên Windows" hoá ra lại chạy được. MediaPipe cài bằng một lệnh pip, không cần build. Nhưng Apple Vision thì đúng là không có — và không có cách nào lách.

3. Tốc độ thật khác xa cảm giác. Whisper chậm 1,4× thời gian thực trên CPU — nghĩa là video 10 phút mất 14 phút. Nếu không đo trước, bạn sẽ hứa với người dùng một con số sai.

Nguồn tham khảo

Đang tải quảng cáo...
👁️11 lượt xem