Đang tải quảng cáo...
Chạy AI local bằng Ollama: 11,9 token/giây đo thật

Chạy AI local bằng Ollama: 11,9 token/giây đo thật

adminQuản trị viên
👁️ 6👍 0
Thủ thuậtAI & tự động hoá

Đo thật Ollama llama3.2:3b trên GTX 1060 3GB: 11,9 tok/s, cold start 26 giây, 3 request song song không tăng thông lượng. Kèm cách giữ model trong RAM.

Đang tải quảng cáo...

Tôi chạy Ollama với llama3.2:3b trên máy có GTX 1060 3GB và 8 nhân CPU, đo từng con số bằng streaming API. Kết quả: 11,9 token/giây — dùng được, nhưng có ba giới hạn bạn phải biết trước khi cam kết với ai đó.

Bảng số đo thật

Phép đoKết quả
Nạp model lần đầu (cold start)25,98 s
Tốc độ sinh (prompt ngắn)11,9 tok/s
Thời gian tới token đầu (TTFT)0,437 s
Xử lý prompt 35 token0,428 s → 82 tok/s
Prompt 1.855 token5,86 s → 317 tok/s
Sinh 800 token75,4 s → 10,7 tok/s
Embedding (768 chiều)334 ms
3 request song song10,5 tok/s tổng (không tăng)

Model: llama3.2:3b, 1,88 GB, quantize Q4_K_M, context 131.072 token.

Điều 1: nạp model chậm hơn bạn tưởng

25,98 giây cho lần đầu. Nếu bạn viết script gọi Ollama cho mỗi câu hỏi rồi thoát, mỗi lần chạy đều trả giá 26 giây này.

Cách đúng: giữ model trong RAM giữa các lần gọi. Ollama tự làm việc này, nhưng nó sẽ tự đổ model sau 5 phút không dùng.

# giu model trong RAM 30 phut
curl http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.2:3b",
  "keep_alive": "30m"
}'

Còn nếu muốn đổ ngay để nhường RAM cho việc khác: "keep_alive": 0.

Đồng hồ đo tốc độ có kim ở mức thấp bên cạnh chồng chip xếp lớp
11,9 token/giây trên GTX 1060 3GB — nhanh gấp đôi tốc độ đọc của người

Điều 2: 11,9 tok/s là con số thật, không phải marketing

Đây là tốc độ đọc của người: khoảng 4–5 từ/giây khi đọc quen. Một token tiếng Anh trung bình khoảng 0,75 từ, nên 11,9 tok/s ≈ 9 từ/giây.

Nghĩa là: AI local sinh chữ nhanh gấp đôi tốc độ bạn đọc. Cảm giác không chậm.

Nhưng khi bạn cần sinh 800 token (một bài dài), nó mất 75,4 giây. Trong lúc đó bạn ngồi chờ. Đây là điểm khác biệt lớn so với API cloud — ở đó bạn nhận được khoảng 50–100 tok/s.

Độ dài outputThời gian localCảm giác
50 token (một câu trả lời ngắn)4,7 sổn
200 token (một đoạn)18,7 schờ được
800 token (một bài)75,4 s (đo thật)bắt đầu sốt ruột
2.000 token (một chương)~3,1 phútphải làm việc khác

Điều 3: prompt dài không làm chậm nhiều — nhưng TTFT thì có

Đây là chỗ nhiều người hiểu sai. Xử lý prompt nhanh hơn sinh rất nhiều:

LoạiTốc độChênh
Đọc prompt (prompt eval)317 tok/s—
Sinh chữ (eval)11,9 tok/schậm hơn 27 lần

Vì thế prompt 1.855 token chỉ mất 5,86 giây để đọc, nhưng làm TTFT tăng từ 0,44 s lên 5,90 s.

Ứng dụng thực tế: đừng ngại đưa tài liệu dài vào prompt. 10.000 token tài liệu chỉ tốn khoảng 32 giây đọc — rẻ hơn nhiều so với việc AI sinh sai rồi phải hỏi lại.

Điều 4: chạy song song KHÔNG tăng tổng thông lượng

Đây là kết quả quan trọng nhất, và nó ngược với trực giác.

Tôi chạy 3 request cùng lúc, mỗi cái sinh 67 token:

LuồngThời gianTốc độ riêng
luồng 013,3 s5,0 tok/s
luồng 17,3 s9,2 tok/s
luồng 219,1 s3,5 tok/s
Tổng19,1 s10,5 tok/s

Tổng thông lượng 10,5 tok/s — gần như bằng chạy một request (11,9 tok/s). Nghĩa là 3 request song song không nhanh hơn, chỉ chia sẻ cùng một GPU.

Kết luận thực dụng: nếu bạn cần xử lý 100 văn bản, chạy tuần tự còn nhanh hơn và ổn định hơn. Song song chỉ có ích khi bạn cần nhiều kết quả cùng lúc và chấp nhận mỗi cái chậm hơn.

Tệ hơn: luồng 2 mất 19,1 s cho 67 token — chậm gấp 2,6 lần luồng 1. Thời gian chờ không công bằng, gây khó đoán.

Một tài liệu dài chảy qua phễu thành một thẻ tóm tắt nhỏ gọn
Đọc prompt 317 tok/s nhưng sinh chỉ 11,9 tok/s — chậm hơn 26,6 lần

Cách cài và chạy

# Windows: tai installer tu ollama.com, hoac winget
winget install Ollama.Ollama

# keo model
ollama pull llama3.2:3b

# chay thu
ollama run llama3.2:3b "Giai thich transformer trong 3 cau"

Kiểm tra model đang có:

ollama list

Trên máy tôi:

llama3.2:3b              1.88 GB   3.2B   Q4_K_M   ctx 131072
nomic-embed-text:latest  0.26 GB   137M   F16      ctx 2048

Gọi từ Python

import json, urllib.request

req = urllib.request.Request(
    "http://127.0.0.1:11434/api/generate",
    data=json.dumps({
        "model": "llama3.2:3b",
        "prompt": "Tom tat doan van sau trong 2 cau: ...",
        "stream": False,
        "options": {"num_predict": 200, "temperature": 0.3}
    }).encode(),
    headers={"Content-Type": "application/json"},
)
with urllib.request.urlopen(req, timeout=300) as r:
    d = json.loads(r.read())
    print(d["response"])
    print("tok/s:", d["eval_count"] / (d["eval_duration"] / 1e9))

Hai trường trong response rất hữu ích:

  • eval_count / eval_duration → tốc độ sinh thật
  • prompt_eval_count / prompt_eval_duration → tốc độ đọc prompt

Luôn đọc hai cặp này thay vì đo bằng time.time() bên ngoài — chúng tách riêng thời gian nạp model khỏi thời gian suy luận.

Embedding: dùng cho tìm kiếm

Model nomic-embed-text chỉ 0,26 GB, tạo vector 768 chiều trong 334 ms.

curl http://127.0.0.1:11434/api/embed -d '{
  "model": "nomic-embed-text:latest",
  "input": "Tiếng Việt có dấu"
}'

334 ms cho một câu là chấp nhận được. Nhưng với 10.000 tài liệu, bạn cần khoảng 56 phút chỉ để tạo embedding — nên tính trước.

Lưu ý về tiếng Việt: nomic-embed-text huấn luyện chủ yếu trên tiếng Anh. Với văn bản tiếng Việt, chất lượng tìm kiếm sẽ kém hơn. Nên thử bge-m3 (đa ngôn ngữ, có tiếng Việt) nếu cần.

Card 3GB: điểm giới hạn thật

GTX 1060 3GB là card yếu cho AI. Những gì chạy được và không:

ModelDung lượngChạy được trên 3GB?
llama3.2:1b (Q4)~0,8 GBđược, rất nhanh
llama3.2:3b (Q4)1,88 GBđược — đang dùng
llama3.1:8b (Q4)~4,7 GBkhông vừa VRAM, phải chia CPU/GPU
qwen2.5:7b (Q4)~4,4 GBkhông vừa, chạy chậm hơn nhiều

Khi model không vừa VRAM, Ollama tự chia một phần sang CPU — vẫn chạy nhưng tốc độ tụt xuống 2–4 tok/s. Đây là lý do 3B là mức hợp lý cho card 3GB.

Cách kiểm tra model có đang chạy trên GPU không:

ollama ps

Cột PROCESSOR sẽ ghi 100% GPU hoặc 40%/60% CPU/GPU.

Phù hợp với ai

Dùng AI local nếu:

  • Bạn xử lý dữ liệu nhạy cảm, không muốn gửi lên cloud.
  • Bạn cần chạy离线 hoặc trong môi trường không có internet.
  • Bạn dùng nhiều, muốn tránh chi phí API tích luỹ.
  • Bạn cần phân loại, tóm tắt, trích xuất — công việc không đòi hỏi suy luận phức tạp.

Dùng API cloud nếu:

  • Bạn cần model mạnh (GPT-4 class) cho suy luận phức tạp.
  • Bạn cần sinh văn bản dài nhanh — 75 giây cho 800 token là quá chậm.
  • Bạn xử lý khối lượng lớn — local không scale được (xem mục song song ở trên).
  • Bạn cần chất lượng tiếng Việt cao — model 3B viết tiếng Việt còn yếu.

Ba điều tôi học được

1. Chạy song song vô ích trên một GPU. Tôi tưởng 3 request song song sẽ nhanh gấp 3. Thực tế tổng thông lượng y nguyên 10,5 tok/s, chỉ chia nhỏ thời gian. Nếu cần xử lý hàng loạt, chạy tuần tự còn tốt hơn.

2. Đọc prompt nhanh hơn sinh 27 lần. Điều này thay đổi cách viết prompt: cứ nhồi tài liệu dài vào, chi phí gần như không đáng kể so với việc AI trả lời sai rồi phải hỏi lại.

3. Cold start 26 giây là cái bẫy script. Nếu bạn viết tool gọi Ollama một lần rồi thoát, mỗi lần chạy đều trả 26 giây. Phải set keep_alive và giữ tiến trình chạy.

Nguồn tham khảo

Đang tải quảng cáo...
👁️6 lượt xem