
Chạy AI local bằng Ollama: 11,9 token/giây đo thật
Đo thật Ollama llama3.2:3b trên GTX 1060 3GB: 11,9 tok/s, cold start 26 giây, 3 request song song không tăng thông lượng. Kèm cách giữ model trong RAM.
Tôi chạy Ollama với llama3.2:3b trên máy có GTX 1060 3GB và 8 nhân CPU, đo từng con số bằng streaming API. Kết quả: 11,9 token/giây — dùng được, nhưng có ba giới hạn bạn phải biết trước khi cam kết với ai đó.
Bảng số đo thật
| Phép đo | Kết quả |
|---|---|
| Nạp model lần đầu (cold start) | 25,98 s |
| Tốc độ sinh (prompt ngắn) | 11,9 tok/s |
| Thời gian tới token đầu (TTFT) | 0,437 s |
| Xử lý prompt 35 token | 0,428 s → 82 tok/s |
| Prompt 1.855 token | 5,86 s → 317 tok/s |
| Sinh 800 token | 75,4 s → 10,7 tok/s |
| Embedding (768 chiều) | 334 ms |
| 3 request song song | 10,5 tok/s tổng (không tăng) |
Model: llama3.2:3b, 1,88 GB, quantize Q4_K_M, context 131.072 token.
Điều 1: nạp model chậm hơn bạn tưởng
25,98 giây cho lần đầu. Nếu bạn viết script gọi Ollama cho mỗi câu hỏi rồi thoát, mỗi lần chạy đều trả giá 26 giây này.
Cách đúng: giữ model trong RAM giữa các lần gọi. Ollama tự làm việc này, nhưng nó sẽ tự đổ model sau 5 phút không dùng.
# giu model trong RAM 30 phut
curl http://127.0.0.1:11434/api/generate -d '{
"model": "llama3.2:3b",
"keep_alive": "30m"
}'
Còn nếu muốn đổ ngay để nhường RAM cho việc khác: "keep_alive": 0.

Điều 2: 11,9 tok/s là con số thật, không phải marketing
Đây là tốc độ đọc của người: khoảng 4–5 từ/giây khi đọc quen. Một token tiếng Anh trung bình khoảng 0,75 từ, nên 11,9 tok/s ≈ 9 từ/giây.
Nghĩa là: AI local sinh chữ nhanh gấp đôi tốc độ bạn đọc. Cảm giác không chậm.
Nhưng khi bạn cần sinh 800 token (một bài dài), nó mất 75,4 giây. Trong lúc đó bạn ngồi chờ. Đây là điểm khác biệt lớn so với API cloud — ở đó bạn nhận được khoảng 50–100 tok/s.
| Độ dài output | Thời gian local | Cảm giác |
|---|---|---|
| 50 token (một câu trả lời ngắn) | 4,7 s | ổn |
| 200 token (một đoạn) | 18,7 s | chờ được |
| 800 token (một bài) | 75,4 s (đo thật) | bắt đầu sốt ruột |
| 2.000 token (một chương) | ~3,1 phút | phải làm việc khác |
Điều 3: prompt dài không làm chậm nhiều — nhưng TTFT thì có
Đây là chỗ nhiều người hiểu sai. Xử lý prompt nhanh hơn sinh rất nhiều:
| Loại | Tốc độ | Chênh |
|---|---|---|
| Đọc prompt (prompt eval) | 317 tok/s | — |
| Sinh chữ (eval) | 11,9 tok/s | chậm hơn 27 lần |
Vì thế prompt 1.855 token chỉ mất 5,86 giây để đọc, nhưng làm TTFT tăng từ 0,44 s lên 5,90 s.
Ứng dụng thực tế: đừng ngại đưa tài liệu dài vào prompt. 10.000 token tài liệu chỉ tốn khoảng 32 giây đọc — rẻ hơn nhiều so với việc AI sinh sai rồi phải hỏi lại.
Điều 4: chạy song song KHÔNG tăng tổng thông lượng
Đây là kết quả quan trọng nhất, và nó ngược với trực giác.
Tôi chạy 3 request cùng lúc, mỗi cái sinh 67 token:
| Luồng | Thời gian | Tốc độ riêng |
|---|---|---|
| luồng 0 | 13,3 s | 5,0 tok/s |
| luồng 1 | 7,3 s | 9,2 tok/s |
| luồng 2 | 19,1 s | 3,5 tok/s |
| Tổng | 19,1 s | 10,5 tok/s |
Tổng thông lượng 10,5 tok/s — gần như bằng chạy một request (11,9 tok/s). Nghĩa là 3 request song song không nhanh hơn, chỉ chia sẻ cùng một GPU.
Kết luận thực dụng: nếu bạn cần xử lý 100 văn bản, chạy tuần tự còn nhanh hơn và ổn định hơn. Song song chỉ có ích khi bạn cần nhiều kết quả cùng lúc và chấp nhận mỗi cái chậm hơn.
Tệ hơn: luồng 2 mất 19,1 s cho 67 token — chậm gấp 2,6 lần luồng 1. Thời gian chờ không công bằng, gây khó đoán.

Cách cài và chạy
# Windows: tai installer tu ollama.com, hoac winget
winget install Ollama.Ollama
# keo model
ollama pull llama3.2:3b
# chay thu
ollama run llama3.2:3b "Giai thich transformer trong 3 cau"
Kiểm tra model đang có:
ollama list
Trên máy tôi:
llama3.2:3b 1.88 GB 3.2B Q4_K_M ctx 131072
nomic-embed-text:latest 0.26 GB 137M F16 ctx 2048
Gọi từ Python
import json, urllib.request
req = urllib.request.Request(
"http://127.0.0.1:11434/api/generate",
data=json.dumps({
"model": "llama3.2:3b",
"prompt": "Tom tat doan van sau trong 2 cau: ...",
"stream": False,
"options": {"num_predict": 200, "temperature": 0.3}
}).encode(),
headers={"Content-Type": "application/json"},
)
with urllib.request.urlopen(req, timeout=300) as r:
d = json.loads(r.read())
print(d["response"])
print("tok/s:", d["eval_count"] / (d["eval_duration"] / 1e9))
Hai trường trong response rất hữu ích:
eval_count/eval_duration→ tốc độ sinh thậtprompt_eval_count/prompt_eval_duration→ tốc độ đọc prompt
Luôn đọc hai cặp này thay vì đo bằng time.time() bên ngoài — chúng tách riêng thời gian nạp model khỏi thời gian suy luận.
Embedding: dùng cho tìm kiếm
Model nomic-embed-text chỉ 0,26 GB, tạo vector 768 chiều trong 334 ms.
curl http://127.0.0.1:11434/api/embed -d '{
"model": "nomic-embed-text:latest",
"input": "Tiếng Việt có dấu"
}'
334 ms cho một câu là chấp nhận được. Nhưng với 10.000 tài liệu, bạn cần khoảng 56 phút chỉ để tạo embedding — nên tính trước.
Lưu ý về tiếng Việt: nomic-embed-text huấn luyện chủ yếu trên tiếng Anh. Với văn bản tiếng Việt, chất lượng tìm kiếm sẽ kém hơn. Nên thử bge-m3 (đa ngôn ngữ, có tiếng Việt) nếu cần.
Card 3GB: điểm giới hạn thật
GTX 1060 3GB là card yếu cho AI. Những gì chạy được và không:
| Model | Dung lượng | Chạy được trên 3GB? |
|---|---|---|
| llama3.2:1b (Q4) | ~0,8 GB | được, rất nhanh |
| llama3.2:3b (Q4) | 1,88 GB | được — đang dùng |
| llama3.1:8b (Q4) | ~4,7 GB | không vừa VRAM, phải chia CPU/GPU |
| qwen2.5:7b (Q4) | ~4,4 GB | không vừa, chạy chậm hơn nhiều |
Khi model không vừa VRAM, Ollama tự chia một phần sang CPU — vẫn chạy nhưng tốc độ tụt xuống 2–4 tok/s. Đây là lý do 3B là mức hợp lý cho card 3GB.
Cách kiểm tra model có đang chạy trên GPU không:
ollama ps
Cột PROCESSOR sẽ ghi 100% GPU hoặc 40%/60% CPU/GPU.
Phù hợp với ai
Dùng AI local nếu:
- Bạn xử lý dữ liệu nhạy cảm, không muốn gửi lên cloud.
- Bạn cần chạy离线 hoặc trong môi trường không có internet.
- Bạn dùng nhiều, muốn tránh chi phí API tích luỹ.
- Bạn cần phân loại, tóm tắt, trích xuất — công việc không đòi hỏi suy luận phức tạp.
Dùng API cloud nếu:
- Bạn cần model mạnh (GPT-4 class) cho suy luận phức tạp.
- Bạn cần sinh văn bản dài nhanh — 75 giây cho 800 token là quá chậm.
- Bạn xử lý khối lượng lớn — local không scale được (xem mục song song ở trên).
- Bạn cần chất lượng tiếng Việt cao — model 3B viết tiếng Việt còn yếu.
Ba điều tôi học được
1. Chạy song song vô ích trên một GPU. Tôi tưởng 3 request song song sẽ nhanh gấp 3. Thực tế tổng thông lượng y nguyên 10,5 tok/s, chỉ chia nhỏ thời gian. Nếu cần xử lý hàng loạt, chạy tuần tự còn tốt hơn.
2. Đọc prompt nhanh hơn sinh 27 lần. Điều này thay đổi cách viết prompt: cứ nhồi tài liệu dài vào, chi phí gần như không đáng kể so với việc AI trả lời sai rồi phải hỏi lại.
3. Cold start 26 giây là cái bẫy script. Nếu bạn viết tool gọi Ollama một lần rồi thoát, mỗi lần chạy đều trả 26 giây. Phải set keep_alive và giữ tiến trình chạy.
Nguồn tham khảo
- Ollama — tài liệu chính thức — Cài đặt, API generate/embed, tham số keep_alive
- Ollama — API reference — Định nghĩa eval_count, eval_duration, prompt_eval_*
- llama3.2 — model card — Các mức 1B/3B, dung lượng và quantize
- nomic-embed-text — Model embedding 137M, vector 768 chiều
- BGE-M3 — đa ngôn ngữ — Lựa chọn tốt hơn cho tiếng Việt
- NVIDIA — yêu cầu VRAM cho LLM — Cách quantize ảnh hưởng dung lượng model