
AI viết code đúng bao nhiêu? Đo thật bằng test
Giao 4 bài lập trình cho llama3.2:3b kèm test thật: 3/4 pass. Phát hiện lệnh cấm 'must NOT use set()' hiệu quả hơn ví dụ cụ thể.
Tôi giao cho llama3.2:3b bốn bài lập trình, mỗi bài kèm một bộ test viết sẵn. Kết quả: 3/4 pass. Bài fail là bài thú vị nhất, và nó dạy tôi một điều quan trọng về cách viết prompt.
Đây là cách đánh giá trung thực: không nhìn code rồi đoán "trông đúng", mà chạy test thật.
Bảng kết quả
| Bài | Yêu cầu | Thời gian | Kết quả |
|---|---|---|---|
| fib | số Fibonacci, xử lý n=0, n=1 | 13,6 s | PASS |
| palindrome | kiểm tra chuỗi đối xứng, bỏ qua hoa/thường và dấu câu | 4,1 s | PASS |
| parse_kv | parse "key=value" thành dict, bỏ dòng trống | 7,4 s | PASS |
| dedupe | bỏ trùng giữ thứ tự, phải xử lý được dict/list | 5,4 s | FAIL |
Tổng 30,5 giây cho 4 bài, trung bình 7,6 giây/bài. Code sinh ra ngắn gọn: 88–277 ký tự.
Bài fail: model bỏ qua yêu cầu then chốt
Đây là prompt tôi đưa:
Write a Python function dedupe(items) that removes duplicates from a list
preserving first-occurrence order. Must work for unhashable items too
(like dicts). Return ONLY code in one python block.
Yêu cầu "must work for unhashable items" đã nêu rõ. Đây là code model trả về:
def dedupe(items):
seen = set()
result = []
for item in items:
if item not in seen:
seen.add(item)
result.append(item)
return result
Nhìn qua thì đúng. Chạy test thì:
TypeError: unhashable type: 'list'
Model hiểu "bỏ trùng" nhưng bỏ qua "unhashable". Nó dùng set() — cách làm kinh điển, đúng cho số và chuỗi, sai hoàn toàn cho dict/list.

Tôi thử 4 cách prompt để sửa
Đây là phần đáng giá nhất. Tôi giữ nguyên bài toán, chỉ đổi cách viết prompt:
| Cách prompt | Thời gian | Kết quả |
|---|---|---|
| 1. Prompt gốc (như trên) | 5,0 s | FAIL |
| 2. Nhấn mạnh "must NOT use set()" | 9,9 s | PASS |
| 3. Đưa ví dụ cụ thể phải pass | 6,7 s | FAIL |
| 4. Prompt gốc, temperature 0,7 | 5,7 s | FAIL |
Chỉ cách số 2 pass. Đây là prompt đó:
Write a Python function dedupe(items) that removes duplicates preserving order.
IMPORTANT: items may be dicts or lists, which are UNHASHABLE and cannot go in a set.
You must NOT use set() on the items.
Return ONLY code in one python block.
Ba thay đổi so với bản gốc:
- Nói thẳng điều cấm: "must NOT use set()". Không phải "phải xử lý unhashable" (mô tả tích cực) mà "đừng dùng set" (cấm rõ ràng).
- Giải thích lý do: "which are UNHASHABLE and cannot go in a set".
- Viết hoa từ khoá: IMPORTANT, UNHASHABLE, NOT.
Code nó sinh ra lần này dùng isinstance(item, dict) để chuyển dict thành tuple trước khi đưa vào set — đúng hướng.
Phát hiện quan trọng: ví dụ KHÔNG giúp
Tôi tưởng đưa ví dụ cụ thể sẽ hiệu quả hơn lời dặn. Kết quả ngược lại — cách 3 fail dù có ba ví dụ rõ ràng:
dedupe([1,2,1]) == [1,2]
dedupe([[1],[2],[1]]) == [[1],[2]]
dedupe([{'a':1},{'a':1}]) == [{'a':1}]
Model vẫn dùng set(), chỉ thêm try/except bao quanh — nên với list nó rơi vào except và bỏ qua phần tử, dẫn tới AssertionError.
Bài học: với model nhỏ, lệnh cấm rõ ràng hiệu quả hơn ví dụ. Model 3B không tự suy ra "nếu ví dụ có list thì không được dùng set". Nó chỉ làm theo chỉ dẫn trực tiếp.
Temperature không ảnh hưởng nhiều
Cách 4 (temperature 0,7 thay vì 0,2) fail giống hệt cách 1 — cùng một code, cùng một lỗi.
Nghĩa là với bài toán rõ ràng thế này, temperature không phải nút điều chỉnh đúng. Vấn đề nằm ở prompt, không ở độ ngẫu nhiên.
Cách đánh giá code AI cho đúng
Đừng đọc code rồi đoán. Hãy viết test trước, rồi cho AI sinh code, rồi chạy test.
import importlib.util, sys, subprocess
# 1. AI sinh code -> luu file
open("sol.py","w").write(extract_code(llm_response))
# 2. test viet san, kiem hanh vi cu the
TEST = """
import importlib.util, sys
spec = importlib.util.spec_from_file_location("sol", sys.argv[1])
m = importlib.util.module_from_spec(spec); spec.loader.exec_module(m)
assert m.dedupe([1,2,1]) == [1,2]
assert m.dedupe([[1],[2],[1]]) == [[1],[2]]
print("PASS")
"""
open("test.py","w").write(TEST)
# 3. chay
r = subprocess.run(["python","test.py","sol.py"], capture_output=True, text=True)
print("PASS" if "PASS" in r.stdout else "FAIL: " + r.stderr[-200:])
Ba nguyên tắc khi viết test cho code AI:
- Kiểm trường hợp biên.
fib(0), chuỗi rỗng, list rỗng — đây là chỗ AI hay sai nhất. Bài dedupe fail đúng vì list rỗng và dict. - Kiểm đúng ràng buộc trong prompt. Nếu prompt nói "phải xử lý unhashable", test phải có list/dict. Đừng chỉ test số.
- Dùng
assertcó thông điệp.assert m.fib(10) == 55, f"fib(10)={m.fib(10)}"cho biết sai ở đâu, thay vì chỉ "AssertionError".
Bài pass: code AI làm tốt gì
Ba bài pass đều là bài thuật toán quen thuộc, mô tả rõ ràng:
| Bài | Vì sao dễ với AI |
|---|---|
| fib | bài tập kinh điển, có hàng triệu ví dụ trong dữ liệu huấn luyện |
| palindrome | có công thức chuẩn: chuẩn hoá chuỗi rồi so với bản đảo |
| parse_kv | logic tuần tự, ít trường hợp biên |
Bài fail khác ở chỗ: nó có một ràng buộc phụ dễ bị bỏ qua ("unhashable items"). AI giải bài chính đúng, bỏ qua ràng buộc phụ.
Khi nào tin code AI, khi nào không
| Tình huống | Tin được? |
|---|---|
| Hàm tiện ích nhỏ, mô tả rõ | có — nhưng vẫn phải test |
| Thuật toán kinh điển (sort, search, fib) | có |
| Có ràng buộc phụ (hiệu năng, kiểu dữ liệu đặc biệt) | không — phải kiểm từng ràng buộc |
| Code chạm dữ liệu thật, xoá file, gọi API | không — đọc kỹ trước khi chạy |
| Bảo mật, xác thực, mã hoá | không bao giờ — tự viết hoặc dùng thư viện chuẩn |

Quy trình tôi dùng
1. Viet test TRUOC (tu yeu cau, khong tu code AI)
2. Cho AI sinh code
3. Chay test
4. Neu fail: doc loi, sua PROMPT (khong sua code bang tay)
5. Lap lai toi khi pass, toi da 3 lan
6. Doc lai code lan cuoi truoc khi commit
Bước 4 quan trọng: sửa prompt chứ không sửa code. Nếu bạn sửa code bằng tay, bạn mất khả năng tái tạo — và lần sau AI vẫn sai như cũ.
Sửa prompt cũng cho bạn biết cách viết prompt hiệu quả cho lần sau. Đó là tài sản tích luỹ.
Phù hợp với ai
Dùng AI viết code nếu:
- Bạn cần hàm tiện ích, script nhỏ, boilerplate.
- Bạn có test để kiểm chứng ngay.
- Bạn dùng AI để gợi ý rồi tự viết lại theo ý mình.
Đừng dùng nếu:
- Bạn không có cách kiểm chứng kết quả.
- Code sẽ chạy trên dữ liệu thật, không có môi trường thử.
- Bạn không đọc hiểu được code nó sinh ra — không hiểu thì không sửa được khi hỏng.
Ba điều tôi học được
1. Lệnh cấm hiệu quả hơn lời mô tả. "Must work for unhashable items" thất bại. "Must NOT use set()" thành công. Với model nhỏ, hãy nói rõ điều cấm, đừng chỉ mô tả điều mong muốn.
2. Ví dụ cụ thể không cứu được model nhỏ. Tôi đưa ba ví dụ rõ ràng, model vẫn sai. Nó không suy ra quy tắc từ ví dụ — chỉ làm theo chỉ dẫn trực tiếp.
3. 75% pass không có nghĩa 75% tin được. 3/4 bài pass nghe khá, nhưng bài fail là bài có ràng buộc thật. Trong công việc thật, ràng buộc phụ mới là chỗ sinh lỗi — và đó chính là chỗ AI yếu nhất.
Nguồn tham khảo
- Ollama — API generate — Gọi model local, tham số temperature và num_predict
- pytest — tài liệu — Framework test, dùng khi cần test phức tạp hơn assert
- Python — thư viện subprocess — Chạy test tự động từ script đánh giá
- SWE-bench — Benchmark chuẩn để đánh giá AI viết code trên repo thật
- HumanEval — Bộ 164 bài lập trình kèm test, dùng để so sánh model
- Python — importlib — Nạp module từ đường dẫn để test code AI sinh ra