Đang tải quảng cáo...
AI viết code đúng bao nhiêu? Đo thật bằng test

AI viết code đúng bao nhiêu? Đo thật bằng test

adminQuản trị viên
👁️ 6👍 0
Thủ thuậtAI & tự động hoáCông cụ lập trình

Giao 4 bài lập trình cho llama3.2:3b kèm test thật: 3/4 pass. Phát hiện lệnh cấm 'must NOT use set()' hiệu quả hơn ví dụ cụ thể.

Đang tải quảng cáo...

Tôi giao cho llama3.2:3b bốn bài lập trình, mỗi bài kèm một bộ test viết sẵn. Kết quả: 3/4 pass. Bài fail là bài thú vị nhất, và nó dạy tôi một điều quan trọng về cách viết prompt.

Đây là cách đánh giá trung thực: không nhìn code rồi đoán "trông đúng", mà chạy test thật.

Bảng kết quả

BàiYêu cầuThời gianKết quả
fibsố Fibonacci, xử lý n=0, n=113,6 sPASS
palindromekiểm tra chuỗi đối xứng, bỏ qua hoa/thường và dấu câu4,1 sPASS
parse_kvparse "key=value" thành dict, bỏ dòng trống7,4 sPASS
dedupebỏ trùng giữ thứ tự, phải xử lý được dict/list5,4 sFAIL

Tổng 30,5 giây cho 4 bài, trung bình 7,6 giây/bài. Code sinh ra ngắn gọn: 88–277 ký tự.

Bài fail: model bỏ qua yêu cầu then chốt

Đây là prompt tôi đưa:

Write a Python function dedupe(items) that removes duplicates from a list
preserving first-occurrence order. Must work for unhashable items too
(like dicts). Return ONLY code in one python block.

Yêu cầu "must work for unhashable items" đã nêu rõ. Đây là code model trả về:

def dedupe(items):
    seen = set()
    result = []
    for item in items:
        if item not in seen:
            seen.add(item)
            result.append(item)
    return result

Nhìn qua thì đúng. Chạy test thì:

TypeError: unhashable type: 'list'

Model hiểu "bỏ trùng" nhưng bỏ qua "unhashable". Nó dùng set() — cách làm kinh điển, đúng cho số và chuỗi, sai hoàn toàn cho dict/list.

Bảng kiểm có ba dấu tích xanh và một dấu gạch đỏ ở dòng cuối
3/4 bài pass; bài fail là bài có ràng buộc phụ 'unhashable items'

Tôi thử 4 cách prompt để sửa

Đây là phần đáng giá nhất. Tôi giữ nguyên bài toán, chỉ đổi cách viết prompt:

Cách promptThời gianKết quả
1. Prompt gốc (như trên)5,0 sFAIL
2. Nhấn mạnh "must NOT use set()"9,9 sPASS
3. Đưa ví dụ cụ thể phải pass6,7 sFAIL
4. Prompt gốc, temperature 0,75,7 sFAIL

Chỉ cách số 2 pass. Đây là prompt đó:

Write a Python function dedupe(items) that removes duplicates preserving order.
IMPORTANT: items may be dicts or lists, which are UNHASHABLE and cannot go in a set.
You must NOT use set() on the items.
Return ONLY code in one python block.

Ba thay đổi so với bản gốc:

  • Nói thẳng điều cấm: "must NOT use set()". Không phải "phải xử lý unhashable" (mô tả tích cực) mà "đừng dùng set" (cấm rõ ràng).
  • Giải thích lý do: "which are UNHASHABLE and cannot go in a set".
  • Viết hoa từ khoá: IMPORTANT, UNHASHABLE, NOT.

Code nó sinh ra lần này dùng isinstance(item, dict) để chuyển dict thành tuple trước khi đưa vào set — đúng hướng.

Phát hiện quan trọng: ví dụ KHÔNG giúp

Tôi tưởng đưa ví dụ cụ thể sẽ hiệu quả hơn lời dặn. Kết quả ngược lại — cách 3 fail dù có ba ví dụ rõ ràng:

dedupe([1,2,1]) == [1,2]
dedupe([[1],[2],[1]]) == [[1],[2]]
dedupe([{'a':1},{'a':1}]) == [{'a':1}]

Model vẫn dùng set(), chỉ thêm try/except bao quanh — nên với list nó rơi vào except và bỏ qua phần tử, dẫn tới AssertionError.

Bài học: với model nhỏ, lệnh cấm rõ ràng hiệu quả hơn ví dụ. Model 3B không tự suy ra "nếu ví dụ có list thì không được dùng set". Nó chỉ làm theo chỉ dẫn trực tiếp.

Temperature không ảnh hưởng nhiều

Cách 4 (temperature 0,7 thay vì 0,2) fail giống hệt cách 1 — cùng một code, cùng một lỗi.

Nghĩa là với bài toán rõ ràng thế này, temperature không phải nút điều chỉnh đúng. Vấn đề nằm ở prompt, không ở độ ngẫu nhiên.

Cách đánh giá code AI cho đúng

Đừng đọc code rồi đoán. Hãy viết test trước, rồi cho AI sinh code, rồi chạy test.

import importlib.util, sys, subprocess

# 1. AI sinh code -> luu file
open("sol.py","w").write(extract_code(llm_response))

# 2. test viet san, kiem hanh vi cu the
TEST = """
import importlib.util, sys
spec = importlib.util.spec_from_file_location("sol", sys.argv[1])
m = importlib.util.module_from_spec(spec); spec.loader.exec_module(m)
assert m.dedupe([1,2,1]) == [1,2]
assert m.dedupe([[1],[2],[1]]) == [[1],[2]]
print("PASS")
"""
open("test.py","w").write(TEST)

# 3. chay
r = subprocess.run(["python","test.py","sol.py"], capture_output=True, text=True)
print("PASS" if "PASS" in r.stdout else "FAIL: " + r.stderr[-200:])

Ba nguyên tắc khi viết test cho code AI:

  • Kiểm trường hợp biên. fib(0), chuỗi rỗng, list rỗng — đây là chỗ AI hay sai nhất. Bài dedupe fail đúng vì list rỗng và dict.
  • Kiểm đúng ràng buộc trong prompt. Nếu prompt nói "phải xử lý unhashable", test phải có list/dict. Đừng chỉ test số.
  • Dùng assert có thông điệp. assert m.fib(10) == 55, f"fib(10)={m.fib(10)}" cho biết sai ở đâu, thay vì chỉ "AssertionError".

Bài pass: code AI làm tốt gì

Ba bài pass đều là bài thuật toán quen thuộc, mô tả rõ ràng:

BàiVì sao dễ với AI
fibbài tập kinh điển, có hàng triệu ví dụ trong dữ liệu huấn luyện
palindromecó công thức chuẩn: chuẩn hoá chuỗi rồi so với bản đảo
parse_kvlogic tuần tự, ít trường hợp biên

Bài fail khác ở chỗ: nó có một ràng buộc phụ dễ bị bỏ qua ("unhashable items"). AI giải bài chính đúng, bỏ qua ràng buộc phụ.

Khi nào tin code AI, khi nào không

Tình huốngTin được?
Hàm tiện ích nhỏ, mô tả rõcó — nhưng vẫn phải test
Thuật toán kinh điển (sort, search, fib)có
Có ràng buộc phụ (hiệu năng, kiểu dữ liệu đặc biệt)không — phải kiểm từng ràng buộc
Code chạm dữ liệu thật, xoá file, gọi APIkhông — đọc kỹ trước khi chạy
Bảo mật, xác thực, mã hoákhông bao giờ — tự viết hoặc dùng thư viện chuẩn
Vòng tròn mũi tên khép kín có một tam giác cảnh báo chèn vào
Vòng lặp sửa prompt: sửa prompt chứ không sửa code, tối đa 3 lần

Quy trình tôi dùng

1. Viet test TRUOC (tu yeu cau, khong tu code AI)
2. Cho AI sinh code
3. Chay test
4. Neu fail: doc loi, sua PROMPT (khong sua code bang tay)
5. Lap lai toi khi pass, toi da 3 lan
6. Doc lai code lan cuoi truoc khi commit

Bước 4 quan trọng: sửa prompt chứ không sửa code. Nếu bạn sửa code bằng tay, bạn mất khả năng tái tạo — và lần sau AI vẫn sai như cũ.

Sửa prompt cũng cho bạn biết cách viết prompt hiệu quả cho lần sau. Đó là tài sản tích luỹ.

Phù hợp với ai

Dùng AI viết code nếu:

  • Bạn cần hàm tiện ích, script nhỏ, boilerplate.
  • Bạn có test để kiểm chứng ngay.
  • Bạn dùng AI để gợi ý rồi tự viết lại theo ý mình.

Đừng dùng nếu:

  • Bạn không có cách kiểm chứng kết quả.
  • Code sẽ chạy trên dữ liệu thật, không có môi trường thử.
  • Bạn không đọc hiểu được code nó sinh ra — không hiểu thì không sửa được khi hỏng.

Ba điều tôi học được

1. Lệnh cấm hiệu quả hơn lời mô tả. "Must work for unhashable items" thất bại. "Must NOT use set()" thành công. Với model nhỏ, hãy nói rõ điều cấm, đừng chỉ mô tả điều mong muốn.

2. Ví dụ cụ thể không cứu được model nhỏ. Tôi đưa ba ví dụ rõ ràng, model vẫn sai. Nó không suy ra quy tắc từ ví dụ — chỉ làm theo chỉ dẫn trực tiếp.

3. 75% pass không có nghĩa 75% tin được. 3/4 bài pass nghe khá, nhưng bài fail là bài có ràng buộc thật. Trong công việc thật, ràng buộc phụ mới là chỗ sinh lỗi — và đó chính là chỗ AI yếu nhất.

Nguồn tham khảo

Đang tải quảng cáo...
👁️6 lượt xem