Nhiều team thấy agent chạy xong một vòng là tưởng đã ổn. Sai ở chỗ đó. Với AI agent, thứ cần đo không chỉ là có trả lời ra kết quả hay không, mà là nó đi đường nào, gọi tool gì, tốn bao nhiêu bước, và có tạo rủi ro âm thầm cho vận hành hay không.
TL;DR
Muốn đánh giá AI agent cho nghiêm túc, đừng chỉ nhìn output cuối. Hãy đo ít nhất 4 lớp: đúng outcome, đúng trajectory, đúng chi phí, và đúng guardrails. Nếu chỉ pass/fail theo câu trả lời cuối, bạn sẽ giữ lại những agent “trông có vẻ ổn” nhưng thực tế đốt token, gọi sai tool và gây lỗi ở production.
Vì sao đây là vấn đề thật
Phần khó của agent không nằm ở demo. Demo nào cũng có thể đẹp. Phần khó nằm ở lúc agent phải tự chọn hành động: có gọi tool hay không, gọi tool nào trước, truyền tham số gì, dừng ở đâu, và khi thiếu dữ liệu thì có bịa ra hay không.
Đó là lý do một agent có thể “thành công” theo log kỹ thuật nhưng vẫn thất bại theo góc vận hành. Nó có thể:
- trả lời đúng kết luận nhưng đi sai quy trình,
- gọi thừa 5 bước khi chỉ cần 1 bước,
- dùng sai dữ liệu nguồn,
- vượt quá cost budget mà team không để ý,
- vi phạm policy mà test thủ công không bắt được.
Khung đo 4 lớp cho AI agent
1. Outcome quality
Đầu tiên vẫn phải đo kết quả cuối: đúng hay sai, đủ hay thiếu, có giải quyết đúng ý định người dùng hay không. Nhưng lớp này chỉ là mặt ngoài.
2. Trajectory quality
Agent đến kết quả đó bằng cách nào? Có gọi đúng tool không? Có dùng đúng tham số không? Có vòng lặp thừa hay backtrack vô ích không? Đây là lớp mà rất nhiều team bỏ qua.
3. Cost and latency
Một agent đúng nhưng quá chậm hoặc quá đắt thì cũng không đem vào production được. Phải log token, số bước, thời gian hoàn thành và tần suất retry theo từng task type.
4. Safety and policy
Agent có bịa fact không? Có đụng dữ liệu không nên đụng không? Có hành động vượt quyền không? Nếu câu trả lời chưa rõ, agent chưa đủ chín để tự chạy.
Cách triển khai thực dụng cho team nhỏ
- Chọn 5-10 task thực tế lặp đi lặp lại thay vì benchmark chung chung.
- Định nghĩa pass/fail cho từng task và thêm 1 cột trajectory score.
- Log số bước, token, thời gian, tool calls và lỗi fallback.
- Review failure theo cụm nguyên nhân thay vì chỉ sửa prompt lẻ tẻ.
- Đặt budget trần trước khi scale số lượng run.
Khi nào chưa nên đẩy agent ra production
Nếu team chưa có source of truth sạch, chưa có rollback rõ, và chưa log được hành vi từng bước, thì đừng gọi hệ đó là “agent production”. Nó mới chỉ là demo có thêm tool use.
Đọc thêm nội bộ EthanCorp
- OpenAI vừa nâng Agents SDK, nhưng thứ doanh nghiệp nên học là runtime chứ không phải model
- Từ zero agentic AI đến Power BI DAX Agent trong 3 tháng: bài học thật về guardrails
- Làm thế nào để dùng AI trong phát triển website mà ra kết quả thật
Nguồn tham chiếu
n8n blog — How to evaluate the performance of AI agents?
Nhận lộ trình automation/integration phù hợp hệ thống hiện tại của bạn.