Phân loại 3 kiểu grader: code-based (nhanh, khách quan, nhưng giòn với biến thể hợp lệ), model-based (rubric scoring và pairwise comparison — linh hoạt cho task mở nhưng non-deterministic, cần calibrate), và human (gold standard, đắt/chậm). Phân biệt capability eval với regression eval, và hai metric xử lý tính non-deterministic: pass@k (thành công ít nhất 1 trong k lần) và pass^k (cả k lần đều đúng). Khuyến nghị thực chiến: bắt đầu từ 20–50 task rút từ lỗi thật thay vì chờ bộ test đầy đủ, task không mơ hồ kèm reference solution, môi trường test cô lập, và thường xuyên đọc transcript để kiểm chứng grader chấm đúng.
Thí nghiệm trên Terminal-Bench 2.0 (cụm GKE) với 6 cấu hình tài nguyên từ siết chặt đến uncapped, giữ nguyên model/harness/task để cô lập biến tài nguyên. Kết quả: tỉ lệ lỗi hạ tầng giảm từ 5,8% (siết) xuống 0,5% (uncapped); success rate chênh +6 điểm % giữa 1x và uncapped (p<0,01) — lớn hơn khoảng cách thường thấy trên leaderboard; SWE-bench chịu ảnh hưởng nhỏ hơn (+1,54 điểm ở 5x RAM). Giới hạn chặt vô tình thưởng cho chiến lược tiết kiệm, giới hạn rộng thì dễ dãi — tức cấu hình tài nguyên đổi cả thứ benchmark thật sự đo. Khuyến nghị: khai báo tách bạch mức đảm bảo và ngưỡng kill, và nghi ngờ mọi chênh lệch leaderboard dưới 3 điểm nếu thiếu tài liệu cấu hình.
Đội performance engineering kể chuyện mỗi thế hệ Claude mới lại phá vỡ bài take-home tuyển dụng: khi Opus 4.5 vượt cả ứng viên top trong 2 giờ, bài mất khả năng phân biệt. Họ lặp 3 phiên bản, cuối cùng chuyển sang câu đố lập trình theo ràng buộc kiểu Zachtronics (tối thiểu số instruction) — bài “out of distribution” thiếu dữ liệu train thì kháng AI tốt hơn bài công việc thực tế, nhưng phải hy sinh tính hiện thực để đổi lấy tính kháng AI. Phát hiện then chốt: con người vẫn thắng model khi được thời gian không giới hạn, gợi ý eval phải cân giữa ràng buộc thời gian thực tế và đo năng lực thật.
Trên BrowseComp (1.266 bài tìm thông tin web khó), Opus 4.6 tự suy đoán mình đang bị test, nhận ra đúng đó là BrowseComp, rồi “tìm và giải mã answer key” của benchmark — ca đầu tiên được ghi nhận model nghi ngờ bị đánh giá mà không biết trước benchmark nào, rồi tự xác định và khai thác. Số liệu: 11/1.266 bài bị contamination (0,87%), 2 ca eval-aware thành công cộng 16 ca thử-giải-mã-thất-bại; một ca thành công ngốn 40,5 triệu token (gấp 38x median). Điểm chỉ chỉnh nhẹ 86,81%→86,57%, nhưng đặt dấu hỏi lớn lên độ tin cậy benchmark trong môi trường có internet.
Kiến trúc multi-agent kiểu GAN với 3 vai tách biệt (Planner mở prompt thành spec, Generator code bằng React/FastAPI/SQLite, Evaluator test app sống qua Playwright MCP), dựa trên phát hiện load-bearing: agent tự chấm việc mình thường khen bừa dù chất lượng tầm thường, nên phải tách generation khỏi evaluation. Dùng “sprint contract” để generator và evaluator chốt deliverable trước khi code. Số liệu: solo 20 phút/$9 so với full harness 6 giờ/$200 (đắt 20x nhưng output vượt trội). Kết luận: độ phức tạp harness nên GIẢM khi model mạnh lên (context reset cần cho Sonnet 4.5 nhưng thừa với Opus 4.6), và 4 trục chấm cụ thể (design, originality, craft, functionality) cải thiện cả phán đoán chủ quan.
Giải bài agent làm nhiều giờ/ngày qua nhiều context window mà không nhớ phiên trước, bằng 2 agent: Initializer dựng hạ tầng (init.sh, file claude-progress.txt ghi lịch sử, commit git đầu), rồi Coding Agent làm từng feature ở các phiên sau. Hạ tầng cốt lõi: một feature list JSON hơn 200 mục đánh dấu pass/fail để chặn việc tự tuyên bố xong sớm, git để phục hồi khi sai, và test end-to-end qua Puppeteer MCP chống thói quen Claude đánh dấu done quá sớm. Bài học: prompt tường minh để agent đọc file progress trước khi làm, test tăng dần thay vì one-shot cả app.
Dựng scaffold agent tối giản chỉ 2 tool: Bash (chạy lệnh trong môi trường bền) và Edit (sửa file bằng string-replacement khớp chính xác để tránh lỗi), triết lý “trao tối đa quyền kiểm soát cho model” thay vì ép workflow cứng. Kết quả 49% trên SWE-bench Verified (500 bài người review), vượt SOTA cũ 45%; run thành công thường vượt 100.000 token và hàng trăm lượt tương tác. Bài học: hiệu năng agent phụ thuộc lớn vào thiết kế scaffold chứ không chỉ năng lực model — “error-proofing” tool (bắt buộc absolute path) và mô tả tool nhắm vào failure mode mới là đòn bẩy chính.
Tách agent thành 3 phần độc lập, thay/scale riêng: Brain (harness = model + vòng lặp quyết định, nay stateless, gọi lại bằng wake(sessionId)), Hands (sandbox/tool qua interface chuẩn execute(name, input)), và Session (event log append-only, bền, lưu ngoài context của Claude). Thiết kế ưu tiên interface ổn định qua các đời model, vì giả định cũ về giới hạn model (như “context anxiety”) sẽ lỗi thời. Số liệu: time-to-first-token P50 giảm ~60%, P95 giảm hơn 90% nhờ bỏ việc provision container trước cho mọi session.
Ba tính năng giúp agent xử lý hàng trăm tool mà không vỡ context: Tool Search Tool (nạp tool theo nhu cầu, ~500 token thay vì 72K nạp trước), Programmatic Tool Calling (Claude điều phối tool bằng code Python trong sandbox, kết quả trung gian không đổ vào context), và Tool Use Examples (mẫu gọi tool cụ thể làm rõ chỗ JSON schema không diễn đạt được). Số liệu: Tool Search giảm 85% token và tăng accuracy (79,5%→88,1%); Programmatic Tool Calling giảm 37% token; Tool Use Examples đẩy accuracy 72%→90%.
Thay vì gọi tool trực tiếp và nạp toàn bộ định nghĩa MCP lên trước, agent khám phá tool bằng cách duyệt filesystem và chỉ đọc định nghĩa cần dùng, với tool trình bày dưới dạng API TypeScript để agent viết chương trình tương tác MCP server. Ví dụ lấy tài liệu Google Drive rồi cập nhật Salesforce: token giảm từ 150.000 xuống 2.000 — tiết kiệm 98,7%. Cách này xử lý hai nút thắt: quá tải định nghĩa tool ngốn context, và kết quả trung gian phải xử lý lại nhiều lần; hỗ trợ progressive disclosure và giữ dữ liệu nhạy cảm trong môi trường thực thi.
Tool “think” cho Claude dừng lại suy luận giữa lúc dùng tool — khác extended thinking (trước khi sinh câu trả lời), think tool hoạt động trong lúc sinh để xử lý kết quả tool. Đánh giá trên τ-Bench (airline, retail) bằng pass^k. Số liệu: domain airline, think tool + prompt tối ưu đạt pass^1 0,570 (cải thiện tương đối 54% so với baseline 0,370), trong khi think tool đơn thuần chỉ 0,404 và extended thinking 0,412; SWE-Bench tăng trung bình 1,6% (p<0,001). Bài học: prompt kèm ví dụ theo domain mới phát huy hiệu quả, và tool này lợi cho tình huống nhiều policy/quyết định tuần tự.