Test xanh mà không làm gì: chỉ 5,4% lượt agent qua ải migration

🔥 Mạch chính hôm nay: bằng chứng "xanh" không còn đủ dùng

📄 Papers đáng đọc

Từ 136 mục thu được trong cửa sổ 26–30/08; số cạnh tiêu đề là upvote HF. Mỗi paper có 3 lớp: BLUF (1 câu) → 30 giây → Đọc sâu (bấm mở, ~3 phút).

▲ 13

EvalsAgenticSWE Refactor Bench: Can Coding Agents Complete a Long-Horizon, Whole-Repository Stack Migration?

BLUF: 20 cuộc di trú nguyên repo trên dự án thật (SQLite, zlib, libsodium, GraphHopper); qua ba tầng kiểm định thì chỉ 28/520 lượt chạy (5,4%) được chấp nhận, và 13/20 nhiệm vụ không model nào giải nổi.

30 giây

• Vấn đề: chấm di trú bằng test hành vi có lỗ hổng chí mạng — repo đã viết lại đúng và repo chưa động gì đều xanh hết. Tác giả gọi hiện tượng này là "Blindness".
• Cách làm: ba tầng nối tiếp — (I) Migration Audit: model-judge hỏi "có di trú thật không", kiểm 3 lần độc lập rồi bỏ phiếu đa số; (II) Behavioral Tests: 130.118 phép kiểm cố định, sai một phép là 0 điểm; (III) Agentic Verification: sáu agent độc lập, mỗi con một giờ, tự viết test vi phân để phá bài nộp.
• Kết quả: Claude-opus-5 dẫn đầu với 47,0/100 và 5 lần được chấp nhận. Tầng III là cửa tử — 60 trong 88 bài (68,2%) đã qua cả test cố định vẫn bị agent-verifier đánh gục.

Đọc sâu (~3 phút)

Bối cảnh: vì sao phải có benchmark riêng cho di trú

Hầu hết benchmark coding-agent giao việc thêm một thứ gì đó — sửa bug, thêm tính năng — và chấm bằng test. Di trú ngược lại: hành vi phải giữ nguyên tuyệt đối, cái thay đổi là toàn bộ nền bên dưới. Đích và tiêu chí chấm vì thế trực giao nhau: bộ test đo "không gãy", không đo "đã chuyển". Nhóm tác giả không bịa ra nhiệm vụ mới trên repo có sẵn, mà làm ngược: chốt trước một cuộc di trú mà maintainer thực sự coi là nợ kỹ thuật, rồi mới đi tìm dự án mà cuộc di trú đó chính là toàn bộ công việc.

Cách làm, từng bước

(1) Định nghĩa nhiệm vụ gồm sáu thành phần: repo đang chạy được (trạng thái A), stack đích, giao diện quan sát được, đề bài, môi trường thực thi, ngân sách thời gian. (2) Thành phần 20 nhiệm vụ chia bốn loại nợ: 7 viết lại ngôn ngữ, 7 viết lại framework, 3 chuyển nền tảng, 3 viết lại toàn bộ build toolchain. (3) Tầng I dùng model làm giám khảo cho từng tiêu chí, chạy ba lần độc lập rồi lấy đa số — độ đồng thuận giữa các model đạt 96,3% (3.405/3.536 phiếu), so với người thật đạt 89,7% (140/156 lượt, kappa 0,795). (4) Tầng II phát lại 130.118 phép kiểm đã ghi từ hệ thống gốc, trung bình 6.505 phép mỗi nhiệm vụ. (5) Tầng III thừa nhận điều mà mọi bộ test cố định đều mắc phải — "nó chỉ hỏi được những gì tác giả tình cờ nghĩ ra" — nên thuê sáu agent đi tìm phản ví dụ.

Số liệu đáng nhớ

Phễu ba tầng	520 lượt → qua I: 340 (65,4%) → II hoàn hảo: 118 (22,7%) → cả I+II: 88 (16,9%) → cả ba: 28 (5,4%)
Blindness	30 lượt qua sạch toàn bộ test mà bỏ qua di trú; 252 lượt di trú xong nhưng làm gãy hành vi
Model	Claude-opus-5 47,0 (5 chấp nhận) · GPT-5.6-sol 28,5 (4) · Kimi-k3 19,5 (2) · Claude-sonnet-5 15,0 (1)
Theo loại nợ	build toolchain 31,4 · chuyển nền tảng 17,2 · framework 12,0 · viết lại ngôn ngữ 5,6
"Gần xong" là chưa xong	trong 340 lượt qua tầng I: 91% đạt 50% số phép kiểm, 58% đạt 99%, 36% đạt 99,9%, chỉ 26% đạt 100%
Sức mạnh verifier	verifier Claude-opus-5 phá được 53–56% bài nộp; verifier khác chỉ 21,6–26,1%. Trung vị tìm ra phản ví dụ: 17,0 phút

Hạn chế tác giả tự nhận

Kết quả không xếp hạng độ khó nội tại của mọi dự án di trú — nó chỉ chứng minh một khoảng cách năng lực trên đúng 20 nhiệm vụ này. Giám khảo tầng I lệch về phía khắt khe: so với người, có 14 ca chấm quá chặt so với chỉ 2 ca quá dễ. Và điểm số phụ thuộc mạnh vào độ mạnh của verifier: bỏ hai verifier mạnh nhất ra thì số bài được chấp nhận nhảy từ 28 lên 46 — nghĩa là "5,4%" là hàm của người gác cổng, không phải hằng số tự nhiên.

Ý nghĩa cho bạn: đây là bằng chứng định lượng cho chính luận điểm trong nghiên cứu agent test-behavior bạn làm hôm 29/08: test xanh biết nói dối. Ở đây cái dối có con số cụ thể — 30 lượt chạy được điểm tuyệt đối cho việc không làm. Hai chi tiết đáng bê thẳng vào pipeline của bạn: (1) tách riêng câu hỏi "có làm không" khỏi câu hỏi "có gãy không" thành hai cổng độc lập — đúng tinh thần Law 2 (Mechanical Proof) trong constitution của bạn; (2) dùng agent khác đi phá thay vì tin bộ test có sẵn — 68,2% bài "đã xanh" vẫn gãy dưới tay verifier độc lập. Cần lưu ý: chi phí của tầng III là sáu agent × một giờ mỗi bài nộp, không rẻ.

▲ 25

AgenticPILOT in the Loop: Live Self-Improvement for Long-Horizon Agents

BLUF: Thay vì rút kinh nghiệm sau khi chạy xong, PILOT để một supervisor nối kênh hai chiều với worker ngay trong lúc chạy — bẻ lái hoặc hủy sớm — và ghi kỹ năng học được vào harness bền: +14,6 điểm Terminal-Bench 2.0 trong khi giảm 42,9% token đầu ra.

30 giây

• Vấn đề: agent long-horizon thường chỉ được sửa sau khi verifier phán xong. Nhưng một lượt chạy hỏng kéo dài hàng nghìn lượt — tiền đã tiêu xong mới biết sai.
• Cách làm: hai cơ chế lồng nhau. Live steering — worker phát ba loại sự kiện (thông báo, câu hỏi, kết quả), supervisor đáp bằng bẻ lái hoặc hủy. Live self-evolution — supervisor chắt lọc quy trình thành công và kiểu lỗi vào thư viện kỹ năng + bộ nhớ bền, worker sau nạp lên dùng.
• Điểm tinh tế: kiến thức được chắt lọc trước khi verifier trả kết quả — tức là không chờ nhãn đúng/sai mới học.

Đọc sâu (~3 phút)

Bối cảnh: ba kiểu harness và chỗ gãy của từng kiểu

Kiểu thứ nhất là vòng ReAct đơn: một context làm tất. Gãy vì lịch sử phình, thông tin quan trọng chìm dần. Kiểu thứ hai là uỷ thác cho subagent: tốt hơn về context, nhưng người giao việc mất liên lạc trong suốt thời gian subagent chạy — chỉ nhận lại bản báo cáo cuối. Nếu subagent đi sai từ phút thứ năm, cả giờ còn lại là lãng phí. PILOT thuộc kiểu thứ ba: giữ kênh mở.

Cách hoạt động, từng bước

(1) Supervisor giao việc cho worker nhưng không ngắt kết nối. (2) Trong lúc chạy, worker phát ba loại sự kiện: notification (báo tiến độ), question (hỏi khi bế), final result. (3) Supervisor có hai quyền: steering — nắn lại hướng đi giữa chừng; và abortion — cắt sớm lượt chạy vô ích, không đốt thêm token. (4) Song song, supervisor nhận ra quy trình nào hiệu quả và kiểu lỗi nào lặp lại, rồi viết vào harness bền gồm thư viện kỹ năng và bộ nhớ sống qua nhiều tập. (5) Worker của tập sau nạp harness đã cập nhật → vòng cải thiện khép kín.

Số liệu đáng nhớ

Terminal-Bench 2.0	GLM-5.1 71,9% · Kimi-K2.6 71,3% · trung bình 71,6%
SWE-bench Multilingual	71,6% / 73,7% · trung bình 72,7%
SWE-bench Pro	54,7% / 65,1% · trung bình 59,9%
Mức tự cải thiện	từ vòng 0 đến vòng tốt nhất: GLM-5.1 +14,6 điểm, Kimi-K2.6 +12,4 điểm
Hiệu quả token	token đầu ra giảm 42,9% và 47,4%; số lượt đánh giá thành công trên mỗi triệu token tăng 110,3% và 134,0%

Hạn chế tác giả tự nhận

Ba điểm. Thứ nhất, phạm vi đánh giá hẹp: tự cải thiện lặp nghĩa là chạy lại mọi nhiệm vụ qua nhiều vòng, nên thêm benchmark hay backbone đắt hơn hẳn một lượt suy luận đơn. Thứ hai, supervisor và worker dùng chung một backbone đóng băng — chưa thử ghép hai model khác nhau, vậy nên chưa biết supervisor mạnh hơn có lột trần hay không. Thứ ba, chỉ ba benchmark và hai model open-weight; model đóng chưa thử.

Ý nghĩa cho bạn: đặt cạnh paper trên, hai bài này ghép thành một cặp hoàn chỉnh: SWE Refactor Bench nói đừng tin báo cáo cuối cùng, PILOT nói vì thế đừng chờ đến cuối cùng mới xem. Con số đáng chú ý nhất không phải +14,6 điểm mà là token giảm gần một nửa cùng lúc điểm tăng — phần lớn đến từ quyền hủy sớm, thứ mà harness thông thường không có. Nếu bạn đang chạy agent dài hơi trong pipeline, cơ chế rẻ nhất để bắt chước là một cổng hủy sớm dựa trên tín hiệu giữa chừng, chưa cần cả thư viện kỹ năng.

▲ 39

AgenticAn toànSecOPD: Mitigating Adaptive Prompt Injections by On-Policy Distillation

BLUF: Học bằng cách so từng token giữa "model thấy đầu vào sạch" và "model thấy đầu vào bị tiêm lệnh", SecOPD kéo tỉ lệ tấn công thành công của PISmith từ 94,0% xuống 9,0% mà vẫn giữ 88,1% hữu dụng.

30 giây

• Vấn đề: prompt injection gián tiếp — người dùng hỏi lành tính, nhưng dữ liệu ngoài mà agent đọc có gài lệnh. Phòng thủ SoTA trước đó (Meta-SecAlign) vẫn thất thủ 94% trước tấn công thích nghi.
• Cách làm: tạo cặp đầu vào — bản sạch và bản bị tiêm. Student sinh câu trả lời từ bản bị tiêm; teacher đóng băng chấm từng token dựa trên bản sạch. Hiệu log-prob giữa hai bên là advantage.
• Vì sao ăn: tín hiệu ở mức token cho phép gán công/tội rất mịn — token nào theo lệnh gài thì bị phạt đúng token đó, thay vì phạt cả câu như GRPO.

Đọc sâu (~3 phút)

Bối cảnh: vì sao phòng thủ cũ thất thủ

Các phương pháp trước huấn luyện model trên một tập tấn công cố định. Kẻ tấn công thích nghi chỉ cần tìm dạng tiêm lệnh nằm ngoài tập đó — và PISmith làm đúng việc đó, đạt 94,0% thành công trước Meta-SecAlign. Vấn đề gốc: model được dạy nhận diện tấn công, chứ không được dạy bám theo prompt đáng tin bất kể xung quanh có gì.

Cách hoạt động, từng bước

(1) Dựng cặp đầu vào: mỗi mẫu có hai phiên bản — sạch (chỉ dữ liệu lành) và bị tấn công (cùng dữ liệu đó cộng lệnh gài). (2) Student rollout: model đang huấn luyện sinh câu trả lời từ bản bị tấn công — nghĩa là nó học trên chính phân phối lỗi của nó, đó là phần "on-policy". (3) Teacher chấm từng token: teacher (chính là model khởi tạo, được đóng băng) nhìn bản sạch và chấm từng token mà student vừa sinh. (4) Tính advantage: hiệu giữa log-prob của teacher (ngữ cảnh sạch) và của student (ngữ cảnh bị tiêm). Token hướng về nhiệm vụ thật được thưởng; token đi theo lệnh gài bị phạt. (5) Cập nhật tham số student theo advantage mức token.

Số liệu đáng nhớ

PISmith (tấn công thích nghi)	SecOPD 9,0% ASR vs Meta-SecAlign 94,0% vs GRPO 61,2%
SEP (tấn công tĩnh)	SecOPD 1,3% ASR vs Meta-SecAlign 28,9%
AgentDojo (miền tool-use chưa thấy)	4,7% ASR vs 5,5% — chuyển giao được sang miền mới
Hữu dụng giữ lại	trung bình 7 benchmark 88,1% (ngang model không phòng thủ); SEP 88,6% · AgentDojo 90,7% · MMLU-Pro 84,1%
Đối chứng GRPO	GRPO chấm ở mức câu: an toàn kém hơn (61,2%) và hữu dụng kém hơn (83,1%) — mịn hơn thắng ở cả hai trục

Hạn chế tác giả tự nhận

Phạm vi hẹp rõ ràng: chỉ áp cho injection gián tiếp (prompt người dùng lành, dữ liệu ngoài độc hại), không phải jailbreak hay tấn công trực tiếp. Phương pháp giả định biết rõ phần nào của đầu vào đáng tin — hệ thống nào phải suy ra độ tin cậy từ ngữ cảnh thì không dùng được. Một quan sát đáng chú ý: model sau huấn luyện không hề "nhận ra" mình bị tấn công — không có dấu hiệu do dự hay cảnh báo trong chuỗi suy luận, nó chỉ đơn giản bỏ qua. Và tác giả thẳng thắn: tấn công thích nghi thế hệ sau vẫn có thể thành công; đây là "một cột mốc", không phải lời giải trọn vẹn.

Ý nghĩa cho bạn: cùng ngày, Simon Willison đăng bài phá auto mode của Claude Code Opus 5 — cũng là prompt injection. Hai thứ đọc cùng nhau rất hợp: SecOPD cho thấy hướng chống ở tầng trọng số hiệu quả hơn hẳn lọc ở tầng prompt, nhưng chỉ khi bạn biết trước ranh giới tin cậy. Với pipeline của bạn — agent đọc RSS, email, trang web lạ — ranh giới đó có rõ: nội dung tải về luôn là dữ liệu, không bao giờ là lệnh. Đó chính là giả định mà SecOPD cần, nên hướng này áp được.

▲ 74

EvalsPAWBench: How Far Are We from Probabilistically Aligned World Modeling?

BLUF: Model sinh video dựng được một tương lai trông hợp lý, nhưng hỏi "xác suất mỗi kết cục là bao nhiêu" thì sai hệ thống — không model nào đạt đủ cả ba yêu cầu: xác suất đúng, phủ hết kết cục hợp lệ, và ổn định giữa các cảnh.

30 giây

• Ý tưởng: world model tốt không phải là đoán đúng một kết cục, mà là phân phối đúng trên các kết cục có thể. Tung đồng xu phải ra 50/50, không phải luôn một mặt.
• Cách làm: 50 cảnh chọn tay thuộc 8 nhóm cơ chế vật lý, chia hai nhánh — PAW-Calibration (25 cảnh có phân phối chuẩn tính được: tung xu, quay vòng, rút thăm) và PAW-Coverage (25 cảnh chỉ liệt kê kết cục hợp lệ: bowling, lật chai, va chạm). Mỗi cảnh sinh K=50 lượt độc lập.
• Kết quả: Cosmos 3 Super I2V tốt nhất cả hai nhánh (TVD 20,5 · coverage 55,2%) nhưng vẫn còn xa; Veo3.1 Fast lệch nhiều nhất (TVD 35,4).

Đọc sâu (~3 phút)

Bối cảnh: "đúng" nghĩa là gì khi tương lai có nhiều nhánh

Benchmark video hiện nay chấm từng clip: trông có thật không, có theo prompt không. Nhưng khi cảnh vật có yếu tố ngẫu nhiên thật sự — đồng xu đang xoay, chai đang lật — thì mọi kết cục đều "đúng" về mặt từng clip, và cách chấm đó không phát hiện được model luôn cho ra cùng một mặt. PAWBench tách ra hai yêu cầu riêng: support alignment (có sinh đủ các kết cục hợp lệ không) và probability-mass alignment (tần suất có đúng không).

Cách xây, từng bước

(1) Chọn cảnh thủ công: 50 cảnh, 8 nhóm cơ chế vật lý, điều kiện bắt buộc là tính ngẫu nhiên phải đến từ cơ chế nhìn thấy được, không phải từ prompt viết mơ hồ. (2) Cố định đầu vào: mỗi cảnh khoá cứng một ảnh nguồn và một prompt hành động. (3) Lặp 50 lượt độc lập mỗi model để dựng phân phối thực nghiệm. (4) Giao thức PAWEval: Gemini 3.5 Flash áp rubric riêng cho từng cảnh để ánh xạ video → kết cục cuối, có cổng lọc riêng để bỏ các lượt không đọc được kết cục.

Số liệu đáng nhớ

Cosmos 3 Super I2V	TVD 20,5 (thấp là tốt) · Coverage 55,2% — dẫn cả hai nhánh
MiniMax H3 / Wan2.7	TVD 24,2 / 26,3 · Coverage 48,7% / 50,0%
Seedance 2 / Veo3.1 Fast	TVD 30,5 / 35,4 · Coverage 50,9% / 41,8%
Độ tin cậy của chấm tự động	PAWEval khớp người thật 81,3% (722/888 video có kết cục rõ)
Không phải nhiễu lấy mẫu	TVD quan sát trung bình 31,2, trong khi phân vị 99 của giả thuyết rỗng chỉ là 9,22 — khoảng lệch vượt xa sai số mẫu

Hạn chế tác giả tự nhận

Chỉ chấm kết cục cuối, không chấm động lực dọc đường hay các bước trung gian. Ngân sách lấy mẫu hữu hạn: tăng số lượt thì đo chính xác hơn nhưng đắt hơn, mà cũng không sửa được phân phối lệch của model. Và các cảnh đều là tình huống cô lập, dễ phân tích; môi trường dài hơi, tương tác, hoặc có thân thể vật lý thì để lại cho sau.

Ý nghĩa cho bạn: bài này về video, nhưng khung tư duy áp thẳng sang eval agent. Câu hỏi "model có sinh đủ phổ kết cục với đúng tần suất không" chính là câu hỏi bạn cần khi chấm độ tin cậy của một agent: chạy một lần ra kết quả tốt không nghĩa là gì nếu 50 lần chạy cho ra phân phối xấu. Đây cũng là phản biện trực tiếp cho thói quen báo cáo pass@1 — và là lý do chỉ số ổn định giữa các lần chạy đáng đưa vào rubric eval workspace của bạn bên cạnh điểm tuyệt đối.

📰 Tin đáng biết

Mô hình & sản phẩm

• GLM-5.3-Flash mở giấy phép MIT (qua AI Agents Weekly) — Z.ai phát hành model đa phương thức nguyên bản 320B-A18B, cửa sổ 1 triệu token. Terminal Bench 2.1 84,3; DeepSWE v1.1 63,4; HLE có tool 55,3 — vượt GLM-5.2 ở mọi mục. Giá $0,15/1M input, $0,50/1M output, $0,03 cached, rẻ đến mức chạy agent vòng lặp được. Attention lai (linear + sparse có indexer) cắt 3,0× chi phí attention và 4,4× KV cache; toàn bộ phục vụ chạy trên chip AI Trung Quốc.
• Anthropic mở preview Model Hardware Standard (RSS + qua TLDR) — bộ driver chuẩn để agent điều khiển thiết bị khoa học và sản xuất thật, không phụ thuộc model cụ thể. Mục tiêu: rút việc dựng tích hợp thí nghiệm từ hàng tuần xuống hàng giờ.
• Cohere Parse (qua TLDR) — VLM chuyên biến tài liệu đa phương thức phức tạp thành dữ liệu có cấu trúc, 9 ngôn ngữ lớn, $1,50/1.000 trang.

Đánh giá & đo lường

• DeepMind thử nghiệm eval double-blind đầu tiên (qua TLDR) — dùng môi trường mã hoá để model không biết mình đang bị chấm, chống nhiễm benchmark. Cặp trực tiếp với mạch "bằng chứng xanh không đủ dùng" ở trên.
• TASTE: model có chấm được đề xuất nghiên cứu an toàn không? — benchmark mới của Anthropic Alignment, đo độ khớp giữa đánh giá của model và lựa chọn của nhà nghiên cứu lành nghề. Bước chuẩn bị cho việc để model tự chọn hướng nghiên cứu.
• Automated researcher tự tìm được cách vá lỗi alignment — trên 10 kiểu thất bại alignment phổ biến, kỹ thuật mạnh nhất mà researcher tự động tìm ra giảm đáng kể lỗi mục tiêu.
• Terminal-Bench-Science 0.1 (qua TLDR + AI Agents Weekly) — chấm agent trên quy trình lấy từ chính công việc của các nhà nghiên cứu, thay vì task dựng sẵn.

Kỹ thuật agent & thực hành

• "We need to talk about migrations with AI" (qua TLDR) — mổ case study OpenAI về Asana tiết kiệm $5,9 triệu; ước tính "bốn kỹ sư × năm năm" bị cho là thổi phồng. Kết luận cần bằng: AI làm nhiều cuộc di trú trở nên khả thi, nhưng con số tiết kiệm thì nên nghi ngờ.
• Đưa chuyên môn vào RL, không vào scaffold (qua TLDR) — phản đề thú vị cho luận "harness là tất cả": trên text-to-SQL, bọc thêm scaffold có giúp nhưng bị chặn trần bởi năng lực model nền. Kiến thức nhiệm vụ nằm trong scaffold nên được đưa vào tín hiệu huấn luyện.
• Phá auto mode của Claude Code Opus 5 (qua TLDR) — Simon Willison thử chính cơ chế mà Anthropic trông cậy để chống prompt injection cho agent code. Đọc kèm SecOPD ở trên.
• "Audit your agent files" (qua TLDR) — cấu hình agent có chủ kỳ phân rã: model khá, harness thêm tính năng, codebase đổi. Khuyến nghị: vài tuần chạy /doctor một lần, soát memory riêng, và bắt mỗi chỉ dẫn tự chứng minh lý do tồn tại.

Chính sách & ngành

• Anthropic tái nhập cuộc với quốc phòng (qua TLDR) — tuyển Head of National Security Sales để khôi phục hợp đồng quốc phòng, sau khi từng bị Bộ Quốc phòng Mỹ gạt vì bất đồng điều khoản sử dụng công nghệ.
• Anthropic tài trợ nghiên cứu đánh giá tác động AI lên sức khoẻ tinh thần — chương trình grant cho eval về wellbeing.
• Tech Policy Press mở đơn Fellowship 2027 — dành cho người viết về chính sách công nghệ.

🔬 Muốn đào sâu paper nào?

Bấm link dưới mỗi paper để gửi yêu cầu; bản đào sâu tiếng Việt đầy đủ (so với repo của bạn) sẽ xuất hiện trong digest hôm sau.

• 🔬 Yêu cầu deep-dive: SWE Refactor Bench (2608.23564)
• 🔬 Yêu cầu deep-dive: PILOT in the Loop (2608.26530)
• 🔬 Yêu cầu deep-dive: SecOPD (2608.21500)
• 🔬 Yêu cầu deep-dive: PAWBench (2608.27345)