AI Digest · Backfill Phần 3

Đọc bù Phần 3: research từ các lab

13 bài research thật (đã lọc bỏ marketing) từ Apple, Microsoft, Together, NVIDIA — nhóm theo chủ đề.
Từ ~200 bài của NVIDIA/Together + Apple/Microsoft, đã lọc bỏ bài product/marketing, giữ 13 bài có phương pháp hoặc benchmark thật. Nhóm theo chủ đề bạn quan tâm: đánh giá & LLM-judge, khung agentic & RL, hệ thống inference, và model/training. Tóm tắt từ WebFetch bài gốc.

🔬 Đánh giá & LLM-judge · 5 bài

Apple sinh rubric riêng cho từng câu hỏi, grounded trên bằng chứng đã retrieve, rồi tách rubric thành nhiều chiều chất lượng (composition, grounding, instruction-following) làm reward signal khi post-training — thay cho preference phẳng kiểu “A tốt hơn B”. Cho supervision chi tiết theo từng tiêu chí. Kết quả tăng 6,5% so với baseline instruction-tuned và 4% so với biến thể rubric phẳng, đồng đều trên mọi tập đánh giá.

→ Với bạn: Gần đúng lõi rubric-eval: rubric per-query tách theo chiều tiêu chí — nhưng họ dùng làm reward chứ không chỉ để chấm; đáng so với cơ chế “chỉ tính crucial” của bạn.

Dùng DPO fine-tune model open-source thành LLM judge, train trên 5.407 preference pair rút từ RewardBench 2. GPT-OSS 120B sau fine-tune đạt 62,63% accuracy, vượt GPT-5.2 (61,62%), trong khi rẻ hơn 15,3x và nhanh hơn 14x. Category Safety đạt 91,32% nhưng Focus vẫn rất khó (10,13%); train chỉ 1,5–4 giờ.

→ Với bạn: Bằng chứng trực tiếp: judge open-source fine-tune được có thể thay judge closed cho verifiable-eval/rubric-eval, kèm cost/latency cụ thể để bạn cân nhắc backend chấm.

Chấm “skill” của agent qua 3 tier: validation tĩnh (schema, quét prompt injection), phát hiện trùng bằng embedding, và chạy live agent trong sandbox có/không skill để đo chênh lệch. Mỗi case chạy hai lần cùng điều kiện (cùng model, prompt, input, grading) để cô lập tác động của skill. Trên 300+ skill của 30+ sản phẩm, Skill Lift trung bình +41 điểm correctness (46→87/100), biến thiên +2 đến +46 tùy domain.

→ Với bạn: Thiết kế “chạy hai lần cùng điều kiện, chỉ đổi 1 biến” chính là controllable/verifiable eval bạn theo đuổi — tham chiếu tốt cho verifiable-eval và MARH.

Framework chấm và train data science agent bằng containerized execution interface JSON chuẩn, kèm hai dataset mới DSBio (90 task bioinformatics) và DSPredict (92 cuộc thi Kaggle). Sinh 3.700 query tổng hợp, lọc còn 2.000 trajectory pair để train. Claude Sonnet 4.5 đạt 83,33% DABStep-easy nhưng rớt còn 37,04% ở task hard; GPT-5.1 làm 85,7% submission hợp lệ nhưng chỉ 4,8% đạt medal — pipeline chạy được nhưng chưa cạnh tranh.

→ Với bạn: Mẫu “gym vừa eval vừa train agent, task lọc bỏ phần memorize được” song song thẳng với verifiable-evalMARH.

ReasonIF — benchmark 300 bài toán/khoa học ghép với 6 loại instruction kiểm chứng tự động (đa ngôn ngữ, giới hạn từ, JSON, viết hoa…), đo trong reasoning trace chứ không chỉ câu trả lời cuối. Các model frontier (GPT-OSS-120B, Qwen3-235B, DeepSeek-R1) fail hơn 75% số lần khi phải tuân instruction ngay trong lúc suy luận; IFS trong reasoning trace tụt hơn 50% so với phần trả lời chính, riêng JSON và uppercase gần 0%.

→ Với bạn: Đo verifiable instructions bên trong quá trình reasoning là hướng mà rondoverifiable-eval cần — bắt lỗi mà chấm output cuối bỏ sót.

🤖 Khung agentic & RL · 4 bài

Environment service trên Kubernetes tách runtime khỏi training pipeline, cho agent train thẳng trong deployment harness thật (Codex, OpenClaw, ZeroClaw) thay vì proxy đơn giản → loại bỏ train-test mismatch. Orchard-SWE (~3B active params) đạt 69,7% SWE-bench Verified (73% khi thêm value-model reranking), Orchard-GUI 68,4%, Orchard-Claw 59,6%. Điểm chính: model open nhỏ tiếp cận được hệ frontier lớn gấp hơn 10 lần nhờ thiết kế environment tốt.

→ Với bạn: Kiến trúc tách environment khỏi training để tái dùng cho data-collection/RL/eval là đúng bài toán hạ tầng của MARH.

NOOA mô hình hóa agent thành Python class: method là capability, field là state, docstring là prompt, type annotation ép contract, kèm long-term memory lưu SQLite. Rút ra 6 nguyên tắc interface harness (typed I/O, pass-by-reference, code-as-action, loop lập trình được, state tường minh, API model gọi được). Đạt 82,2% SWE-bench Verified với GPT-5.5 (vượt SOTA 79,2%) dùng ~1,1M token/29 LLM call mỗi task (khoảng nửa harness khác); memory thêm +11,8 điểm trên ARC-AGI-3.

→ Với bạn: Sáu nguyên tắc thiết kế harness + cách đo token/LLM-call mỗi task là tham chiếu trực tiếp cho MARH, nhất là harness API và memory.

Coi file skill của agent như tham số tối ưu được, giữ nguyên (frozen) LLM: model chạy task, một optimizer model đọc trajectory rồi đề xuất edit văn bản có giới hạn (add/delete/replace), validate trên held-out, edit bị loại vẫn dùng làm gợi ý vòng sau. Trên 6 domain × 7 model, trung bình tăng từ 58,8 lên 82,3 (+23,5 điểm) với GPT-5.5 (SpreadsheetBench 41,8→80,7), thắng cả 6 baseline. Skill cuối chỉ ~920 token với 1–4 edit; transfer tốt qua model và harness khác.

→ Với bạn: Tối ưu skill/rubric như “tham số” bằng vòng propose-validate rất gần rubric-eval và cách bạn muốn skill transfer giữa các harness trong MARH.

Framework test-time learning giúp LLM tiến bộ mà không update trọng số, chỉ dùng inference-time compute trên model black-box qua API. Biến trải nghiệm thô thành knowledge tái dùng qua consolidation (gộp đơn vị kiến thức giống nhau thành dạng tổng quát) và dynamic weighting (điều chỉnh tầm quan trọng theo lợi ích dài hạn). Đạt hiệu năng cao hơn trên phần lớn dải compute và cải thiện nhanh hơn khi tăng compute so với baseline memory-based; ổn định khi thứ tự task bị đảo ngẫu nhiên.

→ Với bạn: Đúng địa hạt rondo về test-time-compute và tích lũy context: cải thiện qua compute lúc infer thay vì train lại, có so sánh theo dải compute.

⚡ Hệ thống inference · 2 bài

Tăng tốc pha rollout của RL post-training (vốn chiếm ~70% thời gian train) bằng một suffix-tree drafter thích nghi từ trajectory gần đây (không cần retrain) và scheduling theo độ dài request. Trên math reasoning (DeepSeek-R1-Distill-Qwen-7B) giảm hơn 50% thời gian rollout với reward curve y hệt; trên code (Qwen3-8B) nhanh ~25% mà giữ reward. Ổn định qua độ dài 8k–16k và batch 16–32.

→ Với bạn: Giảm chi phí test-time-compute trong vòng RL nối thẳng vào rondo và hạ tầng rollout của MARH khi train agent.

Tăng tốc diffusion language model bằng consistency-based multi-token finalization + block-wise KV caching, với recipe post-training (distillation + consistency + auxiliary masked-denoising loss). Khi infer, decode theo block và tái dùng KV cache. Trên Dream-7B-Instruct, số step giảm 4,1–7,7x, latency cải thiện tới 11,2x (GSM8K-CoT) và 14,5x (MBPP) với thay đổi accuracy nhỏ; ablation cho thấy phải train chứ cắt step thô thì hỏng.

→ Với bạn: Một hướng inference-efficiency kiểu diffusion để đối chiếu với các chiến lược test-time-compute của rondo.

🧱 Model & training · 2 bài

Hơn 2.000 thí nghiệm pretraining để tìm cách trộn dữ liệu target khan hiếm với dữ liệu generic dồi dào. Phát hiện: có thể lặp (repeat) corpus target 15–20 lần mà không suy giảm nghiêm trọng, và repetition là động lực trung tâm của hiệu năng domain đích. Đề xuất “repetition-aware mixture scaling law” tính cả diminishing returns của token lặp lẫn lợi ích regularization của dữ liệu generic, để chọn mixture bằng bằng chứng thay vì thử-sai.

Gộp ba pha vào một cosine annealing schedule thống nhất: train model phóng to, structured pruning lặp, rồi recovery fine-tuning — nén model mà không mất kiến thức. Thí nghiệm nén 2,8B → 1,3B với pretraining tới 2 nghìn tỷ token. Kết quả: pretrain một model phóng to rồi prune cho model 1,3B tốt hơn train thẳng model 1,3B từ đầu, dù bản phóng to không được deploy.