Apple sinh rubric riêng cho từng câu hỏi, grounded trên bằng chứng đã retrieve, rồi tách rubric thành nhiều chiều chất lượng (composition, grounding, instruction-following) làm reward signal khi post-training — thay cho preference phẳng kiểu “A tốt hơn B”. Cho supervision chi tiết theo từng tiêu chí. Kết quả tăng 6,5% so với baseline instruction-tuned và 4% so với biến thể rubric phẳng, đồng đều trên mọi tập đánh giá.
Dùng DPO fine-tune model open-source thành LLM judge, train trên 5.407 preference pair rút từ RewardBench 2. GPT-OSS 120B sau fine-tune đạt 62,63% accuracy, vượt GPT-5.2 (61,62%), trong khi rẻ hơn 15,3x và nhanh hơn 14x. Category Safety đạt 91,32% nhưng Focus vẫn rất khó (10,13%); train chỉ 1,5–4 giờ.
Chấm “skill” của agent qua 3 tier: validation tĩnh (schema, quét prompt injection), phát hiện trùng bằng embedding, và chạy live agent trong sandbox có/không skill để đo chênh lệch. Mỗi case chạy hai lần cùng điều kiện (cùng model, prompt, input, grading) để cô lập tác động của skill. Trên 300+ skill của 30+ sản phẩm, Skill Lift trung bình +41 điểm correctness (46→87/100), biến thiên +2 đến +46 tùy domain.
Framework chấm và train data science agent bằng containerized execution interface JSON chuẩn, kèm hai dataset mới DSBio (90 task bioinformatics) và DSPredict (92 cuộc thi Kaggle). Sinh 3.700 query tổng hợp, lọc còn 2.000 trajectory pair để train. Claude Sonnet 4.5 đạt 83,33% DABStep-easy nhưng rớt còn 37,04% ở task hard; GPT-5.1 làm 85,7% submission hợp lệ nhưng chỉ 4,8% đạt medal — pipeline chạy được nhưng chưa cạnh tranh.
ReasonIF — benchmark 300 bài toán/khoa học ghép với 6 loại instruction kiểm chứng tự động (đa ngôn ngữ, giới hạn từ, JSON, viết hoa…), đo trong reasoning trace chứ không chỉ câu trả lời cuối. Các model frontier (GPT-OSS-120B, Qwen3-235B, DeepSeek-R1) fail hơn 75% số lần khi phải tuân instruction ngay trong lúc suy luận; IFS trong reasoning trace tụt hơn 50% so với phần trả lời chính, riêng JSON và uppercase gần 0%.
Environment service trên Kubernetes tách runtime khỏi training pipeline, cho agent train thẳng trong deployment harness thật (Codex, OpenClaw, ZeroClaw) thay vì proxy đơn giản → loại bỏ train-test mismatch. Orchard-SWE (~3B active params) đạt 69,7% SWE-bench Verified (73% khi thêm value-model reranking), Orchard-GUI 68,4%, Orchard-Claw 59,6%. Điểm chính: model open nhỏ tiếp cận được hệ frontier lớn gấp hơn 10 lần nhờ thiết kế environment tốt.
NOOA mô hình hóa agent thành Python class: method là capability, field là state, docstring là prompt, type annotation ép contract, kèm long-term memory lưu SQLite. Rút ra 6 nguyên tắc interface harness (typed I/O, pass-by-reference, code-as-action, loop lập trình được, state tường minh, API model gọi được). Đạt 82,2% SWE-bench Verified với GPT-5.5 (vượt SOTA 79,2%) dùng ~1,1M token/29 LLM call mỗi task (khoảng nửa harness khác); memory thêm +11,8 điểm trên ARC-AGI-3.
Coi file skill của agent như tham số tối ưu được, giữ nguyên (frozen) LLM: model chạy task, một optimizer model đọc trajectory rồi đề xuất edit văn bản có giới hạn (add/delete/replace), validate trên held-out, edit bị loại vẫn dùng làm gợi ý vòng sau. Trên 6 domain × 7 model, trung bình tăng từ 58,8 lên 82,3 (+23,5 điểm) với GPT-5.5 (SpreadsheetBench 41,8→80,7), thắng cả 6 baseline. Skill cuối chỉ ~920 token với 1–4 edit; transfer tốt qua model và harness khác.
Framework test-time learning giúp LLM tiến bộ mà không update trọng số, chỉ dùng inference-time compute trên model black-box qua API. Biến trải nghiệm thô thành knowledge tái dùng qua consolidation (gộp đơn vị kiến thức giống nhau thành dạng tổng quát) và dynamic weighting (điều chỉnh tầm quan trọng theo lợi ích dài hạn). Đạt hiệu năng cao hơn trên phần lớn dải compute và cải thiện nhanh hơn khi tăng compute so với baseline memory-based; ổn định khi thứ tự task bị đảo ngẫu nhiên.
Tăng tốc pha rollout của RL post-training (vốn chiếm ~70% thời gian train) bằng một suffix-tree drafter thích nghi từ trajectory gần đây (không cần retrain) và scheduling theo độ dài request. Trên math reasoning (DeepSeek-R1-Distill-Qwen-7B) giảm hơn 50% thời gian rollout với reward curve y hệt; trên code (Qwen3-8B) nhanh ~25% mà giữ reward. Ổn định qua độ dài 8k–16k và batch 16–32.
Tăng tốc diffusion language model bằng consistency-based multi-token finalization + block-wise KV caching, với recipe post-training (distillation + consistency + auxiliary masked-denoising loss). Khi infer, decode theo block và tái dùng KV cache. Trên Dream-7B-Instruct, số step giảm 4,1–7,7x, latency cải thiện tới 11,2x (GSM8K-CoT) và 14,5x (MBPP) với thay đổi accuracy nhỏ; ablation cho thấy phải train chứ cắt step thô thì hỏng.
Hơn 2.000 thí nghiệm pretraining để tìm cách trộn dữ liệu target khan hiếm với dữ liệu generic dồi dào. Phát hiện: có thể lặp (repeat) corpus target 15–20 lần mà không suy giảm nghiêm trọng, và repetition là động lực trung tâm của hiệu năng domain đích. Đề xuất “repetition-aware mixture scaling law” tính cả diminishing returns của token lặp lẫn lợi ích regularization của dữ liệu generic, để chọn mixture bằng bằng chứng thay vì thử-sai.
Gộp ba pha vào một cosine annealing schedule thống nhất: train model phóng to, structured pruning lặp, rồi recovery fine-tuning — nén model mà không mất kiến thức. Thí nghiệm nén 2,8B → 1,3B với pretraining tới 2 nghìn tỷ token. Kết quả: pretrain một model phóng to rồi prune cho model 1,3B tốt hơn train thẳng model 1,3B từ đầu, dù bản phóng to không được deploy.