Chollet lập luận đo trí tuệ bằng hiệu năng trên từng task cụ thể là sai, vì skill có thể bị thổi phồng nhờ nhiều prior knowledge hoặc dữ liệu train. Ông định nghĩa lại intelligence là skill-acquisition efficiency (hiệu suất học kỹ năng mới), dựa trên Algorithmic Information Theory và tính đến scope, độ khó generalization, priors và experience. Để đo, ông giới thiệu benchmark ARC (Abstraction and Reasoning Corpus) xây trên các human priors bẩm sinh để so sánh công bằng fluid intelligence giữa AI và người.
Công bố o3 đạt 75,7% trên tập Semi-Private ở giới hạn compute $10k, và 87,5% ở cấu hình high-compute (172x) — bước nhảy đột biến trên ARC-AGI-1 vốn 4 năm chỉ nhích từ 0% lên 5%. Chollet phân tích đây là lần đầu một mô hình GPT thể hiện khả năng thích nghi với task mới lạ, nhờ test-time compute chứ không chỉ scale. Cũng là lúc ông công khai đổi quan điểm về vai trò của LLM và đặt nền cho ARC-AGI-2 khó hơn.
Chollet cho rằng deep learning phải tiến hóa vượt khỏi các mô hình nhận dạng mẫu thuần khả vi (differentiable) sang “các mô hình giống chương trình hơn”, kết hợp lập luận thuật toán với trực giác hình học. Đề xuất neural program synthesis và các hệ tự dựng kiến trúc từ thư viện subroutine tái sử dụng. Mục tiêu là “extreme generalization” — giải bài toán mới với rất ít dữ liệu, gần cách con người học.
Bài mở đầu chuỗi “Circuits”, đặt ba tuyên bố nền của mechanistic interpretability: features (phát hiện cạnh, đường cong…) là đơn vị cơ bản của mạng; các features nối nhau qua weights tạo thành circuits — mạch tính toán có ý nghĩa; và các features/circuits mang tính universality, lặp lại giữa các mô hình khác nhau. Lập luận nên nghiên cứu mạng nơ-ron như một ngành khoa học tự nhiên: soi từng nơ-ron nghiêm ngặt như sinh học soi tế bào. Có bằng chứng cụ thể như curve detectors, high-low frequency detectors.
Giải thích kỹ thuật feature visualization: sinh ra hình ảnh tối đa hóa activation của một nơ-ron/lớp cụ thể bằng gradient descent trên chính pixel đầu vào, để “hỏi” mạng xem mỗi bộ phận nhận diện mẫu thị giác gì. Bàn kỹ các thách thức thực tế — nhiễu tần số cao, cần regularization và preconditioning — để hình sinh ra dễ diễn giải với con người. Là công cụ nền để mở hộp đen của các lớp trong mạng thị giác.
Bài giảng kinh điển giải thích LSTM trực quan: LSTM là RNN đặc biệt sinh ra để khắc phục long-term dependency problem. Thay vì một lớp xử lý đơn, LSTM có cell state chạy như “băng chuyền” thông tin và ba cổng (forget, input, output) điều tiết thông tin nào được giữ, thêm hay xuất. Nhờ vậy mạng học được quan hệ trải dài trên chuỗi dài.
Ruder lập luận các pretrained language models (ELMo, ULMFiT, OpenAI Transformer) là bước ngoặt cho NLP tương đương ImageNet của computer vision. Thay vì word embeddings nông, các cách này pretrain trọn mô hình sâu trên language modeling, học đặc trưng ngôn ngữ phân tầng rồi transfer hiệu quả sang nhiều downstream task. Dự báo chính xác kỷ nguyên pretrain-then-finetune ngay trước khi BERT xuất hiện.
Tổng quan toàn diện về gradient descent — kỹ thuật tối ưu nền tảng của mạng nơ-ron. Đi từ ba biến thể (batch, stochastic, mini-batch) đến các optimizer phổ biến (Momentum, Adam, RMSprop), giải thích mỗi thuật toán xử lý khó khăn huấn luyện nào. Bàn cả huấn luyện phân tán và các mẹo bổ trợ giúp hội tụ nhanh hơn.
Khảo sát cách multi-task learning (MTL) cải thiện generalization bằng tín hiệu huấn luyện từ các task liên quan. Phân tích hai hướng chính — hard parameter sharing (chia sẻ lớp ẩn) và soft parameter sharing (regularize để mô hình các task giống nhau) — cùng cơ chế vì sao MTL hiệu quả: implicit data augmentation, attention focusing, regularization. Bàn cả auxiliary tasks và cách học động xem lớp/biểu diễn nào nên chia sẻ.