Level 2: Frontier
34 bài frontier — new architectures, long context, reasoning & RL, inference frontier, multi-agent, alignment, vision & multimodal.
Level 2 — Frontier khám phá tuyến đầu nghiên cứu AI. Mamba, ring attention, GRPO, EAGLE, multi-agent, SimPO, vision transformer — những gì đang định hình thế hệ AI tiếp theo.
Nội dung Level 2
| Cụm | Chủ đề | Số bài |
|---|---|---|
| New Architectures | Mamba, SSM, hybrid attention-SSM, linear attention, diffusion LM, continual learning | 6 |
| Long Context | Ring attention, YaRN & LongRoPE, native long-context training | 3 |
| Reasoning & RL | Test-time compute, GRPO, process reward models, reasoning distillation, RLVR | 6 |
| Inference Frontier | EAGLE speculative, TurboQuant, KV cache quantization, prompt lookup decoding | 4 |
| Multi-Agent & Compound Systems | Mixture of agents, agentic AI, multi-agent frameworks, LLM-as-Judge, MCP, code generation | 6 |
| Alignment Frontier | SimPO, ORPO, synthetic data & self-play, KTO, online DPO | 5 |
| Vision & Multimodal | ViT, CLIP, multimodal LLM, diffusion models | 4 |
MMLU, HumanEval, BIG-Bench — Thước đo chung cho LLM
Bộ ba kỳ thi tốt nghiệp của AI: MMLU đo độ rộng tri thức, HumanEval kiểm tra tính đúng đắn chức năng, BIG-Bench dò tìm khả năng suy luận mới xuất hiện ở quy mô lớn. Hiểu tại sao benchmark hoạt động để không bị số liệu đánh lừa.
TurboQuant — Random rotation trước khi quantize, 3-bit KV cache không mất accuracy
Tại sao 3-bit quantization có thể giữ nguyên độ chính xác? Bí mật nằm ở việc xoay ngẫu nhiên vector trước khi nén, biến dữ liệu 'phức tạp' thành 'đồng nhất' để quantization đơn giản hoạt động tối ưu.