Breakthroughs
Level 1: Breakthroughs
36 bài về các đột phá kỹ thuật — attention efficiency, quantization, KV cache, MoE, RAG, eval & safety.
Level 1 — Breakthroughs đi sâu vào các kỹ thuật đột phá đã định hình AI hiện đại. Flash Attention, speculative decoding, MoE, quantization, RAG — những cơ chế thực sự tạo nên sự khác biệt.
Nội dung Level 1
| Cụm | Chủ đề | Số bài |
|---|---|---|
| Attention Efficiency | Flash Attention, MQA, GQA, sliding window, RoPE, ALiBi | 6 |
| KV Cache & Inference | KV cache, PagedAttention, continuous batching, speculative decoding | 7 |
| Architecture & MoE | Mixture of Experts, MoE routing, decoder-only, temperature sampling | 4 |
| Quantization | INT8/INT4, GPTQ, AWQ, GGUF & llama.cpp | 4 |
| Training Efficiency | PEFT, QLoRA, DPO, tensor/pipeline parallelism, ZeRO, knowledge distillation | 8 |
| RAG & Retrieval | RAG, dense retrieval, cross-encoder reranking, vector databases | 4 |
| Evaluation & Safety | Constitutional AI, hallucination & calibration, benchmarks | 3 |
Xavier & He Init — Sai từ đầu thì gradient chết ngay
Khởi tạo weight đúng cách để gradient không chết hoặc nổ tung trong mạng sâu. Giải thích Xavier/Glorot và He initialization — tại sao chỉ cần chia cho sqrt(n).
Quantization INT8/INT4 — Ít bit hơn, nhỏ hơn 8x, vẫn chính xác
Giải mã cách nén mô hình AI từ 16-bit xuống 4-bit mà không mất chất: bản chất là khai thác dư thừa thống kê và bảo vệ 'kẻ phá bĩnh' outlier.