TurboQuant — Random rotation trước khi quantize, 3-bit KV cache không mất accuracy

Khi context length đạt 100K tokens, KV cache chiếm 50GB+ VRAM, biến GPU thành bộ nhớ ngoài thay vì bộ xử lý. TurboQuant giải quyết bài toán này bằng cách đưa 3-bit quantization lên bàn — không phải bằng codebook phức tạp, mà bằng một ý tưởng đơn giản đến khó tin: xoay ngẫu nhiên vector trước khi nén.

Vấn đề

Long-context inference đang bị bóp nghẹt bởi memory bandwidth, không phải compute. Với Llama-3-8B ở 128K context, KV cache FP16 chiếm ~32GB — gấp đôi kích thước weight. Các phương pháp quantization hiện tại như KIVI hoặc KVQuant yêu cầu lưu trữ per-channel scales, zero-points, hoặc codebook lookup, tạo ra overhead 1-2 bit bổ sung cho mỗi giá trị.

Product Quantization (PQ) — dùng centroid vectors — giảm kích thước nhưng tốn kém ở khâu indexing: tìm nearest centroid trong codebook là bottleneck khi batch size lớn. Chúng ta cần một phương pháp "data-oblivious": không cần thống kê per-block, không cần codebook, chỉ cần nén "blindly" mà vẫn đạt distortion rate gần tối ưu.

Ý tưởng cốt lõi

TurboQuant dựa trên một insight hình học cao cấp: random rotation biến dữ liệu "kỳ quặc" thành dữ liệu "nhàm chán".

Trong không gian gốc, vector Key/Value có cấu trúc anisotropic — vài chiều biến động dữ dội, vài chiều gần như không đổi. Để nén hiệu quả, bạn thường phải phân tích từng block dữ liệu, gán scale riêng cho từng nhóm (per-channel quantization). Đây là lý do GPTQ/AWQ phức tạp: chúng cần lưu trữ thông tin "cách nén" cùng với dữ liệu đã nén.

TurboQuant đi ngược lại: thay vì thích nghi với dữ liệu, hãy làm dữ liệu thích nghi với bộ nén.

Bằng cách nhân vector với một ma trận rotation ngẫu nhiên cố định (Johnson-Lindenstrauss style), TurboQuant làm phẳng phân phối. Ở chiều cao (high-dimensional space), phép xoay ngẫu nhiên có tác dụng kỳ diệu: các tọa độ trở nên independent và identically distributed (i.i.d.), tuân theo phân phối Beta tập trung. Năng lượng vector lan tỏa đều như bơ trên bánh mì — không còn chiều nào "đặc biệt" hơn chiều nào.

Điều này có nghĩa là: bạn có thể dùng cùng một scalar quantizer cho mọi tọa độ. Không cần scale riêng, không cần zero-point, không cần codebook. Chỉ cần làm tròn đơn giản.

Kỹ thuật gồm hai giai đoạn:

1. PolarQuant: Chuyển sang tọa độ cực (magnitude + angle) thay vì Cartesian để tránh correlation, nén phần chính bằng scalar quantization tối ưu MSE.
2. QJL (Quantized Johnson-Lindenstrauss): Dùng 1 bit cho residual error, tạo unbiased estimator cho inner product, sửa bias từ MSE quantization mà không tốn thêm memory overhead.

That's it. Không phức tạp. Xoay, rồi nén đơn giản. Kết quả là 3.5 bits/channel với độ mất mát bằng không (quality neutrality), hoặc 2.5 bits với suy giảm không đáng kể.

Tại sao nó hoạt động

Cơ chế toán học đằng sau là tính "isotropic" sau rotation.

Trong không gian gốc, covariance matrix của KV vectors là arbitrary. Khi bạn quantize từng chiều độc lập với cùng một bước lượng tử (step size), các chiều có variance lớn bị nén thô, chiều có variance nhỏ bị lãng phí bit.

Sau khi xoay ngẫu nhiên, theo Central Limit Theorem cho high-dimensional geometry, các tọa độ trở nên đồng nhất. Mỗi coordinate là một sample từ cùng một phân phối. Điều này cho phép:

• Scalar quantization uniform hoạt động gần tối ưu trên mọi chiều
• Không cần lưu scale per block: vì mọi block có cùng phân phối sau xoay
• Inner product preservation: Phép xoay là orthogonal transformation, giữ nguyên dot product $Q \cdot K$ quan trọng cho attention mechanism

QJL xử lý vấn đề bias: Khi làm tròn để minimize MSE, bạn tạo ra bias trong inner product (quan trọng cho attention scores). QJL dùng 1-bit sketch của residual error để tạo unbiased estimate, chỉ tốn thêm 1 bit nhưng đảm bảo attention weights chính xác.

# Pseudo-code concept
def turbo_quantize(x, R, bits=3):
    # R: fixed random rotation matrix (precomputed)
    x_rotated = R @ x  # Step 1: Rotate to isotropic space
    
    # Step 2: PolarQuant (simplified)
    magnitude = quantize_scalar(x_rotated.abs(), bits)
    sign = x_rotated.sign()  # 1 bit
    
    # Step 3: QJL residual (1 bit)
    residual = x_rotated - dequantize(magnitude * sign)
    qjl_sketch = sign_quantize(residual)  # 1 bit
    
    return pack(magnitude, sign, qjl_sketch)

def attention_with_turboquant(Q, K_rotated, V_rotated, R_inv):
    # K, V đã được xoay và nén trước đó
    Q_rotated = R @ Q  # Xoay query tại runtime
    scores = Q_rotated @ K_rotated.T  # Unbiased inner product nhờ QJL
    return softmax(scores) @ V_rotated

Ý nghĩa thực tế

Hiệu quả thực tế:

• Compression: 6-8x reduction cho KV cache (3-bit effective), biến 128K context từ "không thể" thành "vừa khít" trên 24GB VRAM.
• Speed: Up to 8x nhanh hơn attention computation trên H100 (4-bit mode) so với FP16 baseline, nhờ giảm memory bandwidth pressure.
• Chất lượng: 3.5 bits = zero accuracy loss trên benchmarks chuẩn; 2.5 bits = marginal degradation.

So sánh với phương pháp cũ:

Giới hạn cần biết:

• Khoảng cách lý thuyết: Vẫn cách bound Shannon ~2.7x, chưa phải tối ưu tuyệt đối.
• Chi phí rotation: Phải nhân ma trận rotation với query tại mỗi step (có thể fuse vào kernel).
• Data-oblivious trade-off: Nếu dữ liệu của bạn có cấu trúc đặc biệt (sparse trong một basis nào đó), việc xoay ngẫu nhiên có thể phá hủy structure đó thay vì exploit nó.
• Focus KV cache: Kết quả headline hướng đến KV cache (activations) hơn là weights, dù áp dụng được cho cả hai.

Ai đang dùng: Google Research (phát triển gốc), cộng đồng llama.cpp đang port sang C++ cho local inference. Đây là bước tiến cho phép chạy ultra-long context (1M+ tokens) trên consumer hardware.

Đào sâu hơn

Paper gốc: TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate (ICLR 2026) — Trình bày lý thuyết PolarQuant và QJL, chứng minh đạt near-optimal distortion rate.

Bài liên quan TroiSinh:

Cùng cụm (Inference Frontier):

• EAGLE — Draft head gắn vào internal layer, đạt 3x speedup bằng cách "đọc suy nghĩ dở dang" của model.
• KV Cache Quantization — Tổng quan các kỹ thuật nén cache INT4/INT3, mở khóa ultra-long context.
• Prompt Lookup Decoding — Speculative decoding không cần draft model, dùng n-gram matching trên chính input prompt.

Đọc tiếp:

• KV Cache — Hiểu bản chất KV caching, prerequisite quan trọng để thấy tại sao quantization cache lại là chìa khóa.
• Quantization Basics — INT8/INT4 là gì, tại sao neural networks chịu được low-bit mà không chết.
• Context Extrapolation — YaRN và LongRoPE, các phương pháp kéo dài context window khác bằng cách thay đổi position encoding.

External Resources:

• Google Research Blog: TurboQuant: Redefining AI Efficiency with Extreme Compression — Giải thích trực quan về PolarQuant và QJL.
• Reddit Discussion: A simple explanation of the key idea behind TurboQuant — Cộng đồng phân tích tại sao random rotation làm scalar quantization hoạt động tốt.