AI dự đoán từ tiếp theo là gì?

Định nghĩa

Next Token Prediction (NTP) là cơ chế cốt lõi của mọi Large Language Model (LLM), trong đó AI tính toán xác suất để chọn token tiếp theo phù hợp nhất dựa trên chuỗi ngữ cảnh đã có. Đây không phải quá trình "suy nghĩ" hay "hiểu" nghĩa, mà là phép tính thống kê dựa trên pattern từ hàng tỷ ví dụ trong dữ liệu training.

Giải thích chi tiết

Token hóa: AI không đọc từng chữ

Trước khi dự đoán, văn bản được chia thành các token — đơn vị cơ bản mà AI thực sự xử lý. Token có thể là một từ (như "học"), một phần từ (như "Chat" và "GPT"), hoặc một ký tự dấu câu. Ví dụ, câu "Tôi yêu AI" có thể được token hóa thành ["Tôi", " yêu", " A", "I"] hoặc tương tự tùy thuộc vào tokenizer của từng model.

Context window (cửa sổ ngữ cảnh) của LLM cũng được tính bằng token, không phải từ. GPT-4 có thể xử lý 128k token, tương đương khoảng 300 trang A4 tiếng Việt. Khi bạn chat với AI, toàn bộ cuộc hội thoại được chuyển thành chuỗi token để model dự đoán token tiếp theo.

Cơ chế dự đoán xác suất

Về mặt kỹ thuật, sau khi xử lý ngữ cảnh qua các lớp neural network (thường là Transformer), model xuất ra một probability distribution (phân phối xác suất) trên toàn bộ vocabulary (từ điển) của nó — thường là 50.000–100.000 token.

Ví dụ, với ngữ cảnh "Mùa hè ở Hà Nội rất", model có thể tính ra:

• "nóng": 85% xác suất
• "oăn": 10% (từ láy tiếng Việt)
• "đẹp": 3%
• "lạnh": 0.1%

Model sau đó chọn token dựa trên sampling method — temperature cao sẽ cho phép chọn từ ít xác suất hơn (sáng tạo hơn), temperature thấp sẽ chọn token có xác suất cao nhất (chính xác hơn).

Sinh văn bản tự động hồi quy (Autoregressive Generation)

AI không viết cả câu một lúc. Nó sinh ra một token duy nhất, thêm token đó vào ngữ cảnh, rồi dự đoán token tiếp theo. Quá trình này lặp lại cho đến khi đạt độ dài tối đa hoặc gặp token kết thúc (stop token).

Đây là lý do ChatGPT trả lời "từng chữ một" thay vì hiện nguyên câu. Mỗi token mới được sinh ra lại trở thành input cho dự đoán tiếp theo, tạo thành chuỗi liên tục.

Sự "hiểu" ảo từ pattern matching

Next token prediction tạo ra ảo giác về sự hiểu biết. Khi AI đọc "2+2=", nó dự đoán token tiếp theo là "4" không phải vì nó biết phép cộng, mà vì trong dữ liệu training, chuỗi "2+2=" xuất hiện cùng "4" hàng triệu lần. Đây là sự tương quan thống kê, không phải nhân quả hay logic.

Điều này giải thích tại sao AI có thể viết code phức tạp nhưng lại sai phép toán đơn giản nếu ngữ cảnh gợi ý sai pattern, hoặc tại sao AI hallucinate — khi ngữ cảnh không rõ ràng, model chọn token có xác suất cao nhất dù thực tế sai lệch.

Ví dụ thực tế

Bộ gõ tiếng Việt thông minh Khi bạn dùng bàn phím iOS hay Android gõ tiếng Việt, gõ "em đi" thì bộ gõ gợi ý "học", "làm", "chơi". Đây chính là next token prediction thu nhỏ — thuật toán phân tích hàng triệu tin nhắn Zalo trước đó để đoán từ tiếp theo người dùng muốn gõ. LLM như ChatGPT chỉ là phiên bản phức tạp hơn nhiều lần của cơ chế này.

Gmail Smart Compose Khi viết email trong Gmail, bạn thấy chữ xám gợi ý hoàn thành câu. Đó là model nhỏ dự đoán next token dựa trên nội dung email bạn đã viết. Nếu bạn viết "Cuộc họp sẽ diễn ra vào", model dự đoán token tiếp theo là ngày giờ dựa trên pattern các email trước đó.

ChatGPT viết code Python Khi bạn yêu cầu "Viết hàm tính giai thừa", AI không "hiểu" giai thừa là gì. Nó thấy ngữ cảnh "def factorial(n):" và dựa trên hàng nghìn đoạn code tương tự trên GitHub, nó dự đoán token tiếp theo là "if n == 0:", rồi "return 1", v.v. Nếu training data có nhiều lỗi, AI sẽ tái tạo lỗi đó vì đó là pattern "có xác suất cao".

Ứng dụng

Sinh viên: Hiểu giới hạn của AI trong học tập Biết AI chỉ dự đoán token giúp sinh viên nhận ra tại sao AI hay bịa tài liệu tham khảo. Khi yêu cầu "liệt kê 3 nghiên cứu về AI ở Việt Nam", AI không tìm kiếm thực tế mà dự đoán token trông giống tên nghiên cứu dựa trên pattern tên tiếng Anh. Sinh viên cần kiểm chứng thông tin thay vì tin tưởng blind faith.

Người đi làm: Tối ưu prompt dựa trên cơ chế dự đoán Vì AI dự đoán dựa trên ngữ cảnh trước đó, cách viết prompt ảnh hưởng trực tiếp đến chất lượng output. Đưa ví dụ cụ thể trong prompt giúp model "nhìn thấy" pattern tương tự trong training data, từ đó dự đoán chuỗi token chính xác hơn. Thay vì hỏi "Viết hay hơn", hãy cung cấp ngữ cảnh rõ ràng: "Viết theo phong cách báo Tuổi Trẻ, dùng từ ngữ gần gũi."

Doanh nghiệp: Thiết kế chatbot và nhận diện rủi ro Doanh nghiệp triển khai AI customer service cần biết next token prediction có thể tạo ra câu trả lời có vẻ chuyên nghiệp nhưng thiếu chính xác. Giống như nhân viên mới học thuộc lời script nhưng chưa hiểu sản phẩm, AI có thể trả lời sai về chính sách bảo hành nếu ngữ cảnh không đủ rõ. Cần có hệ thống retrieval-augmented generation (RAG) để bổ sung ngữ cảnh thực tế cho model dự đoán.

So sánh

Kết luận: Next token prediction là công cụ mạnh cho việc tái tạo và kết hợp thông tin đã biết, nhưng khác biệt cơ bản với sự hiểu biết có ý thức. AI không "biết" mình đang nói gì — nó chỉ tính toán từ nào có khả năng xuất hiện tiếp theo cao nhất.

Bài viết liên quan

Cùng cụm: LLM & Mô hình ngôn ngữ

• LLM là gì? — Hiểu tổng quan về Large Language Model trước khi đi sâu vào cơ chế dự đoán.
• Mô hình ngôn ngữ hoạt động như thế nào? — Xem toàn cảnh cách token được xử lý từ đầu vào đến đầu ra.
• Training AI diễn ra như thế nào? — Tìm hiểu cách model học được các pattern để dự đoán token chính xác.
• Dataset ảnh hưởng đến AI ra sao? — Hiểu tại sao dữ liệu training quyết định chất lượng dự đoán.
• Hallucination là gì? — Tìm hiểu hiện tượng AI bịa đặt xuất phát từ cơ chế dự đoán xác suất.
• Vì sao AI trả lời sai? — Phân tích các trường hợp next token prediction cho kết quả sai lệch.
• Bias trong AI là gì? — Hiểu cách bias từ dữ liệu training lọt vào quá trình dự đoán token.
• Giới hạn của AI — Nhận biết ranh giới giữa dự đoán pattern và khả năng thực sự.
• AI có hiểu không hay chỉ dự đoán? — Đọc thêm về tranh luận triết học và kỹ thuật về bản chất "hiểu" của AI.

Đọc tiếp

• Kiến trúc Transformer — Tìm hiểu cơ chế Attention giúp model nhìn được toàn bộ ngữ cảnh để dự đoán token chính xác hơn.
• Prompt nâng cao — Kỹ thuật viết prompt tận dụng cơ chế next token prediction để điều khiển output.
• Machine Learning cơ bản — Nền tảng về học máy giúp hiểu rõ hơn cách model học pattern để dự đoán.