Xây dựng Agent cho Production: Enterprise patterns

Định nghĩa

Production-grade AI Agent không phải là chatbot chạy ổn định — nó là hệ thống có khả năng tự phục hồi, giám sát chất lượng, và tuân thủ guardrails nghiêm ngặt trong khi vẫn duy trì hiệu suất cao. Đây là sự khác biệt giữa "demo chạy được" và "hệ thống doanh nghiệp chịu tải thực tế".

Giải thích chi tiết

Pattern 1: Anthropic 3-Agent Architecture (DAW)

Bắt đầu với Domain Adaptive Workforce (DAW) — mô hình tốn $124.70 cho mỗi task nhưng đạt độ chính xác 94% so với 67% của single agent.

Kiến trúc này phân tách rõ ràng ba lớp:

• Planner: Sử dụng model lớn (Claude Opus) để phân rã nhiệm vụ phức tạp thành workflow cụ thể. Lợi dụng context window lớn để nắm bắt toàn bộ domain knowledge và business constraints.
• Executor: Model trung bình (Claude Sonnet) thực hiện từng bước, quản lý state transitions và gọi tools theo sequence đã planning.
• Tool Interface: Model nhỏ (Claude Haiku) hoặc hardcoded logic xử lý integration cụ thể với external APIs, đảm bảo output format chính xác tới từng byte.

Trade-off ở đây rõ ràng: bạn đánh đổi latency (tăng 3-5 lần) và cost (tăng 10-20 lần) để lấy reliability và accuracy. Trong production, đây là lựa chọn hợp lý — một lỗi trong banking hoặc healthcare có thể tốn hàng triệu đô, nhiều hơn rất nhiều so với chi phí inference cao hơn.

Pattern 2: Meta-Harness và Recursive Control

Từ paper Stanford (arxiv 2603.28052), Meta-Harness là pattern "harness quản lý harness". Khi hệ thống có nhiều agent chuyên biệt (coding, testing, deployment), bạn cần một lớp meta để:

• Đánh giá performance của từng sub-harness theo thời gian thực
• Route request đến harness phù hợp nhất (giống load balancer nhưng cho AI logic)
• Áp dụng circuit breaker khi một agent liên tục fail sau 3 lần retry

Điểm mấu chốt: Meta-Harness không chỉ đơn giản là "orchestrator" — nó có khả năng rewriting prompts của sub-agents để optimize cho specific contexts. Đây là sự khác biệt giữa static routing và adaptive control. Khi Tool A liên tục timeout với file lớn hơn 10MB, Meta-Harness tự động chuyển sang Tool B có streaming capability mà không cần developer can thiệp.

Pattern 3: ClaudeKit — Modular Harness²

Từ analysis vụ leak source code của Claude Code (512K lines), pattern thực tế tại Anthropic là "harness bình phương" — mỗi tool integration (Git, LSP, File System) có harness riêng với:

• Permission matrix riêng (least privilege)
• Error handling strategy riêng (graceful degradation vs fail-fast)
• Context compaction logic riêng (sliding window vs summarization)

Lớp orchestrator điều phối không phải bằng cách "gọi lần lượt" mà bằng shared state với transactional boundaries. Nếu một tool fail, toàn bộ operation có thể rollback hoặc switch sang alternative tool — giống distributed transaction trong microservices architecture.

Production Hardening: Observability và Circuit Breakers

Điểm khác biệt lớn nhất giữa dev và production là observability depth. Production harness cần:

• Latency histograms: Theo dõi P95, P99 của từng tool call để phát hiện degradation sớm
• Quality gates: Mỗi output của agent phải qua một "censor" nhỏ (secondary judge agent) trước khi commit vào database hoặc gửi đến khách hàng
• Kill switches: Khả năng instant stop một agent loop nếu nó bị lạc vào infinite tool-use recursion (rất phổ biến khi agent gặc edge case chưa được handle)

Ví dụ thực tế

Hệ thống phân tích hợp đồng pháp lý (Legal DAW)

Triển khai 3-agent architecture cho công ty luật enterprise:

1. Planner (Claude 3 Opus) đọc 200 trang hợp đồng, xác định 15 điểm rủi ro pháp lý cần kiểm tra chi tiết
2. Executor (Claude 3.5 Sonnet) tra cứu database điều luật liên quan, cross-reference với precedents từ 5 năm gần nhất
3. Writer (Claude 3 Haiku) soạn báo cáo 5 trang tóm tắt cho partner review

Kết quả: Thời gian xử lý giảm từ 8 giờ (paralegal) xuống 12 phút, độ chính xác cao hơn 23% so với single-agent approach. Chi phí $40/task nhưng ROI 15 lần khi tính billable hours tiết kiệm được.

Nền tảng AutoML với Meta-Harness (Stanford Pattern)

Hệ thống data science enterprise có 3 sub-agents: Feature Engineer (Python), Model Selector (AutoML), Deployment Engineer (Kubernetes).

Meta-Harness theo dõi metrics và ra quyết định:

• Nếu Model Selector chọn XGBoost nhưng Feature Engineer báo cáo "high cardinality categorical columns", Meta-Harness sẽ rewrite prompt của Model Selector để ưu tiên CatBoost thay vì XGBoost
• Nếu Deployment Engineer fail 3 lần liên tiếp (OOM errors), circuit breaker trigger và chuyển sang lightweight model alternative, đồng thời gửi alert đến SRE team

ClaudeKit Integration cho Salesforce

Doanh nghiệp triển khai agent đọc email khách hàng và tự động tạo lead trong Salesforce:

• Email Harness: Xử lý unstructured text, extract entities (budget, timeline, contact info) với PII redaction
• CRM Harness: Gọi Salesforce API với strict schema validation, retry logic exponential backoff, và idempotency keys
• Orchestrator: Đảm bảo nếu CRM down, email được queue vào Redis, không mất data; khi CRM, tự động replay queue

Quan trọng nhất: mỗi harness có sandbox riêng. Email Harness không thể trực tiếp gọi Salesforce API — chỉ có thể gửi message qua message bus. Đây là zero-trust architecture cho AI Agent.

Ứng dụng

Với AI Engineer / Tech Lead

Áp dụng 3-layer pattern để tránh "god agent" — mỗi layer dùng model size phù hợp. Đừng dùng GPT-4 cho việc parse JSON đơn giản; đừng dùng GPT-3.5 cho strategic planning phức tạp. Sử dụng dynamic model routing để optimize cost-latency trade-off theo từng sub-task.

Với Enterprise Architect

Triển khai Meta-Harness như governance layer. Khi có 10+ micro-agents trong hệ thống legacy, Meta-Harness đảm bảo không có prompt injection nào vượt qua tất cả layers, và mỗi agent chỉ có quyền truy cập least-privilege vào database (row-level security). Đây là cách bạn thuyết phục security team cho phép triển khai AI vào production.

Với Startup CTO

Bắt đầu với "harness² light" — đừng xây monolithic agent. Xây 3-4 micro-agents chuyên biệt (retrieval, generation, validation) với clear interfaces qua message queue. Khi scale, bạn chỉ cần thêm Meta-Harness layer thay vì rewrite toàn bộ codebase. Đây là kiến trúc "evolvable" — bạn có thể thay thế từng component mà không break hệ thống.

So sánh

Single agent đủ cho MVP và internal tools, nhưng production enterprise cần ít nhất 2 layers (planning + execution) để đảm bảo output quality. Meta-Harness chỉ cần thiết khi hệ thống có nhiều heterogeneous agents cần adaptive governance — đừng over-engineer nếu bạn chỉ có 2-3 tools đơn giản.

Bài viết liên quan

Cùng cụm: Case Study & Thực chiến

Các bài trong cụm Case Studies:

Đọc tiếp