Từ điển AI #9: Context Window là gì? Chiếc bàn làm việc có giới hạn của AI

Context Window (Cửa sổ Ngữ cảnh) là tổng dung lượng thông tin, tính bằng token, mà một mô hình ngôn ngữ lớn có thể xử lý trong một lượt câu lệnh – hoạt động như trí nhớ ngắn hạn của mô hình.

Ở bài viết trước về Token, chúng ta đã biết mỗi từ ngữ khi trao đổi với AI đều được quy đổi thành những đơn vị nhỏ có thể đo đếm được. Nhưng số lượng token mà AI có thể “nhìn thấy” cùng một lúc lại không phải là vô hạn. McKinsey ví context window giống như trí nhớ ngắn hạn của con người: giống như chúng ta, LLM chỉ có thể “nhìn” vào một lượng thông tin nhất định cùng một lúc.

Cửa sổ ngữ cảnh đã mở rộng nhanh đến mức nào?

Khi ChatGPT ra mắt công chúng cuối năm 2022, GPT-3 – mô hình nền tảng ban đầu của nó – chỉ có thể xử lý 2.048 token mỗi lượt, tương đương khoảng 1.500 từ. Con số này không đủ cho nhiều nhu cầu doanh nghiệp, vốn thường xuyên phải xử lý những tài liệu dài như hợp đồng bảo hiểm hay hợp đồng nhà cung cấp. Tốc độ mở rộng sau đó gây choáng ngợp: giữa năm 2023, Anthropic công bố các LLM có thể xử lý 100.000 token; đến nay, mô hình Gemini của Google có thể xử lý hai triệu token trong một lượt – tương đương hơn 3.000 trang văn bản. Chỉ trong vòng chưa đầy ba năm, dung lượng “trí nhớ ngắn hạn” của AI đã tăng gần một nghìn lần.

Cửa sổ ngữ cảnh lớn mang lại lợi ích cụ thể nào cho doanh nghiệp?

Trước khi đi vào lợi ích, cần lưu ý một điểm dễ gây hiểu lầm: kích thước context window không tương đương với “trí thông minh” của mô hình. Một mô hình có cửa sổ ngữ cảnh hai triệu token vẫn có thể cho kết quả kém hơn một mô hình cửa sổ nhỏ hơn nếu bản thân khả năng suy luận và chất lượng huấn luyện của nó yếu hơn – context window chỉ quyết định mô hình “nhìn thấy” được bao nhiêu, không quyết định nó “hiểu” và “suy luận” tốt đến đâu trên lượng thông tin đó, hai năng lực hoàn toàn độc lập với nhau. Theo phân tích của McKinsey, các mô hình có cửa sổ ngữ cảnh dài mang lại ba lợi thế rõ rệt. Thứ nhất là khả năng nạp một lượng dữ liệu mới khổng lồ cùng lúc – ví dụ gỡ lỗi toàn bộ một codebase lớn, hoặc tổng hợp insight từ tất cả đánh giá sản phẩm của một tập đoàn toàn cầu trong tuần vừa qua. Thứ hai là tăng năng suất cho đội ngũ phát triển: khi mô hình có thể “nạp” nhiều dữ liệu vào ngữ cảnh hơn, ít công việc phải làm thủ công bên ngoài mô hình hơn để cải thiện kết quả. Thứ ba là khả năng tận dụng dữ liệu đa phương thức – một nhân viên xử lý hồ sơ bảo hiểm, chẳng hạn, có thể tải video, âm thanh, hình ảnh và văn bản cùng lúc vào một ứng dụng xây dựng trên mô hình có cửa sổ ngữ cảnh dài để soạn báo cáo nhanh hơn.

Đâu là cái giá phải trả cho một cửa sổ ngữ cảnh khổng lồ?

McKinsey cũng chỉ rõ những đánh đổi mà các nhà phát triển mô hình vẫn đang phải giải quyết: mất khả năng giải thích (explainability) do giảm khả năng quan sát cách mô hình đi đến một kết quả, thời gian phản hồi chậm hơn do số lượng phép tính tăng lên, và chi phí trên mỗi truy vấn cao hơn do cơ chế định giá theo token và khối lượng dữ liệu truyền vào mô hình thường lớn hơn. Ngoài ra, khi cửa sổ ngữ cảnh còn ngắn ở giai đoạn đầu, các nhà nghiên cứu từng ghi nhận rằng mô hình có xu hướng chỉ tập trung vào phần đầu hoặc phần cuối của câu lệnh, bỏ sót thông tin ở giữa – một vấn đề mà các nghiên cứu gần đây của Google DeepMind cho thấy đã được cải thiện đáng kể ở các mô hình mới nhất.

Vì sao AI “đột nhiên quên” giữa một cuộc trò chuyện dài?

Đây là trải nghiệm quen thuộc với bất kỳ ai từng trò chuyện dài với AI: càng về sau, AI càng có xu hướng trả lời lệch khỏi hướng dẫn ban đầu hoặc lặp lại những gì đã được trả lời. Nguyên nhân phần lớn nằm ở việc cuộc trò chuyện đã vượt quá giới hạn context window, buộc hệ thống phải “cắt bỏ” bớt phần đầu để nhường chỗ cho những trao đổi mới nhất – đúng như cơ chế “trí nhớ ngắn hạn có giới hạn” đã mô tả ở trên. Ngay cả khi chưa chạm giới hạn tuyệt đối, hiện tượng “lạc mất ở giữa” (lost in the middle) mà nghiên cứu của Google DeepMind ghi nhận cũng khiến AI có xu hướng ưu tiên thông tin ở đầu và cuối cuộc trò chuyện hơn phần ở giữa — nghĩa là một chỉ dẫn quan trọng bạn đưa ra ở tin nhắn thứ ba trong một cuộc hội thoại 20 tin nhắn có nguy cơ bị “lãng quên” dù về mặt kỹ thuật vẫn còn nằm trong context window.

Làm sao để quản lý context window hiệu quả trong công việc hằng ngày?

Ba thói quen thực dụng giúp giảm thiểu vấn đề trên. Thứ nhất, với các dự án dài hơi, hãy chủ động mở một cuộc trò chuyện mới cho mỗi chủ đề lớn thay vì dồn tất cả vào một luồng hội thoại duy nhất kéo dài hàng tuần – vừa giữ AI tập trung, vừa dễ tìm lại thông tin sau này. Thứ hai, định kỳ yêu cầu AI tóm tắt lại những điểm quan trọng đã thống nhất trong cuộc trò chuyện, rồi dùng chính bản tóm tắt đó làm điểm khởi đầu cho một phiên làm việc mới – một dạng “nén” thông tin giúp giữ lại phần cốt lõi mà không tốn dung lượng context window cho toàn bộ lịch sử trao đổi. Thứ ba, với những chỉ dẫn thực sự quan trọng (giọng văn bắt buộc, định dạng cố định, ràng buộc không được vi phạm), hãy nhắc lại ở gần cuối câu lệnh thay vì chỉ nói một lần ở đầu cuộc trò chuyện, tận dụng đúng xu hướng AI ưu tiên thông tin gần cuối.

Nhưng chiếc “cửa sổ” ấy không chỉ chứa được chữ viết. AI ngày nay còn có thể “nhìn” thấy hình ảnh và “nghe” được âm thanh ngay trong cùng một cuộc hội thoại. Năng lực đó có tên gọi là Multimodal AI — chủ đề của bài viết tiếp theo.

Tham khảo khóa học AI Mastery for Work level 1 và 2 tại đây.