Từ điển AI #10: Multimodal AI (Đa phương thức) là gì? Khi AI có thêm mắt và tai

Mục lục

Cần phân biệt gì giữa một mô hình “hiểu” đa phương thức và một mô hình “tạo ra” đa phương thức?
Multimodal AI xử lý thông tin qua những bước nào?
Multimodal AI có gì khác — và đắt hơn — so với model chỉ xử lý văn bản?
Doanh nghiệp đang ứng dụng multimodal AI vào đâu?
Rủi ro nào tăng lên khi kết hợp nhiều phương thức dữ liệu cùng lúc?
Multimodal AI có thể thay thế hoàn toàn nhân sự chuyên môn ở những lĩnh vực này không?

Multimodal AI là một dạng trí tuệ nhân tạo có khả năng hiểu và xử lý đồng thời nhiều loại thông tin khác nhau — văn bản, hình ảnh, âm thanh, video — và tạo ra kết quả dựa trên tổng hợp các loại dữ liệu đầu vào đó.

Ở bài trước, chúng ta đã ví context window như một chiếc “trí nhớ ngắn hạn” chứa đựng thông tin cho AI xử lý. Nhưng chiếc trí nhớ đó ngày nay không chỉ chứa được chữ viết. McKinsey mở đầu explainer về chủ đề này bằng một hình ảnh rất đời thường: buổi sáng thức dậy, bạn nghe âm thanh xung quanh, cảm nhận cái lạnh hay ấm áp, rồi mở mắt nhìn thấy căn phòng — tất cả các giác quan này cùng lúc tạo nên một nhận thức trọn vẹn về buổi sáng đó. Multimodal AI mô phỏng chính xác khả năng kết hợp đa giác quan này của bộ não con người.

Từ điển AI #10

Cần phân biệt gì giữa một mô hình “hiểu” đa phương thức và một mô hình “tạo ra” đa phương thức?

Đây là một sắc thái quan trọng thường bị gộp chung. Có hai nhóm năng lực đa phương thức khác nhau: nhóm hiểu đầu vào đa phương thức (multimodal input understanding) — mô hình có thể “đọc” một bức ảnh, nghe một đoạn ghi âm, rồi trả lời bằng văn bản, như khi bạn chụp ảnh một biểu đồ và hỏi AI phân tích; và nhóm tạo sinh đầu ra đa phương thức (multimodal output generation) — mô hình trực tiếp tạo ra hình ảnh, âm thanh, hoặc video mới, như Nano Banana hay Veo3 đã nhắc ở bài Generative AI. Một mô hình có thể mạnh ở khả năng hiểu nhưng không tạo sinh được hình ảnh, hoặc ngược lại — vì vậy khi doanh nghiệp lựa chọn công cụ, cần xác định rõ mình cần khả năng “đọc hiểu” hay khả năng “tạo ra” trước khi đánh giá xem một mô hình có phù hợp hay không.

Multimodal AI xử lý thông tin qua những bước nào?

Theo McKinsey, một mô hình multimodal điển hình vận hành qua bốn bước. Thứ nhất là thu nhận và tiền xử lý dữ liệu — tokenize văn bản, thay đổi kích thước hình ảnh, chuyển âm thanh thành ảnh phổ (spectrogram). Thứ hai là mã hóa đặc trưng (feature encoding) — mỗi loại dữ liệu được một mạng nơ-ron riêng chuyển thành vector số; ảnh có thể dùng kỹ thuật CLIP, còn văn bản dùng kiến trúc Transformer như đã tìm hiểu ở bài LLM. Thứ ba là cơ chế hợp nhất (fusion) — dữ liệu đã mã hóa từ các phương thức khác nhau được ánh xạ vào một không gian chung, cho phép mô hình hiểu được mối quan hệ xuyên phương thức. Thứ tư là tạo sinh — bước cuối cùng chuyển dữ liệu đã hợp nhất thành kết quả hành động được, ví dụ tạo một câu mô tả cho một bức ảnh.

Multimodal AI có gì khác — và đắt hơn — so với model chỉ xử lý văn bản?

Các mô hình chỉ xử lý văn bản (LLM thuần) hiệu quả và tiết kiệm chi phí hơn cho các ứng dụng dựa trên chữ viết. Ngược lại, theo phân tích của McKinsey, các mô hình multimodal có chi phí trên mỗi token cao gấp khoảng hai lần so với LLM thuần văn bản — nhưng đổi lại khả năng xử lý các tác vụ phức tạp hơn nhờ tích hợp nhiều loại dữ liệu cùng lúc. Đáng chú ý, dù chi phí xử lý cao hơn, tốc độ phản hồi của các mô hình multimodal nhìn chung không chậm hơn đáng kể so với mô hình chỉ xử lý văn bản.

Doanh nghiệp đang ứng dụng multimodal AI vào đâu?

Phạm vi ứng dụng đã vượt xa những gì nhiều người hình dung. Trong bảo hiểm, multimodal AI giúp giảm gian lận bằng cách đối chiếu chéo lời khai khách hàng, nhật ký giao dịch, và hình ảnh/video kèm theo hồ sơ yêu cầu bồi thường. Trong lĩnh vực khoa học đời sống, hệ thống AlphaFold của Google DeepMind — công trình được trao giải Nobel Hóa học năm 2024 — có thể dự đoán cấu trúc 3D của một phân tử protein chỉ trong vài phút, thay vì nhiều tháng trời với phương pháp thực nghiệm tốn kém trước đây. Trong chăm sóc khách hàng và y tế, các mô hình multimodal có thể lắng nghe cuộc gọi, phiên âm, phân tích cảm xúc qua giọng nói, và đưa ra gợi ý xử lý theo thời gian thực — chính là năng lực đứng sau tính năng “Trợ lý cuộc họp” đã nhắc ở bài viết mở đầu series này.

Rủi ro nào tăng lên khi kết hợp nhiều phương thức dữ liệu cùng lúc?

Đây là điểm cảnh báo quan trọng nhất từ McKinsey: multimodal AI mang tất cả rủi ro thường thấy ở generative AI — thiên kiến, quyền riêng tư dữ liệu, tuân thủ pháp lý — nhưng ở mức độ nghiêm trọng hơn đối với hiện tượng ảo giác, vì một sai sót ở một phương thức dữ liệu (ví dụ đọc sai một con số trong ảnh) có thể lan truyền và bị khuếch đại qua toàn bộ hệ thống phức tạp tạo nên kết quả cuối cùng. Dữ liệu hình ảnh và video cũng đặc biệt nhạy cảm về bản quyền và sở hữu trí tuệ. Để giảm thiểu, McKinsey khuyến nghị doanh nghiệp chọn các mô hình cập nhật từ nguồn đáng tin cậy, luôn giữ con người trong vòng lặp với các tác vụ nhạy cảm, và triển khai AI ưu tiên ở những tình huống mà sai sót không gây hậu quả nghiêm trọng hoặc dễ dàng kiểm chứng lại.

Multimodal AI có thể thay thế hoàn toàn nhân sự chuyên môn ở những lĩnh vực này không?

Câu trả lời từ chính các trường hợp ứng dụng thực tế là chưa, và có thể còn rất lâu nữa. Ngay cả với AlphaFold — một trong những thành tựu multimodal AI ấn tượng nhất, đủ sức thuyết phục hội đồng Nobel — vai trò của công cụ này vẫn là rút ngắn thời gian từ hàng tháng xuống vài phút cho một bước tính toán cụ thể (dự đoán cấu trúc protein), chứ không thay thế toàn bộ quy trình nghiên cứu khoa học vốn còn cần thiết kế thí nghiệm, diễn giải kết quả, và ra quyết định của các nhà khoa học. Bài học cho doanh nghiệp: multimodal AI phù hợp nhất khi được định vị như một công cụ tăng tốc cho một bước cụ thể trong quy trình làm việc, thay vì kỳ vọng nó thay thế toàn bộ vai trò của một chuyên gia con người.

Nhưng dù sở hữu nhiều “giác quan” hơn, AI vẫn mang trong mình một điểm yếu có thể khiến mọi giác quan đó trở nên vô nghĩa: nó có thể tự tin bịa ra những điều không hề tồn tại. Đó chính là Hallucination — chủ đề của bài viết tiếp theo.