Năng lực văn bản dài: "Tiêu chuẩn" mới của mô hình lớn

Với sự phát triển nhanh chóng của công nghệ trí tuệ nhân tạo, khả năng xử lý văn bản dài của các mô hình lớn đang trở thành tiêu chuẩn mới để đo lường tính tiên tiến của chúng. Từ 4000 token ban đầu đến nay là 400.000 token, chiều dài đầu vào ngữ cảnh của các mô hình lớn đã đạt được mức tăng gấp trăm lần trong thời gian ngắn.

Hiện tại, các công ty công nghệ mô hình lớn hàng đầu trong và ngoài nước cùng các tổ chức nghiên cứu đều coi việc mở rộng độ dài ngữ cảnh là hướng nâng cấp trọng điểm. Về phía nước ngoài, OpenAI đã nâng độ dài ngữ cảnh của GPT-3.5 và GPT-4 lên lần lượt là 16.000 và 32.000 token thông qua nhiều lần nâng cấp. Anthropic thậm chí đã mở rộng độ dài ngữ cảnh của mô hình Claude lên tới 100.000 token. LongLLaMA đã đẩy độ dài ngữ cảnh lên tới 256.000 token hoặc thậm chí nhiều hơn.

Ở trong nước, công ty khởi nghiệp mô hình lớn Moon's Dark Side đã ra mắt Kimi Chat hỗ trợ nhập 200.000 ký tự Hán, tương đương khoảng 400.000 token. Công nghệ LongLoRA được phát triển bởi Đại học Hồng Kông và MIT có thể mở rộng độ dài văn bản của mô hình 7B lên 100.000 token, và mô hình 70B lên 32.000 token.

Việc nâng cao khả năng xử lý văn bản dài mang lại nhiều lợi ích đa dạng. Thứ nhất, mô hình có thể xử lý các văn bản đầu vào dài hơn, từ văn bản ngắn mở rộng đến tiểu thuyết dài và thậm chí là toàn bộ sách. Thứ hai, khả năng xử lý văn bản dài thúc đẩy việc ứng dụng các mô hình lớn trong các lĩnh vực chuyên môn như tài chính, tư pháp, nghiên cứu khoa học, cung cấp nền tảng cho các nhiệm vụ tóm tắt tài liệu dài, hiểu đọc và hỏi đáp. Hơn nữa, văn bản dài giúp giảm bớt vấn đề ảo tưởng của mô hình, bằng cách cung cấp nhiều ngữ cảnh và thông tin chi tiết hơn để hỗ trợ mô hình trong việc hiểu và suy luận.

Tuy nhiên, khả năng mở rộng văn bản dài cũng đối mặt với những thách thức. Vấn đề chính là cuộc khủng hoảng "tam giác không thể" giữa độ dài văn bản, cơ chế chú ý và nhu cầu tính toán: văn bản càng dài, càng khó để tập trung vào thông tin quan trọng; khối lượng tính toán của cơ chế chú ý tăng theo cấp bậc bình phương với độ dài văn bản; việc xử lý văn bản dài yêu cầu nhiều sức mạnh tính toán, làm tăng chi phí.

Để giải quyết những vấn đề này, các nhà nghiên cứu đã đề xuất nhiều phương án, bao gồm việc sử dụng công cụ bên ngoài để hỗ trợ xử lý, tối ưu hóa tính toán cơ chế chú ý tự động, và sử dụng tối ưu mô hình. Tuy nhiên, việc nâng cao khả năng xử lý văn bản dài vẫn là một thách thức kỹ thuật phức tạp, cần tìm kiếm điểm cân bằng tốt nhất giữa độ dài văn bản, sự chú ý và sức mạnh tính toán.

Nói chung, việc cải thiện khả năng xử lý văn bản dài đánh dấu sự chuyển mình của mô hình lớn bước vào một giai đoạn phát triển mới. Nó không chỉ giải quyết một số vấn đề mà mô hình lớn đã gặp phải trong giai đoạn đầu, mà còn cung cấp hỗ trợ công nghệ quan trọng cho việc thúc đẩy ứng dụng trong ngành công nghiệp và việc triển khai các ứng dụng siêu. Trong tương lai, với sự tiến bộ không ngừng của công nghệ, khả năng xử lý văn bản dài dự kiến sẽ tiếp tục được cải thiện, mở đường cho việc áp dụng trí tuệ nhân tạo trong nhiều lĩnh vực rộng lớn hơn.