Zalo AI ngày 10-1-2025 cho biết đã công bố Báo cáo tình hình phát triển các mô hình ngôn ngữ lớn (Large Language Model – LLM) tiếng Việt trong năm 2024 dựa trên nền tảng đánh giá và xếp hạng năng lực tiếng Việt VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models).

Bảng xếp hạng mô hình ngôn ngữ lớn tiếng Việt (VMLU Leaderboard) dựa trên điểm số về năng lực ở các lĩnh vực: tổng quát, STEM, khoa học xã hội, khoa học nhân văn và mở rộng (kết quả tính tới ngày 31-12-2024).

Bước tiến của cộng đồng AI trong phát triển LLM tiếng Việt

Với sự tham gia của ngày càng nhiều tổ chức và cá nhân, báo cáo của Zalo AI ghi nhận sự nở rộ của các mô hình ngôn ngữ lớn hướng đến người dùng Việt Nam. Cụ thể trong năm 2024, VMLU công bố 45 LLM trên bảng xếp hạng, tiếp nhận yêu cầu đánh giá của hơn 155 tổ chức và cá nhân, tổng kết 691 lượt tải bộ tiêu chuẩn đánh giá và 3.729 lượt đánh giá LLM từ nền tảng.

Trong bối cảnh AI tạo sinh (GenAI) còn tương đối mới mẻ tại Việt Nam, đồng thời việc phát triển LLM có những hạn chế lớn như thiếu dữ liệu, hạ tầng và nguồn lực, bước tiến này đã phản ánh nỗ lực tiếp cận công nghệ tiên tiến toàn cầu của các đơn vị, cũng như triển vọng của lĩnh vực này tại Việt Nam.

Bên cạnh các nhóm nghiên cứu phát triển trong nước, nhiều đơn vị nước ngoài cũng đã tối ưu LLM cho tiếng Việt. Các nhà phát triển quốc tế gửi đánh giá lên VMLU tiêu biểu như: UONLP x Ontocord – Đại học Oregon (Hoa Kỳ), DAMO Academy – Alibaba Group (Trung Quốc), SDSRV teams – Samsung.

Đáng chú ý, không chỉ các doanh nghiệp mà nhóm nghiên cứu thuộc các trường đại học tại Việt Nam cũng góp mặt trong bảng xếp hạng, cụ thể như: ML4U – Trường Đại học Bách khoa – ĐHQG TP.HCM, FPTU HCM – Trường ĐH FPT TP.HCM. Đây là tín hiệu tích cực cho sự phát triển của lĩnh vực AI trong môi trường giáo dục, thúc đẩy sự phát triển bền vững lâu dài.

Tuy số lượng còn hạn chế, nhiều mô hình LLM do người Việt tự huấn luyện đã bứt phá đạt vị trí cao trong bảng xếp hạng VMLU Leaderboard, trực tiếp cạnh tranh với những mô hình của các “ông lớn” như Llama-3-70B (Meta), GPT-4 (OpenAI) hay Gemini (Google).

Cụ thể, KiLM-13b-v24.7.1 (được Zalo AI phát triển) vươn lên vị trí số 2 from-scratch models (mô hình được huấn luyện từ đầu) với số điểm tổng quát trung bình 66,07 – chỉ xếp sau mô hình Llama-3-70B đang đứng đầu bảng với 66,44 điểm. Một mô hình khác của người Việt là ViGPT-1.6B-v1 (thuộc Vin BigData) cũng nằm trong Top 10 from-scratch models, xếp ở vị trí thứ 8.

Đối với bảng xếp hạng LLM fine-tuned models (mô hình tinh chỉnh từ LLM được huấn luyện trước đó), 9/10 LLM trong nước lọt Top 10 cho thấy xu hướng phát triển mô hình ngôn ngữ lớn hiện nay của Việt Nam. Các mô hình được cải tiến liên tục với điểm số không ngừng gia tăng cho thấy nỗ lực đáng ghi nhận trong việc bản địa hóa LLM cho người Việt. 

Là đơn vị đi đầu trong việc thúc đẩy sự phát triển của cộng đồng AI, Viện Khoa học & Công nghệ Tiên tiến Nhật Bản (JAIST) đã đồng hành cùng Zalo AI trong quá trình xây dựng, vận hành VMLU.

Đánh giá về tình hình phát triển LLM tại Việt Nam, GS. Nguyễn Lê Minh, Giám đốc Trung tâm Nghiên cứu Interpretable AI, Viện JAIST, cho biết: “Số lượng các mô hình ngôn ngữ lớn tại Việt Nam gia tăng đã cho thấy sự quan tâm của đông đảo tổ chức, cá nhân đối với việc thúc đẩy tính ứng dụng của GenAI. Trong tương lai, tôi nghĩ rằng xu hướng phát triển LLM tại Việt Nam sẽ thiên về tận dụng những mô hình LLM mở như Llama. Từ đó chuyển đổi phù hợp với các bài toán và dữ liệu chuyên ngành.”

Dù vậy theo GS. Nguyễn Lê Minh, vẫn sẽ có các nhóm nghiên cứu tiếp tục huấn luyện mô hình ngôn ngữ lớn của riêng mình.

VMLU – Thước đo năng lực tiếng Việt cho cộng đồng phát triển LLM

Ra mắt vào tháng 11-2023, nền tảng đánh giá năng lực tiếng Việt cho LLM VMLU đã cung cấp bộ dữ liệu (dataset) và tiêu chuẩn kiểm tra toàn diện, gồm: 10.880 câu hỏi trắc nghiệm, thuộc 58 chủ đề, bao quát 4 lĩnh vực là STEM (khoa học, công nghệ, kỹ thuật và toán học), khoa học xã hội, khoa học nhân văn và mở rộng. Mức độ khó của các câu hỏi tăng dần theo 4 cấp độ: tiểu học, trung học cơ sở, trung học phổ thông và chuyên nghiệp (bậc đại học và sau đại học).

Sau khi sử dụng VMLU để đo lường và đánh giá mô hình, các nhà phát triển LLM có thể cung cấp điểm số và yêu cầu công bố trên bảng xếp hạng (VMLU Leaderboard). Thông qua đó, so sánh năng lực mô hình của mình với các LLM hiện có trên thị trường để thúc đẩy việc huấn luyện ngày một hoàn thiện hơn.

Bảng xếp hạng Top 10 from-scratch models (các mô hình xây dựng từ đầu).

Sau hơn một năm cung cấp miễn phí cho cộng đồng, VMLU đã trở thành công cụ hữu ích đối với các đơn vị nghiên cứu AI. VinBigData là đơn vị tiêu biểu trong xu hướng huấn luyện LLM vào phục vụ người dùng Việt. Một from-scratch model của VinBigData là ViGPT-1.6B-v1 đã được huấn luyện nhằm tích hợp vào hệ sinh thái các sản phẩm của doanh nghiệp, hiện đang nằm trong Top 8 from-scratch models có năng lực tiếng Việt vượt trội.

TS. Đặng Trần Thái, Trưởng Phòng Xử lý Ngôn ngữ tự nhiên, Khối Công nghệ Trợ lý ảo tại VinBigData, chia sẻ: “VMLU không chỉ hữu ích để đánh giá chất lượng LLM ở từng giai đoạn phát triển, mà còn là thước đo cho tính hiệu quả của các thử nghiệm của chúng tôi trong quá trình huấn luyện. Sự ra đời của VMLU là cần thiết để thúc đẩy sự phát triển của AI nói chung và LLM nói riêng, vì phải có những bộ benchmark tốt thì chúng ta mới có căn cứ huấn luyện những mô hình chất lượng cao.”

Bảng xếo hạng Top 10 fine-tuned models (các LLM tinh chỉnh từ mô hình đã được huấn luyện trước).

VMLU là một dự án đóng góp cho cộng đồng mà Zalo AI mong muốn thúc đẩy nhằm tạo động lực cho các đơn vị nâng cao trình độ huấn luyện LLM, cũng như cho ra đời các sản phẩm AI đa dạng, phục vụ nhu cầu thực tiễn của cuộc sống.

TS. Châu Thành Đức, Trưởng Bộ phận Nghiên cứu & Phát triển tại Zalo AI, khẳng định: “Chúng tôi sẽ tiếp tục tối ưu bộ tiêu chuẩn đánh giá năng lực tiếng Việt VMLU để đồng hành cùng cộng đồng AI Việt Nam củng cố năng lực huấn luyện LLM. Zalo AI hy vọng rằng sự phát triển của tầng nghiên cứu sẽ tạo tiền đề cho những bước tiến của tầng ứng dụng với sự ra đời của ngày càng nhiều sản phẩm tiên tiến và hữu ích cho người Việt.” 

Trong thời gian tới, Zalo AI sẽ tiếp tục cung cấp VMLU miễn phí. Các nhà phát triển LLM tiếng Việt trong và ngoài nước có thể tìm hiểu thêm và sử dụng  VMLU tại đây.

T.T.Z.

Có tham khảo thông tin từ nguồn do Nhóm Truyền thông Zing cung cấp.