vLLM: chạy mô hình ngôn ngữ lớn nhanh, tiết kiệm bộ nhớ

vLLM là thư viện chạy và phục vụ mô hình ngôn ngữ lớn, nhắm tới tốc độ cao và dùng bộ nhớ hiệu quả.

What it can do

• Quản lý bộ nhớ khoá-giá trị của phần chú ý bằng PagedAttention, gộp yêu cầu liên tục để tăng thông lượng.
• Hỗ trợ nhiều kiểu lượng tử hoá như FP8, INT8, INT4, GPTQ, AWQ, GGUF.
• Chạy phân tán: song song tensor, pipeline, dữ liệu, chuyên gia.
• Có máy chủ API tương thích OpenAI, thêm Anthropic Messages API và gRPC.
• Hỗ trợ đầu ra có cấu trúc, gọi công cụ, nhiều LoRA cùng lúc.
• Chạy trên GPU NVIDIA, AMD, Intel và CPU x86, ARM, PowerPC; thêm plugin cho phần cứng khác.
• Dùng thẳng được nhiều mô hình trên Hugging Face (README nói hơn 200 kiến trúc).

Who it suits

Nhóm kỹ thuật cần tự chạy mô hình ngôn ngữ trên máy chủ riêng và phục vụ nhiều người dùng cùng lúc.

Things to Weigh

• Phục vụ mô hình lớn thường cần GPU mạnh; xem tài liệu để biết phần cứng được hỗ trợ.
• Mô hình tải thêm từ Hugging Face có giấy phép riêng, cần đọc trước khi dùng thương mại.
• Máy chủ API cần được đặt sau xác thực nếu mở ra ngoài mạng nội bộ.

Safe trial

Cài trong môi trường ảo hoặc máy ảo riêng, dùng dữ liệu mẫu không nhạy cảm, chỉ mở trên localhost và đọc kỹ giấy phép. Chúng tôi chưa tự chạy thử mã của dự án này.

GitHub stats

• Repo: Open on GitHub
• Sao: 95,781
• Giấy phép: Apache-2.0
• Language: Python
• Repo cập nhật gần nhất: 2026-10-28 (số liệu lấy từ GitHub API)
• Screenshot from the project's GitHub page.