So sánh Ollama, llama.cpp, LocalAI: chạy AI cục bộ

Ba dự án mã nguồn mở để chạy mô hình ngôn ngữ ngay trên máy hoặc máy chủ của bạn. Ollama gọn và dễ bắt đầu, llama.cpp là lõi suy luận nhẹ, LocalAI là một máy chủ AI đa năng.

Bảng so sánh

기준	Ollama	llama.cpp	LocalAI
Repo	ollama/ollama	ggml-org/llama.cpp	mudler/LocalAI
Sao	185.124	132.645	50.026
라이선스	MIT	MIT	MIT
언어	Go	C++	Go
Cập nhật gần nhất	2026-10-28	2026-10-28	2026-10-28
Điểm mạnh	Cài bằng một lệnh trên macOS, Windows, Linux hoặc Docker. Có thư viện Python và JavaScript, nối được nhiều công cụ lập trình AI.	Viết bằng C/C++ thuần, không phụ thuộc thư viện ngoài. Nén mô hình 1,5 đến 8 bit, chạy trên chip Apple, CPU x86, GPU NVIDIA và AMD. Có máy chủ tương thích API OpenAI.	Một máy chủ chạy nhiều loại mô hình: ngôn ngữ, hình ảnh, giọng nói, video. Tương thích API OpenAI, có khoá API và hạn mức theo người dùng.
고려할 점	Chủ yếu dùng qua dòng lệnh và API. README nhắc cả chạy mô hình trên đám mây, cần phân biệt khi nói về quyền riêng tư.	Dùng bằng dòng lệnh, phải tự chọn mô hình định dạng GGUF và tham số.	Nhiều thành phần hơn hai công cụ còn lại. Mức tốn tài nguyên: chưa tự kiểm.
Hợp ai	Người mới thử mô hình cục bộ, cần cài nhanh.	Người muốn kiểm soát sâu và tiết kiệm tài nguyên.	Nhóm cần một cổng AI nội bộ cho nhiều người dùng.

Chọn theo nhu cầu

Cần chạy thử mô hình nhanh, ít thao tác: chọn Ollama.
Cần kiểm soát sâu, máy cấu hình thấp: chọn llama.cpp.
Cần cổng AI chung cho nhiều người, nhiều loại mô hình: chọn LocalAI.

Nguồn từng dòng

Ollama: sao, giấy phép, ngôn ngữ, ngày cập nhật lấy từ GitHub API ngày 2026-10-28. Cách cài, thư viện và tích hợp theo README của repo.
llama.cpp: sao, giấy phép, ngôn ngữ, ngày cập nhật lấy từ GitHub API ngày 2026-10-28. Mô tả, lệnh khởi động và phần cứng hỗ trợ theo README của repo.
LocalAI: sao, giấy phép, ngôn ngữ, ngày cập nhật lấy từ GitHub API ngày 2026-10-28. Tính năng, đa người dùng và yêu cầu phần cứng theo README của repo.

유의사항

Chúng tôi chưa tự chạy thử mã của các dự án này. Điểm mạnh, điểm cần cân nhắc và đối tượng phù hợp rút ra từ README công khai, không phải kết quả đo. Không có điểm số. Ngày kiểm: 2026-10-28.