Crawl4AI: biến website thành dữ liệu sạch cho AI

Crawl4AI là trình thu thập web mã nguồn mở, làm đầu ra sẵn cho mô hình ngôn ngữ và agent AI.

What it can do

• Xuất Markdown sạch gồm tiêu đề, danh sách, bảng, đoạn mã.
• Có bộ lọc bỏ menu, chân trang và phần thừa.
• Trích dữ liệu có cấu trúc bằng CSS, XPath hoặc qua mô hình ngôn ngữ.
• Điều khiển trình duyệt: giữ phiên, cookie, proxy, nhiều loại trình duyệt.
• Dùng bằng thư viện Python, dòng lệnh hoặc Docker.
• Có thêm bản đám mây của hãng, tách riêng với bản mã nguồn mở.

Who it suits

Người cần gom tài liệu công khai để phân tích, hoặc dựng kho tri thức cho chatbot.

Things to Weigh

• Thu thập web phải tôn trọng điều khoản website và robots.txt.
• Không thu dữ liệu cá nhân của người khác.
• README có chế độ ẩn danh (stealth) và proxy. Dùng đúng mục đích hợp pháp.
• Trích bằng mô hình ngôn ngữ cần khoá API và có thể phát sinh phí.

Safe trial

Cài trong môi trường ảo hoặc máy ảo riêng, chạy trong máy ảo, chỉ thu thập trang của chính bạn hoặc trang cho phép, đặt giới hạn số trang và tốc độ. Chúng tôi chưa tự chạy thử mã của dự án này.

GitHub stats

• Repo: Open on GitHub
• Sao: 86,394
• Giấy phép: Apache-2.0
• Language: Python
• Repo cập nhật gần nhất: 2026-10-26 (số liệu lấy từ GitHub API)
• Screenshot from the project's GitHub page.