Crawl4AI: biến website thành dữ liệu sạch cho AI

Crawl4AI là trình thu thập web mã nguồn mở, làm đầu ra sẵn cho mô hình ngôn ngữ và agent AI.

어떤 일을 할 수 있나요

• Xuất Markdown sạch gồm tiêu đề, danh sách, bảng, đoạn mã.
• Có bộ lọc bỏ menu, chân trang và phần thừa.
• Trích dữ liệu có cấu trúc bằng CSS, XPath hoặc qua mô hình ngôn ngữ.
• Điều khiển trình duyệt: giữ phiên, cookie, proxy, nhiều loại trình duyệt.
• Dùng bằng thư viện Python, dòng lệnh hoặc Docker.
• Có thêm bản đám mây của hãng, tách riêng với bản mã nguồn mở.

누구에게 맞을까요

Người cần gom tài liệu công khai để phân tích, hoặc dựng kho tri thức cho chatbot.

고려할 점

• Thu thập web phải tôn trọng điều khoản website và robots.txt.
• Không thu dữ liệu cá nhân của người khác.
• README có chế độ ẩn danh (stealth) và proxy. Dùng đúng mục đích hợp pháp.
• Trích bằng mô hình ngôn ngữ cần khoá API và có thể phát sinh phí.

안전하게 시험하기

Cài trong môi trường ảo hoặc máy ảo riêng, chạy trong máy ảo, chỉ thu thập trang của chính bạn hoặc trang cho phép, đặt giới hạn số trang và tốc độ. Chúng tôi chưa tự chạy thử mã của dự án này.

GitHub 수치

• Repo: GitHub에서 열기
• Sao: 86,394
• Giấy phép: Apache-2.0
• 언어: Python
• Repo cập nhật gần nhất: 2026-10-26 (số liệu lấy từ GitHub API)
• 프로젝트의 GitHub 페이지에서 캡처한 이미지입니다.