Nhiều website Việt đang chặn bot AI mà chủ web không hề biết: một dòng Disallow còn sót từ lúc làm web, một plugin bảo mật, một cài đặt trên Cloudflare. Ngược lại, có người đọc tin "AI lấy cắp nội dung" rồi chặn hết, trong khi họ đang mong được ChatGPT giới thiệu.
Trước khi sửa robots.txt, cần biết mỗi bot làm gì.
Bot huấn luyện và bot tìm kiếm là hai việc khác nhau
Các công ty AI thường tách bot theo mục đích:
| Bot (user-agent) | Của ai | Dùng để làm gì |
|---|---|---|
| GPTBot | OpenAI | Thu thập dữ liệu để huấn luyện mô hình |
| OAI-SearchBot | OpenAI | Lập chỉ mục cho tính năng tìm kiếm trong ChatGPT |
| ChatGPT-User | OpenAI | Mở trang khi người dùng ChatGPT yêu cầu |
| Google-Extended | Cho phép hay không việc dùng nội dung cho Gemini | |
| Googlebot | Google Search, bao gồm cả AI Overviews | |
| PerplexityBot | Perplexity | Lập chỉ mục cho câu trả lời của Perplexity |
| ClaudeBot | Anthropic | Thu thập dữ liệu huấn luyện |
| Claude-SearchBot | Anthropic | Lập chỉ mục cho tìm kiếm của Claude |
| CCBot | Common Crawl | Kho dữ liệu mở, nhiều mô hình dùng để huấn luyện |
| Bytespider | ByteDance | Thu thập dữ liệu cho mô hình của ByteDance |
Hai điểm hay bị hiểu nhầm:
- Chặn GPTBot không làm bạn biến mất khỏi tìm kiếm của ChatGPT. OpenAI nói GPTBot và OAI-SearchBot được điều khiển riêng. Bạn có thể từ chối huấn luyện mà vẫn cho ChatGPT tìm thấy trang.
- Chặn Google-Extended không ảnh hưởng tới Google Search hay AI Overviews. Muốn ra khỏi AI Overviews thì phải dùng thẻ
nosnippet, và như vậy cũng mất đoạn trích trong kết quả thường.
Với các bot "do người dùng kích hoạt" như ChatGPT-User, nhà cung cấp cho biết robots.txt có thể không được áp dụng như với bot thu thập tự động, vì đó là một người đang yêu cầu mở trang.
Nên chọn thế nào
Nếu bạn muốn được AI nhắc tới (đa số doanh nghiệp bán hàng, dịch vụ): cho phép các bot tìm kiếm. Bot huấn luyện thì tuỳ bạn; cho phép nghĩa là nội dung có thể vào dữ liệu huấn luyện của các mô hình sau, điều này có thể giúp mô hình biết tới thương hiệu, nhưng không ai đo được chính xác bao nhiêu.
Nếu nội dung là thứ bạn bán (báo trả phí, khoá học, dữ liệu nghiên cứu): có lý do để chặn bot huấn luyện, và cân nhắc kỹ trước khi mở bot tìm kiếm cho các trang trả phí.
Một mẫu robots.txt cho trường hợp đầu:
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: GPTBot
Allow: /
Disallow: /tai-khoan/
Disallow: /gio-hang/
User-agent: *
Disallow: /tai-khoan/
Disallow: /gio-hang/
Sitemap: https://tenmien.vn/sitemap.xml
Lưu ý: bot chỉ đọc nhóm khớp tên nó nhất. Nếu bạn viết riêng một nhóm cho GPTBot thì GPTBot bỏ qua nhóm User-agent: *, nên các dòng Disallow chung phải chép lại vào nhóm riêng.
Những chỗ chặn bot mà chủ web hay không biết
robots.txt cho phép chưa chắc bot đã vào được. Kiểm tra thêm:
- Cloudflare. Cloudflare có tuỳ chọn chặn bot AI và với một số tài khoản nó đã được bật sẵn. Vào phần cài đặt bot và AI crawler của tên miền để xem.
- Plugin bảo mật WordPress và tường lửa của hosting. Một số chặn user-agent lạ hoặc giới hạn số lượt truy cập, và bot AI bị trả lỗi 403 hoặc 429.
- Dòng
Disallow: /còn sót từ lúc website còn đang làm, hoặc từ tuỳ chọn "Ngăn công cụ tìm kiếm đánh chỉ mục" trong WordPress. - Nội dung chỉ hiện sau khi chạy JavaScript. Nhiều bot AI không chạy JavaScript như trình duyệt. Trang tải xong mà HTML gốc gần như trống thì bot chỉ thấy khung trang.
Cách thử nhanh từ máy tính (thay tenmien.vn bằng tên miền của bạn):
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0; compatible; GPTBot/1.1; +https://openai.com/gptbot" https://tenmien.vn/
Ra 200 là ổn. Ra 403, 429 hoặc 503 trong khi trình duyệt mở bình thường thì có tường lửa đang chặn. Phép thử này không hoàn hảo, vì một số tường lửa xác minh bot thật qua địa chỉ IP, nhưng đủ để phát hiện trường hợp chặn theo tên.
Cách chắc hơn là xem log truy cập của máy chủ: tìm các dòng có GPTBot, OAI-SearchBot, PerplexityBot và mã trạng thái trả về.
Còn llms.txt thì sao
llms.txt là một tệp đề xuất để mô tả nội dung chính của website cho AI. Nó không thay robots.txt, không có tác dụng cho phép hay chặn, và chưa có nhà cung cấp lớn nào cam kết đọc nó. Làm thì không hại, nhưng nên để sau các việc ở trên.
Kiểm tra website của bạn
Công cụ chấm điểm GEO của GeoUp miễn phí, đọc robots.txt của bạn, liệt kê bot AI nào đang bị chặn, và thử tải trang chủ dưới tên GPTBot để xem tường lửa có chặn không. Mất khoảng 20 giây.

