Có nên chặn bot AI trên website – Chặn bot huấn luyện, giữ bot tìm kiếm

Có nên chặn bot AI trên website? Với đa số doanh nghiệp vừa và nhỏ, câu trả lời là chặn có chọn lọc. Chặn bot huấn luyện nếu không muốn nội dung bị dùng để dạy mô hình AI, nhưng giữ bot tìm kiếm AI và Googlebot để website vẫn được nêu tên, dẫn link trong Google, ChatGPT và các công cụ trả lời bằng AI.

Câu hỏi "có nên chặn bot AI" xuất hiện ngày càng nhiều khi chủ doanh nghiệp mở log máy chủ và thấy hàng loạt cái tên lạ như GPTBot, ClaudeBot hay CCBot ghé website mỗi ngày. Phản xạ đầu tiên thường là chặn hết cho yên tâm. Nhưng chặn sai bot có thể khiến website biến mất khỏi chính những nơi khách hàng đang hỏi về sản phẩm, dịch vụ của bạn.

Bài này giúp anh chị phân biệt hai nhóm bot AI, quyết định nên chặn nhóm nào theo loại website, và cấu hình robots.txt đúng cách mà không ảnh hưởng tới Google Search.

Bot AI là gì và vì sao chúng ghé website của bạn

Bot AI là chương trình tự động của các hãng trí tuệ nhân tạo, đi đọc trang web giống như Googlebot. Điểm khác là mục đích: có bot đọc để lấy dữ liệu huấn luyện mô hình, có bot đọc để trả lời câu hỏi của người dùng ngay lúc đó và dẫn link về nguồn.

Với một website dịch vụ, một cửa hàng bán lẻ hay một công ty logistics, hai mục đích này mang lại kết quả rất khác nhau:

• Bot huấn luyện lấy nội dung để mô hình AI "học". Website gần như không nhận lại lượt truy cập trực tiếp nào từ việc này.
• Bot tìm kiếm AI lấy trang để hiển thị trong câu trả lời, thường kèm tên website và link. Đây là nguồn khách mới mà bài Nghịch lý AI Overviews 2026 đã phân tích.

Vì vậy, câu hỏi đúng không phải "chặn hay không chặn bot AI", mà là "chặn bot nào, giữ bot nào".

Hai nhóm bot AI cần phân biệt trước khi chặn

Mỗi hãng AI lớn hiện tách bot theo mục đích. Bảng dưới tóm tắt những cái tên anh chị hay gặp nhất trong log và file robots.txt:

Hãng	Bot huấn luyện	Bot tìm kiếm, trả lời	Bot truy cập theo yêu cầu người dùng
OpenAI	GPTBot	OAI-SearchBot	ChatGPT-User
Google	Google-Extended (chỉ là tên kiểm soát trong robots.txt)	Googlebot (Google Search, AI Overviews, AI Mode)	–
Anthropic	ClaudeBot	Claude-SearchBot	Claude-User
Perplexity	–	PerplexityBot	Perplexity-User
Common Crawl	CCBot (bộ dữ liệu mở, nhiều hãng dùng để huấn luyện)	–	–

Hai điểm quan trọng nhất trong bảng:

OpenAI tách riêng từng bot. Theo tài liệu chính thức về bot của OpenAI, chặn GPTBot nghĩa là nội dung không được dùng để huấn luyện mô hình nền, còn website chặn OAI-SearchBot sẽ không xuất hiện trong câu trả lời tìm kiếm của ChatGPT. Mỗi cài đặt độc lập với nhau, nên anh chị hoàn toàn có thể chặn GPTBot mà vẫn giữ OAI-SearchBot.

Google-Extended không phải một con bot riêng. Google Search Central cho biết Google-Extended là tên dùng trong robots.txt để quyết định nội dung có được dùng huấn luyện các thế hệ Gemini sau và để grounding hay không. Google khẳng định Google-Extended không ảnh hưởng việc website có mặt trong Google Search và không phải tín hiệu xếp hạng. Việc thu thập vẫn do các user agent sẵn có của Google thực hiện. Muốn xuất hiện trong AI Overviews và AI Mode, website vẫn phải cho Googlebot vào, như bài Chế độ AI của Google đã giải thích.

Có nên chặn bot AI? Quyết định theo từng loại website

Không có đáp án chung cho mọi doanh nghiệp. Hãy nhìn vào thứ website của anh chị đang bán và nguồn khách anh chị muốn giữ.

Loại website	Bot huấn luyện	Bot tìm kiếm AI	Lý do
Website dịch vụ, giới thiệu công ty (agency, B2B, logistics, pháp lý)	Tùy chọn, có thể để mở	Giữ	Nội dung chủ yếu là giới thiệu năng lực; càng được AI nhắc tên càng tốt
Cửa hàng bán lẻ, F&B, spa	Tùy chọn	Giữ	Khách hỏi AI "mua ở đâu", "quán nào gần" cần thấy tên và link của bạn
Website bán khóa học, tài liệu, báo cáo trả phí	Nên chặn	Giữ cho trang giới thiệu	Nội dung là sản phẩm; để lộ toàn văn là mất hàng
Trang có dữ liệu riêng (bảng giá đại lý, cơ sở dữ liệu tự xây)	Nên chặn	Cân nhắc theo từng thư mục	Dữ liệu là lợi thế cạnh tranh, cần thêm lớp đăng nhập

Với đa số SME, cách cân bằng là:

1. Giữ Googlebot và bot tìm kiếm AI để website vẫn được tìm thấy và dẫn link.
2. Chặn bot huấn luyện cho thư mục chứa nội dung độc quyền, ví dụ /khoa-hoc/ hay /tai-lieu/, thay vì chặn toàn bộ website.
3. Không đụng tới các trang dịch vụ, bài blog công khai nếu mục tiêu là tăng nhận diện thương hiệu trong câu trả lời AI. Phần này gắn chặt với GEO là gì, tức tối ưu để được công cụ AI trích dẫn.

Cách chặn bot AI bằng robots.txt

File robots.txt nằm ở gốc tên miền (ví dụ ten-mien.com/robots.txt). Trên WordPress, anh chị có thể sửa file này qua plugin SEO như Yoast hoặc Rank Math, hoặc tải file lên thư mục gốc qua hosting.

Mẫu robots.txt chặn bot huấn luyện, giữ bot tìm kiếm

Mẫu dưới đây chặn bốn bot huấn luyện phổ biến trên toàn website, giữ bot tìm kiếm AI và để các bot còn lại (gồm Googlebot) đi theo quy tắc chung:

# Chặn bot huấn luyện
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

# Giữ bot tìm kiếm AI
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Các bot còn lại, gồm Googlebot
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://ten-mien-cua-ban.com/sitemap.xml

Nếu chỉ muốn bảo vệ một thư mục, thay Disallow: / bằng đường dẫn thư mục đó, ví dụ Disallow: /tai-lieu/.

Ba lỗi hay gặp khi chặn bot AI

Chặn bằng dấu sao cho tất cả. Viết User-agent: * rồi Disallow: / sẽ chặn luôn Googlebot, website rơi khỏi Google. Lỗi này hiếm nhưng hậu quả nặng, thường xảy ra khi sao chép mẫu trên mạng mà không đọc kỹ.

Bật tính năng chặn bot AI hàng loạt trên CDN hoặc tường lửa mà không kiểm tra danh sách. Một số dịch vụ có nút chặn "bot AI" chung. Hãy xem nút đó chặn những bot nào, vì có thể chặn luôn bot tìm kiếm AI mà anh chị muốn giữ.

Sửa robots.txt rồi quên kiểm tra. Sau khi lưu, mở trực tiếp ten-mien.com/robots.txt để xem file đã cập nhật chưa, đặc biệt khi website có plugin cache. Nếu bài mới chậm xuất hiện trên Google sau khi sửa, xem thêm cách index bài viết nhanh.

Những điều robots.txt không làm được

Robots.txt là lời đề nghị, không phải ổ khóa. Trước khi coi nó là giải pháp bảo vệ nội dung, anh chị cần biết các giới hạn sau:

• Bot không tuân thủ vẫn vào được. Các hãng lớn công bố tôn trọng robots.txt, nhưng bot vô danh, công cụ cào dữ liệu thì không bị ràng buộc.
• Bot truy cập theo yêu cầu người dùng có thể không áp dụng. OpenAI ghi rõ ChatGPT-User do người dùng kích hoạt nên quy tắc robots.txt có thể không áp dụng, và bot này không dùng để quyết định trang có xuất hiện trong tìm kiếm hay không.
• Không thu hồi dữ liệu đã lấy. Quy tắc chỉ có tác dụng từ lần bot đọc lại file robots.txt trở đi.
• Không thay được lớp đăng nhập. Nội dung thật sự cần giữ riêng (tài liệu trả phí, bảng giá đại lý) phải nằm sau đăng nhập hoặc paywall.

Một điểm đáng theo dõi: Google cho biết dự kiến hỗ trợ tín hiệu ưu tiên huấn luyện AIPREF từ đầu năm 2027, cho phép khai báo ý muốn về việc dùng nội dung cho huấn luyện AI theo cách chung hơn. Khi tiêu chuẩn này được áp dụng, cách cấu hình có thể đơn giản hơn so với việc liệt kê từng bot.

Checklist trước khi lưu file robots.txt

• ☐ Đã xem log máy chủ hoặc báo cáo của hosting để biết bot AI nào đang ghé website
• ☐ Đã xác định thư mục nào chứa nội dung độc quyền cần bảo vệ
• ☐ Googlebot không bị chặn ở bất kỳ dòng nào
• ☐ Bot tìm kiếm AI (OAI-SearchBot, Claude-SearchBot, PerplexityBot) vẫn được phép vào trang công khai
• ☐ Không có cặp User-agent: * và Disallow: / nằm cạnh nhau
• ☐ Dòng Sitemap trỏ đúng sitemap của website
• ☐ Đã mở lại ten-mien.com/robots.txt sau khi lưu và xóa cache nếu cần
• ☐ Đặt lịch rà lại file mỗi quý vì các hãng AI có thể thêm bot mới

Không chắc file robots.txt, sitemap và các thiết lập kỹ thuật của website đang ổn? Đội ngũ X-DMAIC có thể kiểm tra website miễn phí 10 tiêu chí và gửi báo cáo cho anh chị.

Câu hỏi thường gặp

Chặn GPTBot có làm website mất khỏi ChatGPT không?

Không, nếu anh chị vẫn cho OAI-SearchBot vào. Theo OpenAI, hai bot này được cài đặt độc lập: GPTBot liên quan tới huấn luyện, còn OAI-SearchBot quyết định website có xuất hiện trong câu trả lời tìm kiếm của ChatGPT.

Chặn Google-Extended có ảnh hưởng thứ hạng Google không?

Không. Google xác nhận Google-Extended không ảnh hưởng việc website có mặt trong Google Search và không phải tín hiệu xếp hạng. Nó chỉ kiểm soát việc dùng nội dung cho huấn luyện Gemini và grounding trong một số sản phẩm AI của Google.

Muốn website không xuất hiện trong AI Overviews thì làm sao?

AI Overviews và AI Mode là một phần của Google Search, nên chặn Google-Extended không có tác dụng ở đây. Cách kiểm soát là dùng các chỉ thị đoạn trích như nosnippet, max-snippet hoặc noindex cho từng trang. Với doanh nghiệp cần khách, thường không nên làm vậy vì sẽ mất luôn cơ hội hiển thị.

Website nhỏ, ít bài viết có cần quan tâm chuyện này không?

Có, nhưng không cần phức tạp. Hãy chắc chắn robots.txt không vô tình chặn Googlebot và bot tìm kiếm AI. Phần chặn bot huấn luyện chỉ thật sự cần khi website có nội dung là sản phẩm, như khóa học hay tài liệu trả phí.

Đọc trọn lộ trình SEO & nội dung theo thứ tự từ bài nền: xem lộ trình trên trang Blog

---

Đọc tiếp trong chủ đề: SEO & nội dung

• Chế độ AI của Google (AI Mode) là gì – Cách để website được dẫn link
• Nghịch Lý AI Overviews 2026 Organic Traffic Giảm Nhưng AI Referral Traffic Bùng Nổ
• GEO Là Gì? Hướng Dẫn Toàn Diện Về Generative Engine Optimization 2026
• Semantic SEO là gì? Hướng dẫn đầy đủ cho AI Search & Topical Authority
• Bài mới chưa được Google index – Cách index nhanh đúng chuẩn

Muốn biết website đang mất khách ở đâu? Kiểm tra website miễn phí 10 tiêu chí hoặc nhắn Zalo 0394 877 577.