Chặn bot Ahrefs có nên hay không ?

Ahrefs là công cụ “tool” check backlink cực kỳ hiệu quả, khiến nhiều SEOer phải đau đầu vì nguồn backlink của mình dễ dàng bị đối thủ truy quét ra hết. Nên việc chặn bot Ahrefs thu thập dữ liệu trang web của bạn là việc cần nên làm trong từng dự án SEO. Khi đối thủ check backlink website của bạn sẽ không có dữ liệu nào được thống kê trong Ahrefs, mọi người thường gọi đó là SEO 0 backlink. Có 3 cách để thực hiện chặn bot Ahrefs như sau:

1. Chặn bot Ahrefs bằng file robots.txt

Để chặn bot Ahrefs bằng file robots.txt bạn chỉ cần thêm 2 dòng này vào trong file robots.txt của website như sau:

User-Agent: AhrefsBot
Disallow: /

Ngoài ra, bạn có thể kiểm soát tần số của AhrefsBot đến thăm trang web của bạn bằng cách xác định sự chậm trễ tối thiểu chấp nhận được giữa hai yêu cầu liên tiếp từ bot bằng cách thêm 2 dòng này như sau (trong robots.txt):

User-Agent: AhrefsBot
Crawl-Delay: 2

Cập nhật thêm một số công cụ chặn bot Ahrefs khác.

1. AhrefsBot – ahrefs.com
2. MJ12bot – majesticseo.com
3. Rogerbot – moz.com
4. BacklinkCrawler – backlinktest.com

File robots.txt chuẩn như sau:

User-agent: Rogerbot
User-agent: Exabot
User-agent: MJ12bot
User-agent: Dotbot
User-agent: Gigabot
User-agent: AhrefsBot
User-agent: BlackWidow
User-agent: ChinaClaw
User-agent: Custo
User-agent: DISCo
User-agent: Download\ Demon
User-agent: eCatch
User-agent: EirGrabber
User-agent: EmailSiphon
User-agent: EmailWolf
User-agent: Express\ WebPictures
User-agent: ExtractorPro
User-agent: EyeNetIE
User-agent: FlashGet
User-agent: GetRight
User-agent: GetWeb!
User-agent: Go!Zilla
User-agent: Go-Ahead-Got-It
User-agent: GrabNet
User-agent: Grafula
User-agent: HMView
User-agent: HTTrack
User-agent: Image\ Stripper
User-agent: Image\ Sucker
User-agent: Indy\ Library
User-agent: InterGET
User-agent: Internet\ Ninja
User-agent: JetCar
User-agent: JOC\ Web\ Spider
User-agent: larbin
User-agent: LeechFTP
User-agent: Mass\ Downloader
User-agent: MIDown\ tool
User-agent: Mister\ PiX
User-agent: Navroad
User-agent: NearSite
User-agent: NetAnts
User-agent: NetSpider
User-agent: Net\ Vampire
User-agent: NetZIP
User-agent: Octopus
User-agent: Offline\ Explorer
User-agent: Offline\ Navigator
User-agent: PageGrabber
User-agent: Papa\ Foto
User-agent: pavuk
User-agent: pcBrowser
User-agent: RealDownload
User-agent: ReGet
User-agent: SiteSnagger
User-agent: SmartDownload
User-agent: SuperBot
User-agent: SuperHTTP
User-agent: Surfbot
User-agent: tAkeOut
User-agent: Teleport\ Pro
User-agent: VoidEYE
User-agent: Web\ Image\ Collector
User-agent: Web\ Sucker
User-agent: WebAuto
User-agent: WebCopier
User-agent: WebFetch
User-agent: WebGo\ IS
User-agent: WebLeacher
User-agent: WebReaper
User-agent: WebSauger
User-agent: Website\ eXtractor
User-agent: Website\ Quester
User-agent: WebStripper
User-agent: WebWhacker
User-agent: WebZIP
User-agent: Wget
User-agent: Widow
User-agent: WWWOFFLE
User-agent: Xaldon\ WebSpider
User-agent: Zeus
Disallow: /

2. Chặn bot Ahrefs bằng file .htaccess

Để chặn bot Ahrefs bằng .htaccess bạn chỉ cần block cả dãy IP của nó là xong. Thêm đoạn code này vào tập tin .htaccess là có thể block toàn bộ robots của Ahrefs.

<FilesMatch “.*”>
Order Deny,Allow
Deny from 151.80.31.0/24
</Files>

Đối với server có Firewall thì chặn cả dãy luôn 151.80.31.0/24 thì đỡ mất thời gian vào cấu hình .htaccess từng website. Hoặc bạn login bằng SSH vào server với tài khoản Root, chạy command này để chặn cũng được.

iptables -I INPUT -s 151.80.31.0/24 -j DROP

Kết quả whois dãy IP robots của Ahrefs:

https://whois.domaintools.com/151.80.31.110
https://whois.domaintools.com/151.80.31.111
https://whois.domaintools.com/151.80.31.112

File .htaccess chuẩn như sau:

SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot
SetEnvIfNoCase User-Agent .*exabot.* bad_bot
SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot
SetEnvIfNoCase User-Agent .*dotbot.* bad_bot
SetEnvIfNoCase User-Agent .*gigabot.* bad_bot
SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot
SetEnvIfNoCase User-Agent .*sitebot.* bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

>> Tham khảo danh sách robots tại https://udger.com/resources/ua-list/crawlers

3. Chặn bot Ahrefs bằng file header.php

Để chặn bot Ahrefs bằng file header.php bạn cần thêm đoạn code này vào đầu của file header.php trong thư mục theme đang sử dụng:

<?php $useragent = $_SERVER ['HTTP_USER_AGENT'];

if (preg_match('/AhrefsBot/',$useragent)){

wp_redirect('http://google.com');

exit();

}

?>