Thủ thuật SEO

Chặn bot Ahrefs có nên hay không ?

Chặn bot Ahrefs có nên hay không ?

Ahrefs là công cụ check backlink rất hiệu quả, tuy nhiên đôi khi sự hiệu quả đó cũng khiến nhiều SEOer phải đau đầu vì nguồn backlinks của mình dễ dàng bị đối thủ dò ra hết. Vậy làm sao để đối thủ “ngậm trái đắng” ?

Đơn giản thôi, đó là chặn bot Ahrefs lại, để thực hiện bạn chỉ cần thêm 2 dòng này vào trong file robots.txt của website như sau:

User-Agent: AhrefsBot
Disallow: /

Ngoài ra, bạn có thể kiểm soát tần số của AhrefsBot đến thăm trang web của bạn bằng cách xác định sự chậm trễ tối thiểu chấp nhận được giữa hai yêu cầu liên tiếp từ bot bằng cách thêm 2 dòng này như sau (trong robots.txt):

User-Agent: AhrefsBot
Crawl-Delay: 2

Cập nhật thêm một số công cụ chặn bot khác nữa.

  1. AhrefsBot – ahrefs.com
  2. MJ12bot – majesticseo.com
  3. Rogerbot – moz.com
  4. BacklinkCrawler – backlinktest.com

File robots.txt như sau

User-agent: AhrefsBot

User-agent: MJ12bot

user-agent: rogerbot

User-agent: BacklinkCrawler

Disallow: /

Còn để chặn robots của Ahrefs bằng .htaccess thì bạn phải block cả dãy IP của nó là xong. Thêm đoạn code này vào tập tin .htaccess là có thể block toàn bộ robots của Ahrefs.

<FilesMatch “.*”>

Order Deny,Allow

Deny from 151.80.31.0/24

</Files>

Đối với server có Firewall thì chặn cả dãy luôn 151.80.31.0/24 thì đỡ mất thời gian vào cấu hình .htaccess từng website. Hoặc bạn login bằng SSH vào server với tài khoản Root, chạy command này để chặn cũng được.

iptables -I INPUT -s 151.80.31.0/24 -j DROP

Kết quả whois dãy IP robots của Ahrefs:

https://whois.domaintools.com/151.80.31.110
https://whois.domaintools.com/151.80.31.111
https://whois.domaintools.com/151.80.31.112

Tham khảo danh sách robots tại https://udger.com/resources/ua-list/crawlers

Post Comment