Chặn bot Ahrefs có nên hay không ?

Ahrefs là công cụ check backlink rất hiệu quả, tuy nhiên đôi khi sự hiệu quả đó cũng khiến nhiều SEOer phải đau đầu vì nguồn backlinks của mình dễ dàng bị đối thủ dò ra hết. Vậy làm sao để đối thủ "ngậm trái đắng" ?

Chặn bot Ahrefs có nên hay không
Chặn bot Ahrefs có nên hay không
Đơn giản thôi, đó là chặn bot Ahrefs lại, bạn chỉ cần thêm 2 dòng này vào file robots.txt của bạn:
user-agent: AhrefsBot
disallow: /

Ngoài ra, bạn có thể kiểm soát tần số của AhrefsBot quý khách đến thăm trang web của bạn bằng cách xác định sự chậm trễ tối thiểu chấp nhận được giữa hai yêu cầu liên tiếp từ bot bằng cách thêm 2 dòng này như sau (trong robots.txt):
User-Agent: AhrefsBot
Crawl-Delay: 2
Cập nhật thêm một số công cụ chặn bot khác nữa.
  1. AhrefsBot - ahrefs.com
  2. MJ12bot - majesticseo.com
  3. Rogerbot - moz.com
  4. BacklinkCrawler - backlinktest.com
File robots.txt như sau
User-agent: AhrefsBot
User-agent: MJ12bot
user-agent: rogerbot
User-agent: BacklinkCrawler
Disallow: /
Còn để chặn robots của Ahrefs bằng .htaccess thì bạn phải block cả dãy IP của nó là xong. Thêm đoạn code này vào tập tin .htaccess là có thể block toàn bộ robots của Ahrefs.
<FilesMatch ".*">
Order Deny,Allow
Deny from 151.80.31.0/24
</Files>

Đối với server có Firewall thì chặn cả dãy luôn 151.80.31.0/24 thì đỡ mất thời gian vào cấu hình .htaccess từng website. Hoặc bạn login bằng SSH vào server với tài khoản Root, chạy command này để chặn cũng được.
iptables -I INPUT -s 151.80.31.0/24 -j DROP
Kết quả whois dãy IP robots của Ahrefs:

https://whois.domaintools.com/151.80.31.110
https://whois.domaintools.com/151.80.31.111
https://whois.domaintools.com/151.80.31.112

Tham khảo danh sách robots tại https://udger.com/resources/ua-list/crawlers

Backlink SEO

Dịch vụ làm SEO uy tín và hiệu quả ✅SEO từ khóa website lên TOP Google giá rẻ, chất lượng trên Toàn quốc. ☎: 0913 876 339 - 098 1819 229 ✅Tư vấn hỗ trợ SEO mọi lĩnh vực.

Không có nhận xét nào:

Đăng nhận xét