Thủ thuật SEO

Chặn bot Ahrefs có nên hay không ?

Chặn bot Ahrefs có nên hay không ?
Chặn bot Ahrefs có nên hay không ?
5 15 votes

Ahrefs là công cụ “tool” check backlink cực kỳ hiệu quả, khiến nhiều SEOer phải đau đầu vì nguồn backlink của mình dễ dàng bị đối thủ truy quét ra hết. Nên việc chặn bot Ahrefs thu thập dữ liệu trang web của bạn là việc cần nên làm trong từng dự án SEO. Khi đối thủ check backlink website của bạn sẽ không có dữ liệu nào được thống kê trong Ahrefs, mọi người thường gọi đó là SEO 0 backlink. Có 3 cách để thực hiện chặn bot Ahrefs như sau:

1. Chặn bot Ahrefs bằng file robots.txt

Để chặn bot Ahrefs bằng file robots.txt bạn chỉ cần thêm 2 dòng này vào trong file robots.txt của website như sau:

User-Agent: AhrefsBot
Disallow: /

Ngoài ra, bạn có thể kiểm soát tần số của AhrefsBot đến thăm trang web của bạn bằng cách xác định sự chậm trễ tối thiểu chấp nhận được giữa hai yêu cầu liên tiếp từ bot bằng cách thêm 2 dòng này như sau (trong robots.txt):

User-Agent: AhrefsBot
Crawl-Delay: 2

Cập nhật thêm một số công cụ chặn bot Ahrefs khác.

  1. AhrefsBot – ahrefs.com
  2. MJ12bot – majesticseo.com
  3. Rogerbot – moz.com
  4. BacklinkCrawler – backlinktest.com

File robots.txt như sau

User-agent: AhrefsBot
User-agent: MJ12bot
User-agent: rogerbot
User-agent: BacklinkCrawler
Disallow: /

2. Chặn bot Ahrefs bằng file .htaccess

Để chặn bot Ahrefs bằng .htaccess bạn chỉ cần block cả dãy IP của nó là xong. Thêm đoạn code này vào tập tin .htaccess là có thể block toàn bộ robots của Ahrefs.

<FilesMatch “.*”>
Order Deny,Allow
Deny from 151.80.31.0/24
</Files>

Đối với server có Firewall thì chặn cả dãy luôn 151.80.31.0/24 thì đỡ mất thời gian vào cấu hình .htaccess từng website. Hoặc bạn login bằng SSH vào server với tài khoản Root, chạy command này để chặn cũng được.

iptables -I INPUT -s 151.80.31.0/24 -j DROP

Kết quả whois dãy IP robots của Ahrefs:

https://whois.domaintools.com/151.80.31.110
https://whois.domaintools.com/151.80.31.111
https://whois.domaintools.com/151.80.31.112

>> Tham khảo danh sách robots tại https://udger.com/resources/ua-list/crawlers

3. Chặn bot Ahrefs bằng file header.php

Để chặn bot Ahrefs bằng file header.php bạn cần thêm đoạn code này vào đầu của file header.php trong thư mục theme đang sử dụng:

<?php $useragent = $_SERVER ['HTTP_USER_AGENT'];
if (preg_match('/AhrefsBot/',$useragent)){
wp_redirect('http://google.com');
exit();
}
?>
Chú thích:
– $useragent = $_SERVER ['HTTP_USER_AGENT'];: giúp ta kiểm tra UserAgent truy cập là gì.
– if (preg_match('/AhrefsBot/',$useragent)){}: Phát hiện đây có phải AhrefsBot hay không.
– wp_redirect('http://google.com');: Nếu là AhrefsBot thì chuyển con bot này nhảy sang trang Google.
Chúc các bạn thành công!

Post Comment