承接百度SEO优化白帽排名业务

怎么识别爬行蜘蛛,只需要2种方法识别

2019-06-27 seoer
怎么识别爬行蜘蛛,只需要2种方法识别

在实际网站运营之中,爬行蜘蛛往往出现各类问题,有时抓取频繁,有时蜘蛛没有来。有些站长会把IP加入白名单之中,吸引蜘蛛来爬行。

1、UA查看

百度的UA如下,自行检查。

移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+https://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+https://www.baidu.com/search/spider.html)

另外还有渲染UA,如下:

移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +https://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +https://www.baidu.com/search/spider.html)

2、反查IP

通过DNS反查IP判断有没有爬行蜘蛛。

linux系统:

使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

windows系统:

使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

mac os系统:

使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

©CopyRight WWW.MINGLIPLUS.COM Inc All Rights Reserved.