如何识别spider是不是来自搜索引擎

重庆SEO分享:来自百度站长资讯的《如何识别爬虫是“李逵”还是“李鬼”》,每天查询日志发现大量的蜘蛛来爬取了内容,但是网站就是没有获取好的排名,这可能就是“李鬼”在搞鬼!

有站长发来质疑说蜘蛛光顾过于频繁,已超越服务器承受能力,是否能设置白名单加以保护,答案是否定的,因为搜索引擎的蜘蛛IP池是不断变动的,所以无法设置“蜘蛛IP”白名单来加以保护,但是站长可以通过IP来判断此spider是不是来自搜索引擎的呢?

下面以百度搜索引擎为例:可以通过DNS反查方式来解决这个问题。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

2、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

3、在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

蜘蛛IP可以通过《光年日志分析工具》来获取,通过以上步骤就能轻松知道此spider是不是来自搜索引擎。

来源:陈江林SEO博客

重庆SEO | 长寿SEO | 遵义SEO | 仁怀SEO

微云SEO

微云SEO

微信公众号:vy-seo 欢迎您的加入!
wordpress

30分钟建站技术

全面系统的WP技术培训,从零基础到模板制作达人!
重庆陈江林

SEO技术培训

月入4000元,当前网络最真实的赚钱方法!
作者:
该日志由 Jianglin 于2014年05月19日发表在SEO新闻, 网站优化分类下, 你可以发表评论,并在保留原文地址及作者的情况下引用到你的网站或博客。
原文固定链接: http://www.chenjianglin.cn/410.html/
标签: ,
【上一篇】
【下一篇】

您可能感兴趣的文章:

发表评论


正在加载中……