给你的网站减压!!!禁止来历不明的机器人爬虫,省流量!

2016-07-07 15:22 来源:www.chinab4c.com 作者:ecshop专家

自己顶一下,有更好的方法吗????

回答:
这个要测试一下才知道

回复4楼的。。要搜狗收录的话

User-agent: sougou web spider允许搜狗访问网站
Allow: /


雅虎其他需要的只要知道蜘蛛的名字相对于的添加就可以了