给你的网站减压！！！禁止来历不明的机器人爬虫，省流量！

2016-07-07 15:22 来源：www.chinab4c.com 作者：ecshop专家

自己顶一下，有更好的方法吗？？？？

回答：
这个要测试一下才知道

回复4楼的。。要搜狗收录的话

User-agent: sougou web spider允许搜狗访问网站
Allow: /


雅虎其他需要的只要知道蜘蛛的名字相对于的添加就可以了