Baiduspider抓取商品页返回403错误,求救
2016-07-07 15:24 来源:www.chinab4c.com 作者:ecshop专家
自己用浏览器访问正常,并且用request Builder模拟Baiduspider的User-Agent返回也正常,就是日志里面百度蜘蛛抓取商品页全是403错误,网站一年多了,还没有收录商品页,原先以为是其它原因,看了日志才明白... 希望大能帮找下原因.. 网站地址:http://www.showmebar.com
|
回答:
找到原因了,不能不说是ecshop的一种bug,ecshop采用utf-8编码,并且后台的urlrewrite设成最高级别的时候,商品的url中会带商品名的urlencode的形式,但那是utf-8编码的,google可以很好识别,但百度就不行了,它访问过来的时候是以中文或是乱码的形式,但这种形式apache不支持宽字符,就产生了403错误.如果把ie的"总是以utf-8"编码发送选项去掉的话,就符合百度蜘蛛的访问形式了,如果把后面urlencode的字符加进去一个中文的话,这时也就出现了403错误了,,,这就是我网站近两年了百度还没有收录商品页的原因了,血的教训. 解决办法:使用简单的urlrewrite,永远不要再使用复杂的urlrewrite |
现在 搜索引擎会越来越智能。建议使用简单重写或不重写。地址对收录的影响不大。 |
顶顶~~~~ |
最近更新
常用插件
- ecshop按分类筛选销售排行
ecshop按分类筛选销售排行...
- ecshop快递发货单打印商品
ecshop快递发货单打印商品信息,大家都知道ecshop快递单打印的时候,只能...
- ecshop二次开发售后维修卡
插件介绍: 本插件是用于专门从事电子,信息,软件等售后服务关键比...
- ecshop选择下单时间插件
ecshop选择下单时间插件主要是根据不同的下单配送要求,在ecshop购物车...
- ecshop供应商插件免费下载
ecshop供应商插件免费下载...
ecshop热门问答
ecshop热门资料
ecshop国庆
ecshop产品图片
ecshop不显示
ecshop首信易
ecshopfields
ecshop税费
ecshop妹妹
ecshop短信平台
ecshop全称
ecshopECMALL一键登录
ecshopsql语句
ecshop老死
ecshop电子邮件
ecshop钻石
ecshop费用
ecshop链接地址
ecshop商品显示出错
ecshop静态化
ecshop积极性
ecshop全站
ecshop特色
ecshop中国魅族
ecshop系统重装
ecshop版本升级
ecshop广告列表
ecshop数量起订功能
ecshop添加到收藏车
ecshop贴子
ecshopCompare
ecshop限制购买