2016-08-11 08:18发布
谷歌很早就支持https抓取了,百度与360均可以使用同一种做法。
纯搬运,原文http://zhanzhang.baidu.com/college/articleinfo?id=6
百度搜索引擎目前不主动抓取https网页,导致大部分https网页无法收录。但是如果网站一定要使用https加密协议的话该如何做到对百度搜索引擎友好呢。其实很简单:1,为需要被百度搜索引擎收录的https页面制作http可访问版。2,通过user-agent判断来访者,将Baiduspider定向到http页面,普通用户通过百度搜索引擎访问该页面时,通过301重定向至相应的https页面。如图所示,上图为百度收录的http版本,下图为用户点击后会自动跳入https版本。3,http版本不是只为首页制作,其它重要页面也需要制作http版本,且互相链接,切不要出现这种情况:首页http页面上的链接依然链向https页面,导致Baiduspider无法继续抓取——我们曾经遇到这种情况,导致整个网点我们只能收录一个首页。如下面这个做法就是错误的:http://www.abc.com/ 链向https://www.adc.com/bbs/4,可以将部分不需要加密的内容,如资讯等使用二级域名承载。比如支付宝站点,核心加密内容放在https上,可以让Baiduspider直接抓取的内容都放置在二级域名上。
百度搜索引擎目前不主动抓取https网页,导致大部分https网页无法收录。但是如果网站一定要使用https加密协议的话该如何做到对百度搜索引擎友好呢。其实很简单:
1,为需要被百度搜索引擎收录的https页面制作http可访问版。
2,通过user-agent判断来访者,将Baiduspider定向到http页面,普通用户通过百度搜索引擎访问该页面时,通过301重定向至相应的https页面。如图所示,上图为百度收录的http版本,下图为用户点击后会自动跳入https版本。
3,http版本不是只为首页制作,其它重要页面也需要制作http版本,且互相链接,切不要出现这种情况:首页http页面上的链接依然链向https页面,导致Baiduspider无法继续抓取——我们曾经遇到这种情况,导致整个网点我们只能收录一个首页。
如下面这个做法就是错误的:http://www.abc.com/ 链向https://www.adc.com/bbs/
4,可以将部分不需要加密的内容,如资讯等使用二级域名承载。比如支付宝站点,核心加密内容放在https上,可以让Baiduspider直接抓取的内容都放置在二级域名上。
最多设置5个标签!
谷歌很早就支持https抓取了,百度与360均可以使用同一种做法。
纯搬运,原文http://zhanzhang.baidu.com/college/articleinfo?id=6
一周热门 更多>