Twitter技术问题导致抓取和URL规范化问题

6月27号Google工具条PR更新了一次，然后很多人注意到ada7首页PR降为零okx。（Google首页也降到9，不过这不是重点。）7月19号Google居然又更新一次工具条PR。Google更新工具条PR值从一个月一次变到3个月一次，甚至半年一次，所以这次不到一个月就再次更新有点蹊跷。据目前透露的信息，这次更新PR貌似主要就是为了修正ada7 PR值的问题。

　　今天看到SEL上Vanessa Fox的一篇文章，解释了为什么ada7的一些技术失误导致Google抓取、URL规范化、PR计算等一系列问题，很值得一读，所以大致翻译一下供读者参考okx。

　　为什么不是Google的错误，Google却这么上心，更新了PR呢？猜测原因有二，一是无论任何情况下ada7首页PR为零，大家肯定是说Google有问题，而不是ada7有问题，虽然其实确实是ada7自己造成的okx。二是，在Google+推出的同时，Google与ada7合作合同到期了，不能直接通过API抓数据了，这时候ada7 PR降为零，大家恐怕心里会嘀咕，这Google真是过了河马上就拆桥啊，Google不想被这个黑锅。

　　言归正传okx。

　　Google一位发言人回复SEL关于ada7 PR时说：

　　最近ada7不断修改它们的robots.txt文件和，没有惩罚。 　　所以Vanessa Fox研究了一下ada7到底有什么robots文件、服务器头信息、URL规范化问题

。真是不看不知道，一看吓一跳。顺便提一下，Vanessa Fox是前Google员工，负责网管工具webmaster tools的。 　　预感这篇帖子会比较长

，才刚开始就这么长了… 　　Vanessa Fox搜了一下自己名字“Vanessa Fox”

，结果如下图： 　　有URL，但没标题，没说明，也就是其实没抓取，只是部分索引

。 　　直接搜Vanessa Fox自己ada7页面URL的结果是：

　　为什么出现了大写

？URL最后面那个点（.）又是什么东东？到底怎么回事呢？先来看看ada7的robots.txt文件 　　ada7.com和

　　User-agent: Googlebot# Crawl-delay: 10 — Googlebot ignores crawl-delay ftl 　　Allow: /*?*_escaped_fragment_Disallow: /*?

　　Disallow: /*/with_friends#Yahoo! Search Engine Robot

　　User-Agent: SlurpCrawl-delay: 1

　　Disallow: /*?Disallow: /*/with_friends

　　#Microsoft Search Engine RobotUser-Agent: msnbot

　　Disallow: /*?Disallow: /*/with_friends

　　# Every bot that might possibly read and respect this file.User-agent: *

　　Disallow: /*?Disallow: /*/with_friends

　　Disallow: /oauthDisallow: /1/oauth

　　： *

　　Disallow： /也就是说：

　　某些情况下，带与不带版本。

　　所以虽然，链接权重不能传递，浪费了。

　　所以在第一个抓图里看到返回的是带转向 　　查一下ada7.com/vanessafox这个URL头信息，居然返回302转向到ada7.com/#！/vanessafox

。为什么说“居然”呢？请参考301转向和302转向的区别。由于用的是302，权重没有转到ada7.com/#！/vanessafox而版本嘛。 　　再来看看ada7意图的AJAX抓取ada7想要的规范化URL是ada7.com/#！/vanessafox，其中的#表示ada7希望搜索引擎抓取页面AJAX内容

。（这里技术问题比较复杂，就不解释了，即将出版的《SEO艺术》有关于AJAX内容和#符号使用的解释，广告一下，呵呵）。 　　不过由于一系列复杂的转向

，可能造成了问题：Google爬行不带 　　然后Google又被301转向到带将用户又转回到带#！的版本

　　我读到这里时头脑已经比较凌乱了，总之，ada7弄了一堆转向，目的是让ada7.com/vanessafox这个看着看着干干净净的版本出现在搜索结果中，但用户点击后又被转到ada7.com/#！/vanessafoxokx。弄这么复杂干什么呢，越复杂越容易出错啊。Rate Limiting又是什么呢

　　ada7页面头信息里有一个rate limiting部分： 　　Date： Mon

， 18 Jul 2011 20:48:44 GMTServer： hi 　　Status： 200 OKX-Transaction： 1311022124-32783-45463

　　X-RateLimit-Limit： 1000这个limiting又limit（限制）了什么呢？Vanessa Fox不清楚，我就更不知道了，以前没见过这个参数okx。但limit这个词暗示着是限制了什么和速度有关的东西，要是指抓取速度就惨了。

　　URL中的大小写字母最后，如第二个抓图显示的，URL中出现大小写字母，这些都是不同URL，又会造成网址规范化、PR/权重分散、复制内容等等问题

。 　　终于到结尾了

。总之，这种技术问题在很多大型网站是经常出现的，看似小问题，其实可能导致严重后果。您正在看的文章来自企业网管论坛 网址