这样手上已经有了工具。现在的问题是,在什么地方使用它们,什么时候又是最合适的呢?有时候解决方案是排除,有时又可能是处理WEB地点结构的更基础的解决方案。而且尽管引起重复内容的原因有无限多种,但总有一些共同的原因值得谈论。以下就是一些常应该注意的原因:
1、打印友好的页面
2、导航链接和眉毛导航
3、会员页面
4、有相似内容的页面
5、具有重复Meta标签或titl值的页面
6、URL规范化问题
7、在URL上使用会话ID的页面
打印友好的页面
重复内容最普通的根源之一,就是“打印友好的”页面,从诞生的那天开始,CSS就没有准备一个方法来提供对多媒体进行格式化(打印、截屏等),很多程序人员只是简单地为每个页面提供两个版本——标准的和可打印的。
实际上,直到今天,很多编程人员仍是这么做的。尽管这么做并不为过——除非你是一个CSS的狂热追随者,所有打印友好的页面都应该使用某种排除方法来排除,否则搜索引擎将在站点中看到这些页的两个版本。
导航链接和眉毛导航
对任何WEB站点来说,友好的导航显然是令人愉快的。不幸的是,有时它会产生重复内容。考虑一种情况,为了提供眉毛导航,在产品的URL地址中需要插入种类ID;但是有些产品将在多个种类中出现。这样,开发人员就创建了很多不同的URL地址,重复内容就潜在这些地址中。现在,我们将仔细检查眉毛导航的细节。
眉毛导航是导航的辅助元素,通常可以在网页的顶部找到。它看起来类似于“home>products>fortune cokkies”。当用户深入到WEB站点内部时,它就特别能帮助用户进行导航。在这种情况下,使用后退按钮将是令人沮丧的。而且如果用户是从搜索引擎结果页面转到这个页面的,后退按钮定不能如期的那样工作!
眉毛导航不是唯一可能引起问题的站点导航图。Matrix、faceted和动态下拉列表导航系统正在快速流行。相当多的大零售商,比如Wal-Mart、eToys、The Home Depot和Discovery Channel Store都实现了这些类型的站点导航,并且展示了行业未来发展的方向。
由这些复杂系统导致的重复内容问题同样也是问题,但是这些已在我们的讨论范围之外。对它们可以运用同样的通用原则。
当站点中每个产品仅仅只属于一个种类时,眉毛导航的网站优化(SEO)根本没有必要。种类可以包含在数据库中,因为产品和种类是1对1的关系。因此,没有什么必要在URL地址中传递种类ID;即使传递,也将仅有一个产品和种类排列。因而根本没有重复内容。
当一个产品属于多个种类,并且为了程序化建立眉毛导航而必须传递参数,审干问题出来了。如果没有眉毛导航,参数就不必要了,并且用户导航大概会使用他或她的后退按钮回到种类页面,但是现在却有了问题。如果每个产品平均属于3个种类,对站点上的每个产品,就会有三个本质上是重复内容的页面。
这造成了一个特别棘手的问题。友好站点导航的好处无可否认,但是它也引起了重复内容的问题。我们觉得这个主题被SEM社团忽略了。眉毛导航明显有助于导航,但是也能引起重复内容的问题。并且,在URL中使用完全不对内容有实际性改变的参数变量,也将引起重复内容问题。
存在几种方法来处理这个问题。如果想要处理与眉毛导航相关的重复内容问题,就能处理它。接下来就是方法的介绍。
(一)使用一个主要种类与robots.txt或meta排除
这包括设置一个种类,把一个产品归于这个“主要的”种类。与此类似地,在应用程序的数据库中同样包含一个字段,这也是Dan Thies在他的SEM图书The Search Engine Marketing kit中所支持的观点。好处就是它可以“防弹”,从而永远不会因为存在重复内容被搜索引擎惩罚。但是也有两个不足之处:
(1)如果某个产品被置于多个种类中,它关键词将出现得很频繁,这可以产生高于预期的排名,可称之为“交叉排列”。显然,如果使用现在这种解决方案,就只能得到一种排列——主要的排列。
例子:假设一个蛋糕属于两个种类:“生日”和“庆祝”。结果标题是“超级奶酷蛋糕:生日”和“超级奶酷蛋糕:庆祝”。如果网站管理员选择“生日”作为主要的种类,搜索引擎就永远不会看到另一个页面,因为它被meta排除或robots.txt排除了。而对以假定竞争力较小的“庆祝 奶配蛋糕”为关键词的搜索,那个页面本来可能得到更好的排名。
(2)用户如果链接非主要页面,将被动地“处罚”你。一个已被排除页面的链接,它的链接价值是有问题的,对那个页面而言应该是空值——但对整个域而言可能也是空值。
根据不同的排列修改内容
如果做得恰当,这能工作,但是必须谨慎。如果做得不恰当,最坏的结果将是接受惩罚。可以根据每个种类来修改对假定产品的描述,或在页面上添加不同的相关产品。你应该猜测得到,到底需要多少唯一内容,这个门槛难以把握。请小心使用这种技术。