会员页面

假设你有一个产品“The Ultimate Widget”，并为它建立了一个不错的WEB会员程序，它支付产品回扣50%，并且所有的人都想加入。很快，你有了成千上万的会员在应用这个程序。为了向应用程序指出哪个会员是谁，您添加一个参数“?aff=<aff_id>”。

不幸的是，假如所有这些链接都被蜘蛛检索到，那么现在就有成千上万个有相同内容的页面了。这可能是个复杂的问题。如这里所提到的，最坏的情况是，过多的重复内容将获得站点惩罚。必须对此特别关注，来避免这个问题。幸运的是，有一些比较容易的解决方案。

一、使用Referrer和Cookie来代替查询字符串参数

使用Referrer是个最有效的方法，它能完全透明地通知应用程序交易从哪里而来；只要把域名用来匹配变量$_SERVER['HTTP_REFERER']即可。如果能匹配，则设置一个相应的会话变量或cookie。

关于这个方法的一个重要说明是，如果某个安全软件故意屏蔽HTTP_REFERER的内容，那么小部分会员的交易将不会被识别。无论这是否是可接受的，它都是你和会员之间的事。明显的优点是所有链接都完全没有参数，并且对搜索引擎而言，它看上去就只是个自然的链接，而不是一个会员链接。这一点可能对于一个链接建立活动很了不起。

如果一个特定的会员想在不止一个站点上推广这个产品，这个系统就会需要更多的维护，并且同样情况下，在公共场合，使用这种链接可能不会很有效。

这种方法在此不作示例，因为它通常不是可行的解决方案。

二、使用被排除的会员URL地址

如前面讨论的，可以使用robots.txt或meta排除来排除所有与会员程序相关的URL地址。假如，可以对每个会员页面添加以下标签：

<meta name='robots' content='noindex,nofollow'>

此外，还可以在子目录下插入会员脚本，并在robots.txt中排除它：

User-agent:*

Disallow:/aff/