搜索引擎和网站的目录结构

来源：中国搜索引擎研究网　　作者：佚名

不同子目录中放入类似或完全相同的内容是颇为普遍的，因为这样可以提高用户体验。
我们再以上面的那个茶叶站点为例，假设该站点对每种茶叶都设立了不同子目录，并提供有大量内容独特和高质量的网页，那么对乌龙茶(oolong tea)，绿茶(green tea)和茶具这三者，它们的URL结构分别如下：
1. 乌龙茶页：http://www.tranquiliteasorganic.com/Oolong-tea/Oolong.html
2. 绿茶页：http://www.tranquiliteasorganic.com/Green-tea/Green.html
3. 茶具页：http://www.tranquiliteasorganic.com/Tea-accessories/accessories.html
如果该网站亦提供有散装的乌龙茶和绿茶，那么对于该网站下一个关于泡茶茶具的网页，将其放入乌龙茶，绿茶和茶具子目录这三个目录下也是合乎逻辑的。从易用性和用户体验的角度来看，这不失为一个好策略。然而对于搜索引擎来说，它们却往往把这样的内容视为冗余内容。搜索引擎不喜欢比较多数据库驱动的站点的一个原因就是，它们常常一次又一次地得到相同的内容。google排名优化
因而，如果泡茶茶具这个网页在上述三个一级子目录中都存在，搜索引擎是否会认为这是冗余内容，而且可能因为这个站点提供这样的内容而处罚它呢？最有可能发生的是，搜索引擎只显示该网站上包含很多链入链接的那个网页，而不会显示网站上的其它网页。google排名优化
同时，也有很多缺乏职业道德的搜索引擎营销商过分使用该策略，对完全相同的信息生成大量冗余内容。因而极有可能被搜索引擎认为是SPAM而受到处罚。
为了使网站百分百的安全，你可以在网站的冗余内容中放入一个纯文本文件robots.txt(Robots Exclusion Protocol)，在这个文件中声明该网站中不想被robot访问的部分，这样就可以限定搜索引擎对你网站的检索范围。不过，你还需要对站点的统计数据进行仔细的分析，看看哪个子目录是最常用到的，对这样的子目录可不要放robots.txt文件哦。 google排名优化
在上述情形下，使用robots.txt文件解决了两个问题。首先，它向搜索引擎传达了你并非故意传输冗余内容。其次，由于相关的容在适当的子目录下仍然有效，所以对用户体验并无负面影响。google排名优化
结论：
一般来讲，搜索引擎在对子目录的检索上不存在问题。如果你发现把你的网站划分为子目录结构能够为用户提供更好的用户体验，那么你尽可以这么做。但是不要只是为了引起搜索引擎的注意而创建子目录。有许多策略都能够达到这样的目的，它们不但无需花费你很多时间，而且还会给你的网站带来比较好的投资回报(ROI)。google排名优化
这个用户提出的问题引出了在搜索引擎业界中引发激烈争论的问题：一个网站何时使用子目录(subdirectories)，子域(subdomains)或迷你网站(mini-sites)最合适？网站业主是否应利用目标关键短语创建自己网站的URL？是否子目录的名称中应包含关键短语？那又是后话了。
作者简介：
Shari Thurow是Grantastic设计公司的市场营销经理。google排名优化Grantastic是一家提供全方位搜索引擎市场、网络和图形设计的公司。

·上一篇文章：选择最佳关键词之10个技巧
·下一篇文章：Robots Meta Tag的使用