URL参数是网页地址的一部分,通常在问号(?),&符(&),等于(=)或其他属性之后可见。参数也可以称为“查询字符串”,通常在电子商务网站上使用,如果处理不当,它们可能会给您的网站建立索引时引起严重的混乱和问题。
网站网址参数通常用于跟踪会话ID,产品分类页面过滤器,搜索查询供电和更多。参数可能很有价值,但会使搜索引擎感到困惑,从而导致页面索引问题和爬网预算浪费。那么如何避免这种情况呢?我们在下面看一下,并介绍以下内容。
URL可帮助搜索引擎了解网站的内容和结构。简洁明了的页面URL也更有可能从搜索引擎结果中获得点击。这并不奇怪,因为冗长且参数打包的URL对于人脑来说较难处理和解释。
错误配置的URL参数可能会引起一系列问题,从创建重复内容到关键词蚕食,以及浪费宝贵的爬网预算。
让我们看一下URL参数引起的最常见问题。
基于网站过滤器的URL参数的生成会产生严重的页面问题,从而影响网站(尤其是电子商务网站)的页面排名。如果您的网站允许用户按价格或功能(颜色,大小等)对内容进行排序,而这些选项实际上并没有改变页面的内容,而只是缩小结果的范围;那么这可能会影响您网站的性能。
理论上,以下URL都指向相同的内容:自行车的集合。唯一的区别是,其中某些页面的组织或过滤可能略有不同。URL参数部分以问号开头。
http://www.example.com/products/bikes.aspx
http://www.example.com/products/bikes.aspx?category=mountain&color=blue
http://www.example.com/products/bikes.aspx?category=mountain&type=womens&color=blue
上面显示的示例是电子商务网站多面导航的典型示例。多面导航系统是过滤器选项,可让您使用预定义的过滤器选项来缩小产品类型或其他属性的范围。这最终可以帮助您找到所需的内容,但是使用参数时可能会导致问题。
使用户能够缩小电子商务站点上的品牌,产品类型和大小对用户很有帮助,但是 如果管理不当,可能会使搜索引擎感到头疼。
当网站上的多个页面定位相同或相似的关键词时,就会发生关键词蚕食。在这种情况下,搜索引擎可能很难确定哪个页面最适合特定搜索查询。充其量这可能会导致该词在该页面上出现“错误”或“不想要的”排名,或者排名不正确甚至根本不排名。
如果有很多基于参数的URL可供索引,则搜索引擎最终可能无法有效地爬网您的网站。如果考虑不同的过滤选项和不同的组合,那么很容易看出问题是如何发生的。我看到单个页面具有50多个参数版本的网站,这些网站很难被索引,因此无法排名。
下面列出了一些不同的URL过滤排列,以使您了解如何快速地向搜索引擎显示1000个不必要的要爬网的页面。
静态网址: www.example.com/dining-furniture
搜索网址: www.example.com/?q=dining-furniture
品牌过滤器网址: www.example.com/dining-furniture?brand=stressless
滤色器URL: www.example.com/dining-furniture?colour=brown
产品类型过滤器: www.example.com/dining-furniture?type=rec&liner=stressless
产品类型和品牌过滤器: www.example.com/dining-furniture?type=rec&liner=stressless
有许多解决方案可确保URL参数不会在您的网站上引起任何SEO问题。但是在着手实施以下任何修补程序之前,您需要通过询问以下问题来检查URL参数是否可能导致您的网站出现问题:
在您的网站上使用搜索过滤器时,URL是否会更改,并且文本仍与原始URL上的文本相同?
在您的网站上使用搜索过滤器时,URL是否更改且页面标题和元描述保持不变或包含相同的目标关键词?
如果您对这两个条件中的一个或两个都回答“是”,则URL参数可能会阻碍您的网站在自然搜索中的性能,因此可能是时候采取行动了。
您可以使用一些网站爬网工具来确定在网站上的位置以及如何使用参数。您可以使用的一些常用工具列表如下:
Screaming Frog SEO Spider爬行工具。免费版可让您抓取500个URL。付费版本使您可以将抓取用户代理设置为搜索引擎,还可以抓取无限的URL。
Ahrefs网站审核工具
Deepcrawl –功能强大的云爬网软件,适用于大型电子商务网站。
规范标签用于向搜索引擎指示某些页面应被视为某个URL的副本,并且任何排名实际上应归功于规范URL。
Web开发人员可以在应用过滤器之前将内容的规范版本设置为类别页面URL。这是一个简单的解决方案,可帮助将搜索引擎机器人定向到您真正要爬网的内容,同时在网站上保留过滤器,以帮助用户找到与其需求紧密相关的产品。有关实现rel="canonical"标签的更多信息,请参见有关如何正确使用canonical标签的指南。
检查您的网站是否是这种情况的一种方法是测试产品类别页面之一上的某些过滤器,以评估产品过滤后内容是否发生了重大变化。例如,假设自行车网站上原始类别页面的内容包含一个或两个复制段,以推广特定类型的自行车。然后,当使用多面导航应用过滤器以选择女式自行车时,页面的URL会更改为包含查询字符串(example.com/bikes?type=female)–如果大多数页面内容保持不变,则这些如果搜索引擎无法明确其关系,则搜索引擎可以将这些页面归类为重复内容。
在robots.txt文件 可以帮助您解决重复内容的情况下,通过从搜索引擎无法抓取阻止搜索查询参数。但是,在继续阻止所有查询字符串之前,我建议您确保所有您不允许的内容都是绝对不希望被索引的内容。在大多数情况下,只需将以下行添加到网站的robots.txt文件中,即可指定搜索引擎以忽略任何基于参数的页面:
Disallow: /*?*
这将禁止所有带有问号的URL。显然,这对于确保阻止任何URL参数被搜索引擎爬网很有用,但是您首先需要确保在其URL结构内使用参数的情况下,网站中没有其他区域。
为此,我建议使用Screaming Frog的SEO蜘蛛之类的工具对整个网站进行爬网 , 将网站的网址列表导出 到电子表格中,然后在电子表格中搜索包含问号的所有网址(?)。
在这里需要注意的常见事情是使用URL参数来提供页面的不同语言变体,这本身不是一个好主意。在这种情况下,您不想阻止搜索引擎通过robots.txt检索这些变体。相反,您需要研究实现可行的URL结构以定位多个国家。
如果您已经遍历了URL列表,并且确认使用URL参数的唯一页面是那些导致重复内容问题的页面,则建议将上述命令添加到网站的robots.txt文件中。
对于用户在网站内寻找特定产品的消费者而言,使用多面导航可能会非常有用,但是您需要确保由于应用过滤器而生成的所有网址都不会阻碍原始类别页面在自然搜索结果中的表现。
虽然我们详细介绍了三个最常见的URL参数修复程序,但每个网站平台都有所不同,因此,在开始实施任何解决方案之前,您应该花时间逐案评估每种情况。
OH!