上周帮一个开建材店的老板看网站,他说为啥我发的产品页总不收录?
点进去一看,同一个产品页,带不带index.html、带不带www、带不带尾巴斜杠,三个不同的地址都能打开。
这就是典型的没做URL标准化。
说人话:URL标准化就是同一个内容只留一个官方访问地址
搜索引擎爬站的时候,要是同一个内容能从好几个地址进去,它分不清楚哪个是你要推的正版。
最后要么拆分页面权重,谁都排不上去,要么直接判定重复内容,干脆不收录。

第一步其实很简单,先把你的主域名定下来,选带www或者不带www都可以,定好之后把另一个做301永久跳转。
早年帮一个做鲜花订阅的个人站长处理过这个问题,他原来两个域名都能访问,半年多核心内页的权重一直涨不上去,改完跳转统一地址,三个月后有效收录涨了三成左右。
定完主地址,全站所有内链都要用统一格式,别一会用绝对路径带www,一会用相对路径,平白无故给搜索引擎添乱。
动态URL一定要改成静态吗?别瞎折腾
说实话,好多新手被老教程坑了,十年前搜索引擎可能抓不动动态URL,现在早就不一样了。
带参数的动态URL只要不是重复内容,完全可以正常收录,我见过不少日流量几十万的站点,照样用动态URL。
不过话说回来,如果你的站点是电商或者资讯站,有大量筛选参数,同一个内容生成了几十上百个带不同参数的URL,那必须处理。
常见的做法是把没用的参数用robots.txt屏蔽,或者给官方地址加canonical标签声明版权。
去年有个做小众电商的客户,光筛选排序就生出几千个重复页,屏蔽掉没用的sort参数之后,两个月有效收录涨了不少。

两个最容易被忽略的小细节,踩坑的人真不少

第一个就是URL结尾的斜杠。比如https://xxx.com/blog 和 https://xxx.com/blog/ ,服务器没配置的话,这就是两个完全不同的页面。
我早年自己做个人博客,一开始没在意这个,结果两个地址都被收录了,后来改完统一跳转,花了两个多月才把错的收录清理干净,踩过的坑是真疼。
第二个就是canonical标签,很多人觉得只有做了多个URL才用,其实哪怕你已经做了301跳转,给正式页面加一个,相当于给搜索引擎再递一张名片,没坏处。
尤其是大型站点,不可能一个一个改跳转,批量加canonical标签,这个办法笨但管用。
核心原则就是,让搜索引擎清楚知道哪一个是你想要展示的正式页面。
搜索引擎规则常有变动,建议以官方公告为准。
不同行业细节不同,你遇到什么具体场景,欢迎留言交流。
小提示:不要为了追求静态URL,把已经收录的旧URL全部改掉后不做301跳转,这会直接导致原有收录批量丢失。