你有没有碰到这种情况?网站上线三个月,首页收了,内页一片灰,查来查去不知道问题出在哪。
我去年接了个本地鲜花店的站长咨询,就是这问题。最后翻遍后台才发现,他根本没做站点地图,更别说提交了。
什么是站点地图,给搜索引擎看的「导航清单」
很多新手会搞混,站点地图不是你网站底部给用户看的导航栏。
常见的站点地图分两种,一种是给搜索引擎爬虫读的XML格式,相当于你把网站所有要收录的页面整理成一份清单,放在那告诉爬虫:快来这抓,我所有内容都在这了。
另一种是给用户看的HTML格式,后面我会说。

站点地图不是列完页面就完事,几个细节要落地
第一个要注意,别把无效页面塞进站点地图。
什么是无效页面?标签聚合页、站内搜索结果页、重复内容页、已经删掉的旧页面,这些都没必要加。
我之前帮一个个人博客改配置,原来他把上千个标签页全塞进去,真正要推的原创文章才两百多篇。爬虫把大部分配额都花在抓无用页上,有用的反而没顾上。
后来删掉无效页面,半个月后新文章的收录速度明显提上来了。
第二个要注意,更新要及时。
不少人生成一次站点地图就扔那再也不管了,你天天更内容,站点地图还是半年前的,爬虫哪知道你加了新东西?
现在大部分建站工具都能开自动更新,比如WordPress常见的SEO插件都带这个功能,开了就行,不用手动折腾。
第三个要注意,一定要主动提交给搜索引擎。
不是把文件传到网站根目录就完事了,要去百度搜索资源平台、谷歌Search Console这些地方主动提交地址,还要定期去看看有没有读取报错。
上个月我帮一个企业站查收录问题,发现他们的站点地图格式错了,大半年百度都读不出来,等于白做。

别忘做给用户看的HTML站点地图

很多人只做了给爬虫的XML地图,把HTML地图忘了。
说白了就是单独做一个页面,把你网站的主要分类、核心页面都整理列出来,用户找不到内容的时候能直接从这跳,爬虫也能顺着这个链接把所有内页爬一遍,相当于双保险。
说实话,这个东西花半小时就能弄完,没必要省这点功夫。我之前帮一个测评博客加了HTML地图,几个月下来,核心内页的排名整体稳了不少,反正没坏处。
我踩过的坑是,早期我试过把所有页面不分好坏全堆进站点地图,结果爬虫抓了一堆垃圾内容,把主站的权重都拉低了,缓了好久才恢复。
这个办法笨但管用:只放你想让用户看到、想被收录的页面就够了。
站点地图的本质,就是帮搜索引擎降低爬取成本,不用搞花里胡哨的操作。因平台规则常变,建议以官方公告为准。
不同行业的站点地图细节差很多,比如电商站和个人博客的做法就不一样,你有具体场景问题,欢迎留言交流。
小提示:不要把返回404错误、或者已经设置了noindex不收录的页面放进站点地图,会浪费搜索引擎的爬取配额,影响有效页面的收录。