SEO优化怎么禁止蜘蛛爬取

[font=微软雅黑][size=3]

[/size][/font]

[align=left][font=微软雅黑][size=3][/size][/font][/align][align=left][font=微软雅黑][size=3]

许多站长都说，公司网站不好做，那是因为许多公司网站会在规划上对搜索引擎来说很不友爱，晦气于蜘蛛匍匐和抓取，这些技能被称为蜘蛛圈套。所以作为公司站一定要尽量防止蜘蛛圈套。榜首、FLASH 有的网站整个主页即是一个很大的flash，这就构成了蜘蛛圈套。搜索引擎住宅区的html代码只要一个链向flash文件的连接，没有其他文字内容。如果你想成为一个SEO技术大牛，你可以加这个裙 : 425，五七一，206。这里每天都有SEO大牛免费分享网站优化技术，也有很多一起学习SEO的小伙伴跟你一起学习进步，并不需要你付出什么，只要你是真心想学习的就可以加入。

还有网站在主页的banner就运用一个flash，并且增加活动连接，尽管对用户来说能够直观的看到活动内容，可是关于蜘蛛来说，就无法辨认，并且抓取不到flash的链向地址。第二、Session ID 有些网站运用sission ID（会话ID）盯梢用户拜访，每个用户拜访都会生成一个共同仅有的session ID，加在URL中。搜索引擎蜘蛛的每一次拜访也会被当成一个新的用户，URL中会加上一个不相同的session ID，这样搜索引 擎每次来拜访时所得到的同一个页面的URL将不相同，后边带着一个不相同的session ID。这也是最常见的蜘蛛圈套之一。第三、各种跳转 除了301跳转以外，搜索引擎蜘蛛对其他方法的跳转都对比灵敏，如302跳转，javascript跳转、meta refresh 跳转。

若是有必要转向，301转向是搜索引擎引荐的、用于网站更改的转向，能够吧页面权重从旧网址转移到新网址。其他的转向方法都对蜘蛛匍匐晦气。所以除非万不得已，尽量不要运用301转向以外的跳转。第四、结构结构 运用结构结构规划页面，在网站诞生前期从前听盛行，可是如今网站现已很少运用结构了，晦气于搜索引擎抓取是结构越来越不盛行的重要原因之一，关于搜索引擎来说，拜访一个运用结构的网址所抓取的html只包括调用其他html文件的代码，并不包括任何文字信息。搜索引擎无法判别这个网址的内容是什么。

总归，若是你的网站还在运用结构，或许你的老板要运用结构结构，仅有要记住的是，忘掉运用结构这回事。和Flash相同，别浪费时间研讨怎样让搜索引擎录入结构结构网站。第五、动态URL 动态URL值的是数据库驱动的网站所生成的、带有问号、等号及参数的网址。一般来说动态URL晦气于搜索引擎蜘蛛匍匐，大概尽量防止。尽管baidu如今现已能够辨认动态URL了，可是也不能确保百分百能辨认。第六、javaScript连接

因为javaScript能够创再出许多吸引人的视觉效果，有些网站喜爱运用javascript脚本生成导航系统。这也是对比严重的蜘蛛圈套之一，尽管搜索引擎都在测验解析JS脚本，不过咱们不能寄期望与搜索引擎自个去客服艰难，而要让搜索引擎盯梢匍匐连接的作业尽量简略简单。

jacascritp连接在SEo中也有特别用处，那即是站长不期望被录入的页面，比期望被baidu抓起的连接，能够运用javascript脚本阻碍搜索引擎蜘蛛匍匐第七、需求登录 有些网站的内容需求用户登录后才干看到的页面，这部分内容搜索引擎是无法看到的。这个要注意断定是不是是需求登录今后才干看到。第八、强行运用cookies

许多网站为了完成某种功用，强行运用cookies,用户浏览器若是没有启用cookies，页面显现不正常。搜索引擎蜘蛛就相当于一个制止了cookies的浏览器，强行运用cookies只能形成搜索引擎蜘蛛无法正常拜访。[/size][/font][/align]

1、提取文字现在的搜索引擎还是以文字内容为基础，蜘蛛抓取到的页面中的HTML代码，除了用户在浏览器上可以看到的可见文字处，还包含了大量的HTML格式标签，JavaScript程序等无法用于排名的内容，搜索引擎预处理首先要做的就是从HTML文件中去除标签、程序，提取出可以用于排名处理的网页面文字内容

2、中文处理分词是中文搜索引擎特有的步骤

搜索引擎存储和处理页面及用户搜索都是以词为基础的

英文等语言单词与单词之间有空格分隔，搜索引擎索引程序可以直接把句子划分为单词的集合

而中文词与词之间没有任何分隔符，一个句子中所有字和词都是连在一起的

搜索引擎必须首先分辨哪几个词组成一个词，哪些字本身就是一个词

比如“公务员考试”将被分词为“公务员”和“考试”两个词

3、去停止词无论是英文还是中文，页面内容中都会有一些出现频率很高，却对内容没有任何影响的词，如“的”、“地”、“得”之类的助词，“阿”、“哈”、“呀”之类的感叹词，“从而”、“以”、“却”之类的副词或介词

这些词被称为停止词，因为它们对页面的主要意思没什么影响

英文中的常见停止词有the,a,an,to,of等

4、去除噪音绝大部分页面上还有一部分内容对页面主题也没有什么贡献，比如版权声明文字，导航条、广告等

以常见的博客导航为例，几乎每个博客页面上都会出现文章分类、历史存档等导航内容，这些页面本身与“分类”、“历史”这些词都没有任何关系

用户搜索“历史”、“分类“这些关键词时仅仅因为页面上有这些词出现而返回博客贴子是毫无意义的，完全不相关

所以这些区城都司于噪声，对页面主题只能起到分散作用

5、去重去重的基本方法是对页面特征关系词计算指指纹，也就是说从页面主体内容中选取最有的一部分关键词（经常是出现频率最高的关系词），然后计算这些关键词的数字指纹

这些关键词选取是在分词、去停止词、消噪之后

6、正向索引7、倒序索引8、链接关系计算页面上有哪些链接指向哪些其他页面，每个页面有哪些导入链接，链接使用了什么锚文字，这些复杂的链接指向关系形成了网站和页面的链接权重9、特殊文件处理除了HTML文件外，搜索引擎通常还能抓取和索引以文字为基础的多种文件类型，如PDF、Word、WPS、XLS、PPT、TXT文件等

我们在搜索结果中也经常会看到这些文件类型

但目前的搜索引擎还不能处理图片、视频、Flash这类非文字内容，也不能执行脚本和程序

什么是SEO优化蜘蛛陷阱？搜索引擎蜘蛛陷阱有着怎样的危害呢？我们又该如何去避免这些蜘蛛陷阱呢？今日成都SEO小刚就和大家聊聊关于如何避免SEO优化蜘蛛陷阱的那些事儿。什么是SEO优化蜘蛛陷阱？

有一些网站设计做的对于搜索引擎来说很不友好，就导致了不利于蜘蛛的爬行和抓取，其实这样就构成了一个蜘蛛陷阱。官方说法，“蜘蛛陷阱”是阻止蜘蛛程序爬行网站的障碍物，通常是那些显示网页的技术方法，目前很多浏览器在设计的时候考虑过这些因素，所以可能网页界面看起来非常正常，但这些蜘蛛陷阱会对蜘蛛程序造成障碍，如果消除这些蜘蛛陷阱，可以使蜘蛛程序收录更多的网页。SEO工作中，网页被收录是基础工作，但对于搜索引擎来讲，极少情况会100%收录你网站的所有网页，搜索引擎的爬虫程序设计的再精巧，也难以逾越所谓的蜘蛛陷阱。

搜索引擎蜘蛛陷阱有着怎样的危害呢？

搜索引擎蜘蛛陷阱导致了不利于蜘蛛的爬行和抓取，从而导致网站收录情况不佳，最终影响网站关键词排名。

搜索引擎蜘蛛陷阱的主要类别

1、登录要求

有些企业站和个人站的设置一定要注册登录后才能看到相关的文章内容，这种对蜘蛛不是很友好，蜘蛛不会注册、也不会登录。

2、动态URL

什么叫动态URL、什么叫静态URL，简单的说就是带有问号、等号及参数的网址就是动态URL，动态URL不利于搜索引擎蜘蛛的爬行和抓取。

3、强制用Cookies

部分站长为了让用户记住登陆信息，强迫用户使用Cookies如果未开启，则无法进行访问，访问页面显示的也不会正常，这种方式会让蜘蛛无法进行访问。

4、框架结构

首先各位站长你知道什么叫框架结构的世界吗？如果你不知道恭喜你，这个蜘蛛陷阱你已经躲避了，也不要去了解，所以有关框架结构的设计不做任何的介绍。虽然说框架结构对网站的维护和更新有一定的方便性。它不利于搜索引擎蜘蛛抓取。这也就是现在框架结构不流行的因素之一。

5、各种跳转

对搜素引擎来说只对301跳转相对来说比较友好，对其他形式的跳转都是比较敏感，例如：JavaScrit跳转、MetaRefresh跳转、Flash跳转、302跳转。

有些网站的做法很让人无奈，当你打开网页后会自动转向其他页面，就算打开的页面和你要找的页面主体先关也算过得去。但是很大部分的网站转向让你无任何理由和目的这种转向不推荐大家使用，如果你非要做转向，只推荐用301永久跳转，可以将权重进行传递，除了此转向其他都不推荐，因为很多的占用其他转向欺骗用户和搜索引擎，也是heimao的一种手段，所以建议大家不要使用，以免网站被K。

6、Flash

有的网站页面使用Flash视觉效果是很正常的，比如用Flash做的Logo、广告、图表等，这些对搜索引擎抓取和收录是没有问题的，很多网站的首页是一个大的Flash文件，这种就叫蜘蛛陷阱，在蜘蛛抓取时HTML代码中只是一个链接，并没有文字，虽然大的Flash效果看上去很好，外观看着也很漂亮，但可惜搜素引擎看不到，无法读取任何内容所以为了能体现网站优化的最好效果，不提倡这种Flash做首页图片。

7、Javascript链接

因为JS有很多吸引人们眼球的惊人的各种效果，很多站长呢，就用Javascript脚本做一些导航。其实，Javascript同样也是比较严重的蜘蛛陷阱之一。

有的搜索引擎是可以获得Javascript上的链接，甚至可以执行脚本并跟踪链接。但对于一些权重比较低的网站来说，还是大可不必浪费时间，不如多更新一些高质量的文章，多做几个外链。

8、Session ID

如果我们的网站使用Session ID跟踪用户访问，这样就会出现一种现象，搜索引擎每一次访问我们的页面时出现一个不一样的Session ID，即使访问的是同一个页面，它也会出现不一样的ID，但是内容却是一样的，就形成了大量的重复性内容，这也就形成了一个蜘蛛陷阱，也不利于网站的优化。那么我们通常建议大家使用cookies而不要生成Session ID。

如何避免搜索引擎蜘蛛陷阱？

1、采用session id的页面，有的销售类站点为了分析用户的某些信息会采用会话ID来跟踪用户，访问站点的时候每个用户访问都会增加一次session id而加入到URL中，同样蜘蛛的每一次访问也会被当做为一个新用户,每次蜘蛛来访问的URL中都会加入一个session id，这样就会产生了同一个页面但URL不同的情况，这种的一来会产生复制内容页面，造成了高度重复的内容页，同时也是最常见的蜘蛛陷阱之一。比如说有的网站的为了提高销售业绩，而进行弹窗会话等，比如说您好来自XXX地的朋友等。

2、常识性的蜘蛛陷阱，采用强制注册或登录才能访问的页面，这种的对于蜘蛛来说就相当为难了，因为蜘蛛无法提交注册，更无法输入用户名和密码登录查看内容，对于蜘蛛来说我们直接点击查看到的内容也是蜘蛛所能看到的内容。

3、喜欢采用flash的站点，之所以说是喜欢采用flash的站点是因为对于一些中小型企业来说，因为flash本身可以做很多种效果，尤其是放在导航上视觉效果强，所以不少企业站喜欢弄个flash来展示自己公司的实力，文化，产品等，甚至一些企业站点的网站首页就是一个flash，要么是在多长时间后通过flash跳转到另外一个页面，要么就是通过flash上的链接让用户自己点击后进入一个新的页面，但是对于蜘蛛来说一来是很难读取flash中的内容，所以蜘蛛也很难点击flash上的链接。

4、动态URL，在url中加入过多的符号或者网址参数等，这种蜘蛛陷阱我在url优化中曾经有提到，虽然说随着搜索引擎的的技术发展，动态url对于蜘蛛的抓取已经越来越不是问题了，但是从搜索引擎友好度上来讲，静态哪怕是伪静态url相对来说都比动态url要好，可以看下很多SEO同行对于url中的处理方式。

5、框架，在早期框架到处被泛滥使用，而现在框架网页很多网站已经很少使用了，一是因为现在随着各大CMS系统的开发问世，网站维护相对也越来越简单了，早期网站使用框架是因为对网站页面的维护有一定的便利性了，现在已经大可不必了，而且不利于搜索引擎收录也是框架越来越少被使用的原因之一。

6、JS，虽然现在搜索引擎对于javascript里的链接是可以跟踪甚至在尝试拆解分析的，但是我们最好不要寄望于搜索引擎自己克服困难，虽然说通过js可以做一些效果不错的导航，但是css同样可以做到；为了提高网站对搜索引擎的友好度建议使网页能够更好的蜘蛛爬行，就尽量不要采用js，当然在seo中，js有一个好处就是站长不希望被收录的页面或者友情链接可以采用js。还有一种方法可以消除JavaScript 蜘蛛程序陷阱，即使用标签。标签是为不支持JavaScript 的浏览器提供备选的代码。蜘蛛程序不会执行JavaScript, 因此他们通过处理代码来代替。

7、深层次的网页，有的网页没有入口，而且距离网站的首页又很远，这种页面就相对较难被蜘蛛爬行到，当然对于那些权重高的网站可能会另当别论了。网站的页面要被收录，首先要需要基本的权重，首页的权重一般是最高的，然后首页的权重是可以传递到内页的，当内部页面的权重上升到可以被收录的门槛，页面就会被收录，按照这种理论，页面之间的权重传递是会递减的，内页和首页的点击距离越近，越容易得到更多的首页权重传递。良好的网站结构可以让网站更多的页面被收录。

8、强制使用cookies，对于搜索引擎来说是相当于直接禁用了cookies的，而有些网站为了实现某些功能会采取强制cookies，比如说跟踪用户访问路径，记住用户信息，甚至是盗取用户隐私等，如果用户在访问这类站点时没有启用cookies，所显示的页面就会不正常，所以对于蜘蛛来讲同样的网页无法正常访问。

9、各种形式的跳转，对于301重定向相信很多seo童鞋已经非常熟悉了，但是对于其他302，或者meta refresh，javascript，flash等跳转，蜘蛛是很反感的，而且301也是不到万不得已的时候采用，任何跳转都会在一定程度上给蜘蛛的爬行带来障碍，所以你懂得。

10、robots.txt书写错误和各种各样的作弊手法，比如说隐藏文字，隐藏链接等，采用伪装网页在判断来访者是蜘蛛还是普通浏览器者而显示不同的网页，使用默认错误的404页面等，同样会给蜘蛛带来爬行障碍。

11、要求登录：有些网站内容放在需要用户登录之后才能看到的会员区域，这部分内容搜索引擎无法看到。蜘蛛不能填写用户名、密码，也不会注册。