网律营销官网

　　蜘蛛陷阱可能很多律师都没有听过，什么是蜘蛛(又叫爬虫)?我们拿百度来举例，百度蜘蛛是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容，然后分门别类建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。

　　蜘蛛陷阱是阻止百度蜘蛛(当然还有google、搜狗等蜘蛛)爬行网站的障碍物或者说是干扰物，很多蜘蛛陷阱是人为的，也有很多是不小心造成的，既然是蜘蛛陷阱那就是对于蜘蛛的陷阱，对用户是没有影响的，所以可能网页界面看起来非常正常，但里面就有可能存在蜘蛛陷阱。

　　如何消除这些蜘蛛陷阱，可以使蜘蛛更好的在网站内部爬行抓取页面，那就先让我们的律师朋友来看一下常见的9种蜘蛛陷阱!

　　1. Flash动画

　　有的朋友会问，为什么Flash是蜘蛛陷阱的一种，其实这个问题很简单，就是因为蜘蛛识别不了Flash，很多网站喜欢在首页做一个Flash动画然后再跳向HTML页面，当事人访问网站看完flash后被转向真正的HTML网页。但搜索引擎蜘蛛是不能通过这个Flash跟踪到HTML版本页面的。这就是一个陷阱，阻挡了蜘蛛继续抓取网站内容。如果Flash效果是必需的，律师营销网建议在首页Flash文件之外加上一个通往HTML版本的链接，这样蜘蛛可以跟踪这个链接抓取后面得HTML页面。

　　2. JS链接

　　Javascript可以设计出很多吸引人的视觉效果，而有些律师网站用Javascript脚本生成网站栏目导航。这也是比较严重的蜘蛛陷阱之一。蜘蛛对于js也是识别不了的，对于js特效可以加入网站，也可以将不需要被抓取的链接放入js，但是需要进行蜘蛛爬行抓取的链接一定不能放入JS，这会造成蜘蛛不能继续爬行更多的网站内容。

　　3. 动态URL

　　蜘蛛是可以抓取部分动态URL链接的，但是动态URL是由程序+数据库直接生成的，带了问号、等号等多个参数。这类网址不仅不利于搜索引擎蜘蛛爬行，而且还可能造成蜘蛛的死循环，这是一个致命的蜘蛛陷阱，我们建议网址静态化或者设置静态化URL重写。

　　4. Session ID

　　有些网站为了跟踪当事人访问而使用Session ID，每个当事人访问网站时都会生成独特且唯一的Session ID。这个ID都是加在URL中的，搜索引擎蜘蛛的每一次访问也会被当成一个新得当事人在URL中会加上一个不同的ID,这样蜘蛛每次来访问时所得到的同一个页面会是一个不一样的URL。结果就会产生复制内容页面，造成了高度重复的内容页。

　　5. Frame框架

　　框架结构对蜘蛛来说和Flash、js一样都是一道墙，框架结构也会阻碍搜索引擎蜘蛛的爬行和抓取，让蜘蛛掉进陷阱。

　　6. 要求登录

　　这个是很常见的，有些网站内容放在需要当事人登录之后才能看的到，有的甚至整个网站只能登陆后才能看，这对于当事人当然没什么，而对于蜘蛛就造成陷阱，为什么?因为蜘蛛不能填写当事人名、密码、也不会注册，自然蜘蛛就不能进来抓取网站的内容。除非是VIP内容或者是不需要蜘蛛抓取的内容，否则应该对蜘蛛公开，这样才能多抓取到页面。

　　7. 强制使用Cookies

　　有些网站为了实现某种功能、如记住当事人登录信息、跟踪当事人访问路径等、强制当事人使用Cookies、当事人浏览器如果没有启用Cookies、页面显示不正常。搜索引擎蜘蛛就相当于一个禁用Cookies得浏览器、强制使用Cookies只能造成搜索引擎蜘蛛无法正常访问

　　8.各种跳转

　　目前建议的网站跳转是301、302重定向，而其它跳转，蜘蛛是非常的敏感。因为黑帽最喜欢用跳转这种手段了，黑了别人的网站，然后在别人的网站上挂上一个指向自己网站的跳转。像js跳转、代码跳转等都不建议大家随便用，特别是如果在做404页面一定要用代码跳转，那建议时间在5秒以上。

　　9.网站链接结构

　　对于蜘蛛而言，我们主要说的就是网站的链接结构，其实网站的链接结构就等于一个房子，链接就是门，而蜘蛛就是我们邀请而来的朋友，网站链接结构槽糕混乱就相当于朋友来到你家后根本就分不清楚东南西北，找不到入口出口。连对应的链接都找不到，蜘蛛怎么进行抓爬?所以链接结构还是需要呈扁平树状结构。

　　知道了这些可能的蜘蛛陷阱，律师朋友以后就要注意别在建站的过程中给蜘蛛搭陷阱了，现在赶紧去看看您的网站是否存在这些蜘蛛陷阱吧。