蜘蛛陷阱就是网站页面表面看起来很正常,但是蜘蛛程序爬行网站的时候,因为遇到障碍物,并不能真正的爬行。
网站网页收录是SEO的基础工作,搜索引擎的爬虫程序设计的在怎么精巧,遇到蜘蛛陷阱,也难以正常爬行蜘蛛陷阱。
网站程序设计中,哪些做法不利于蜘蛛爬行、抓取?蜘蛛陷阱该如何避免?
(1)网站有用户登录设置
有些网站,用户进入网站只能看到基础信息,想要看到更多的信息或享受更多其他权限,就需要注册,输入用户名和密码,才能登录查看。这对于用户来说,在该网站查询信息不方便。其实,蜘蛛看到的内容跟用户看到的是一样的。所以,如果您的网站是为了做品牌,或者做营销推广而做。请取消网站用户登录。
(2)URL是动态的
动态URL就是打开该网页,网页地址有很多的符合或者网址参数。这种网页不利于蜘蛛的爬行,也就是说搜索引擎友好度不高。实在不行,可以做伪静态,大多数做静态网页更好。
(3)强制Cookies
我们在网上打开有些网页的时候,会提示强制Cookies。不管是哪一种,强制Cookies,可能会有跟踪用户访问路径,记住用户信息,盗取用户隐私。用户如果访问此类站点没有启用Cookies,该网页显示不正常。蜘蛛也是不能正常访问此网页。
(4)框架结构
现在很多做网站的,都已经不用框架结构了。不利于搜索引擎收录,虽然有很少的人可能在用,但基本很少了。
(5)各种各样的跳转
如果非要说跳转,相对来说,301跳转对搜索引擎比较优化。其他形式的跳转,如JavaScritp跳转、Flash跳转、MetaRefresh等跳转,都是比较敏感的。
很多跳转都是跳转到不相关页面,对用户和网站都来说,没有什么价值。如果非要做,建议做301跳转,还可以传递权重。
(6)Flash
网站页面首页Llash不但可提高页面质量,还可以提升用户体验。比如广告、图片等。如果网站的首页有一个打的Flash文件,就影响网站收录,因为这是一个链接,影响搜索引擎抓取和收录。
相对来说,现在的搜索引擎技术是越来越先进了,还是有很多不必要的蜘蛛陷阱要避免。除了上面说的这些,还有采用session id页面等蜘蛛陷阱操作。能避免尽量避免,如不能避免,也尽量多做利于搜索引擎的处理工作。这样,我们的网站,SEO工作才会做得更好!