那么，网站中究竟有什么东西，会使得搜索引擎蜘蛛望而止步呢？

第一：flash。相信，这个许多网站都会有的。为了让用户体验更好，网站看起来更加的美观，放大量的flash动画。‘大量’，我这里说的是大量哦。大量的flash动画造成的后果只有一个，那便是搜索引擎蜘蛛是抓取到了你的网页，但是。在抓取后的预处理这一块，犯难了。因为提取不到一个中文文字。没有中文文字，搜索引擎蜘蛛怎么会知道抓到的网页的内容什么啊。特别是，用flash做成的导航，最危险了。

第二：Session ID。这个，少部分的网站可能会用。网站一旦使用了Session ID后，每一个访问者来到你这个网站中都会产生一个不同的ID号。搜索引擎蜘蛛也是如此。那么，一旦第一次搜索引擎蜘蛛来过，抓取过你网站的URL地址后。下一回它来，Session又会给蜘蛛一个不同的ID号，蜘蛛又会重复抓取一遍你的网站，但是URL不一样。这样造成的后果便是，搜索引擎蜘蛛会认为你这个网站中有大量重复的内容。会对你的网站越来越不感兴趣，最后都不来了。对于非要使用Session ID的网站，避免的方法是让程序员设计出来一套专门识别搜索引擎蜘蛛的代码。区别开是蜘蛛还是用户。