| 在网站优化中，蜘蛛、机器人和爬虫大体上讲的是同一种东西，在这里我们统一用“爬虫”来称呼他们。 爬虫是一种程序，或者是一段自动化的脚本，它在网上永不停歇地跑到各个网站上去。爬虫通过它们所流览的网页上面的链接从一个URL地址爬到另一个URL地址。 主流搜索引擎接连不断地将它们的爬虫派出去浏览广阔的互联网。爬虫首先找到各个页面，然后把页面上的文本和代码复制并储存在它们巨大的索引服务器上，这个过程叫做爬行。这个巨大的索引，实际上就是一个包含搜索引擎爬虫可以成功访问到的所有网站页面的数据库。该索引被用来作为当你搜索时，可以非常快速地得到一个结果的仓库。当您在搜索引擎上搜索词并提交时，您实际搜索的是搜索引擎所索引的全部内容，而不是当时互联网的实际内容。 当然，网站建设中网页会发生变化。有时，网页和网站的变化周期非常短。除此以外，新的网站和网页随时都在快速出现。这也是为什么爬虫始终都在那里不停地爬行，一遍又一遍地浏览网页，并且建立和更新搜索引擎的索引信息。 爬虫看到的网页内容和一般的访问者看到的是完全不同的。如果您想查看爬虫看到的某个网页的内容是什么，您可以使用IE浏览器来访问它，然后按下Ctrl+A组合键，把内容复制下来，也就是爬虫所看到的内容。 首页也是最重要的是，爬虫将它们爬过的每个页面的字和词组合起来。它们索引文本和链接。当您在搜索框中输入一个词时，搜索引擎尽量精确地找出和搜索词组最匹配的网页。 所以，任何网站优化工作第一步的重要部分就是让爬虫更容易发现和爬行您的网站。如果您的网站没被爬虫爬过，它们也就不会建立关于您网站的搜索引擎索引。链接和网站建设中精心设计的网页、栏目与其他网站内容和栏目之间建立桥梁。这将给爬虫提供清晰的爬行道路。 创建sitemap 建立sitemap是帮助搜索引擎爬虫抓取网站的最简单的方法之一。sitemap是一个给爬虫提供网站内容的URL清单。sitemap中还包含了针对每个URL的附加信息，例如指定网页的最近更新时间、更新频率，以及相对网站上其它内容的重要度等。 sitemap所提供的信息可以帮助爬虫更智能的抓取网站。需要注意的是，没有任何一家搜索引擎保证sitemap所提交的URL都会被抓取或者被索引。 sitemap对于那些不容易被直接浏览到的网站来说是十分有用的，请记住爬虫只是根据链接来爬取信息的，而通常情况下，这样的信息缺乏链接接向。 |
