像Googlebot这样的网页抓取工具可以抓取网站的结构。其目的是对内容进行索引，从而返回搜索结果。越好的站点结构，对内容进行索引和获取的工具越容易。
获取工具不会自动找到您站点上的所有内容。google甚至承认，“[你的网站上有很多我们可能找不到的网页”，或者“google的正常抓取过程可能找不到的网址”。(这就是需要Sitemap的原因之一)。然而,,抓取工具将更加容易访问，抓取、索引并返回结构强大的网站页面。
好的网站结构是好SEO的核心——优化爬虫。
总之，你网站的组织为SEO的成功铺平了道路。实际上，如果没有一个好的网站架构，你就永远无法进行SEO。一个强有力的网站结构，为你的网站提供一个稳固的SEO基础，并能提供大量的自然搜索。

建立网站结构的六个步骤。
"层级"只是组织信息的一种方式——既简单又有意义。你的层次结构也会变成你的导航和网址结构，所以一切都从这里开始。
一般情况下，网站层次如下：
站点结构
一、使你的层级结构合乎逻辑。
过程不能过于复杂或过度。您希望简单，这不仅是为了您自己，而且也是为了便于获取工具和用户。每一大类都应独树一帜。每一个子类都应以某种方式与其所在的主类相关联。
2.创建一个URL结构，遵循导航层次结构。
发展一个强大的网站结构的第二个主要因素是你的网址结构。从逻辑上看，如果你考虑你的层级，这并不困难。URL结构与层次结构是一致的。