新链接重要程度判断

发布：2017-12-21 18:22:25 浏览：3050

上面介绍了影响Baiduspider正常抓取的原因，下面介绍Baiduspider的一些判断原则。在建库环节前，Baiduspider会对页面进行初步内容分析和链接分析，通过内容分析决定该网页是否需要建索引库，通过链接分析发现更多网页，再对更多网页进行抓取—一分析是否建库&发现新链接的流程。理论上，Baiduspider会将新页面上所有能“看到”的链接都抓取回来。那么，面对众多新链接，Bartender根据以下两个方面判断哪个更重要。

(1)对用户的价值

①内容独特，百度搜索引擎喜欢unigue的内容。

②主体突出，切不要出现网站制作主体内容不突出而被搜索引擎误判为空短页面不抓取的情况。

③内容丰富。

④广告适当。

(2)链接的重要程度

①目录层级——浅层优先。

②链接在站内的受欢迎程度。