伴随网站SEO,大家不完全了解搜索引擎怎么样形成网站的爬行频次,所有博主对互联网的内容进行整理得到搜索引擎借助以下两个原因来确定爬网频次:受青睐程度 – 更受青睐的网页会更频繁地抓取;陈旧 –搜索引擎不会让有关的网页的信息过时,对于网站管理员,这意味着假如网页内容常常更新,搜索引擎会尝试更频繁地抓取网页。假设一个网站的抓取频次与反向链接的数目与该网站在搜索引擎眼中的重要程度成正比 – 搜索引擎期望确保非常重要的网页仍然是最新的指数。
内链呢?你能否通过指向更多内链来增加特定页面的抓取速度?为了回答这类问题,我决定检查内链和外链之间的关联与抓取统计信息,我采集了11个网站的数据并进行了简单的剖析,简而言之,这就是我所做的。我为将要剖析的11个站点创建了项目,我计算了指向这类网站每一个网页的内链的数目,下面,我运行了网站优化 Spyglass并为相同的11个站点创建了项目,在每一个项目中,我检查了统计信息并复制了带有指向每一个页面的外链数的锚URL。
然后,我剖析了服务器日志中的抓取统计信息,以知道搜索引擎每次访问每一个网页的频率。最后,我将所有这类数据放入电子表格中,并计算内链和抓取预算与外链和抓取预算之间的关联。我的数据集证明蜘蛛访问次数和外链数目之间有非常强的有关性(0,978),同时,蜘蛛命中和内链之间的有关性被证明是很弱的(0,154),这表明反向链接比网站链接更要紧。这是不是意味着提升抓取频次的唯一办法是构建链接并发布新内容?假如大家正在讨论整个网站的朱雀频次,我会说是:增加链接并常常更新网站,并且网站的抓取频次将按比率增长。
但,当大家采取单独的页面,它将变得更有趣,正如你将会在下面的介绍中看到的那样,你甚至可能在没意识到的状况下浪费很多的抓取频次。通过巧妙地管理频次,你一般可以将单个网页的抓取次数加倍 – 但它仍然会与每一个网页的反向链接数成比率。
以上就是《怎么样分配搜索引擎的抓取频次?》的全部内容,仅供站长朋友们互动交流学习,网站排名优化是一个需要坚持的过程,期望大伙一块一同进步。