浅谈：改进抓取和索引的技巧
一旦网站上线或者是超过某个年龄之后，大部分网站管理都会忽视抓取预算，通常都是过段时间后，才会去注意网站，而这时 Read more about 浅谈：改进抓取和索引的技巧[…]
标签：搜索引擎抓取
看完秒懂robots.txt写法和注意事项
robots.txt直接放在网站根目录下，是蜘蛛访问网站时，第一个抓取的文件。robots.txt是告诉蜘蛛网 Read more about 看完秒懂robots.txt写法和注意事项[…]
如何处理网站误封Robots
编者注：robots文件是搜索生态中很重要的一个环节，同时也是一个很细节的环节。很多站长同学在网站运营过程中，很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失!接下来就由小编为大家介绍。 […]
