robots.txt - 宁波智森网络公司
    Jan252010

    如何建立一个robots.txt文件

    大家先了解下robots.txt文件是什么，有什么作用。 搜索引擎爬去我们页面的工具叫做搜索引擎机器人，也生动的叫做“蜘蛛” 蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。这个文件其实就是给“蜘蛛”的规则，如果没有这个文件，蜘蛛会认为你的网站同意全部抓取网页。 Robots.txr文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以爬取（收录），哪些页面不能爬取...阅读全文
    作者：Jacky | 分类：搜索引擎营销/SEM | 阅读：11,429 次阅读 | 标签：
    抢沙发

在线客服
行程计划在线客服