新闻资讯

首页  >  新闻资讯  >  SEO优化

如何让搜索引擎不要抓取没用的页面

  • robots文件
robots.txt概念
如果我们网站内有某些特殊的文件不让搜索引擎收录,那怎么办? 答案是:使用一个叫做robots.txt的文件。 robots.txt文件告诉搜索引擎本网站哪些文件是允许搜索引擎蜘蛛抓取,哪些不允许抓取。搜索引擎蜘蛛访问网站任何文件之前,需先访问robots.txt文件,然后抓取robots.txt文件允许的路径,跳过其禁止的路径。
| 什么是robots文件?
Robots是站点与spider沟通的重要渠道,是网站与搜索引擎爬虫之间的协议,告知哪些可抓取哪些不允许。

| 为什么要做robots文件?
网站上总有一些页面是禁止蜘蛛抓取的。例如:搜索页面、筛选页面、后台登录地址等。

| 如何制作 robots文件?
编写robots.txt文件并上传到网站根目录。
4种常见的robots文件用法实例

| 制作 robots.txt注意事项
● 所有搜索引擎则用星号表示
● Allow(允许)和Disallow(不允许)优先级
● 至少屏蔽一个,可以屏蔽:搜索结果页面/404页面
● 记得将sitemap放到Robots文件中
● 可以陆续放入更多,而不是一次性决定所有
● 网站后台地址/图片地址/下载文件地址/错误链接