robots.txt
精贴
置顶
3936
0
robots.txt是什么？
有没有想过，如果我们某个站点不让百度和google收录，那怎么办？
搜索引擎已经和我们达成一个约定，如果我们按约定那样做了，它们就不要收录。
这个写约定的的文件命名为:robots.txt。
robots.txt是一个最简单的.txt文件，用以告诉搜索引擎哪些网页可以收录，哪些不允许收录。
关于robots.txt一般站长需要注意以下几点：
- 如果你的站点对所有搜索引擎公开，则不用做这个文件或者robots.txt为空就行。
-
必须命名为：robots.txt，都是小写，robot后面加"s"。
-
robots.txt必须放置在一个站点的根目录下。如：通过http://blog.0579skys.com/robots.txt 可以成功访问到，则说明本站的放置正确。
-
一般情况下，robots.txt里只写着两个函数：User-agent和 Disallow。
-
观察这个页面并修改为自己的：http://blog.0579skys.com/robots.txt
-
有几个禁止，就得有几个Disallow函数，并分行描述。
-
至少要有一个Disallow函数，如果都允许收录，则写: Disallow: ，如果都不允许收录，则写:Disallow: / （注：只是差一个斜杆）。
补充说明：
User-agent: * 星号说明允许所有搜索引擎收录
Disallow: /links.html 说明 http://blog.0579skys.com/links.html 这个页面禁止搜索引擎抓取。
Disallow: /index.aspx? 说明类似这样的页面http://blog.0579skys.com/detail.aspx?id=287 禁止搜索引擎抓取。
相关文章：
今日天气
···
···
···
···
近一月回答榜 - TOP 12
wuxuxiao
钻石VIP
qwe2466985
超级会员
yu_rebecca
黄金会员
wuxiao2882
青铜会员
a448155162
普通会员
messi
普通会员
85xinxi
普通会员
fushang369
普通会员
wawa512com
普通会员
zhuangjunhua
普通会员
ucase
普通会员
xuchunyun
普通会员
博客标签
- 热门排行
- CSS cursor鼠标样式一览表 2012-06-25
- .NET后台写JS代码 2011-11-03
- 网站地址多出jdfwkey的问题解析及... 2010-08-25
- 数据库xxx的日志已满,请备份该数... 2013-07-19
- 百度、google、Yahoo网站地图制作... 2011-01-30
- <a>标签的伪类书写顺序问题... 2010-09-04
- 什么是长尾关键词？ 2010-09-24
- CEO名言 2010-08-31
- Mysql 主从数据库同步 2010-09-12
- 用ASP实现网页BBS 2010-11-01
- 博主推荐
- 本个人博客微信公众平台上线啦~~... 2013-10-13
- 饼哥网络互联上线啦~~要买域名空... 2013-09-20
- 网站title标题如何正确修改不会被... 2013-08-26
- 饼哥通讯录系统上线啦，欢迎大家... 2013-08-24
- ASP .NET MYSQL 的简单分页 并不... 2013-08-19
- 网站有弹窗广告这样的站点，百度... 2013-08-17
- 做淘宝SEO优化需要注意的8大问题 2013-08-17
- 淘宝网怎么做SEO优化 2013-08-17
- 站长们要学习的“苍井空精神” 2013-08-17
- 苹果公司今日发布了iOS 7第五个开... 2013-08-07
- 随便看看
- 饼哥通讯录系统上线啦，欢迎大家... 2013-08-24
- .Net中正则表达式 2013-08-22
- Java中Robot类的使用方法介绍 2013-06-24
- 搜索引擎对待英文字母大小写的区... 2013-08-30
- 其它的ASP常用组件 2010-10-22
- ViewState及其加密解密 2013-11-15
- 用ASP构建音乐服务器 2010-11-02
- 小米1刷V5系统WIFI不能连接解决办... 2013-08-01
- 用电脑需避讳的几个小动作 2010-11-08
- MS-DOS部分命令详解 2010-11-09
- RSS新闻
- 传媒新闻
- CSDN
- 八卦新闻
- 女性新闻
- 台湾新闻
- 互联网
- 军事-新浪博客
- IT-新浪博客
- 汽车新闻
- 游戏新闻
- 国际新闻
- 国内新闻
- 体育新闻
- 我的微博