在线网站robots.txt文件生成器 - aTool在线工具

默认 - 所有机器人是:
检索间隔:
Sitemap: (留空为无)

普通搜索机器人: Google googlebot
  Baidu baiduspider
  MSN Search msnbot
  Yahoo yahoo-slurp
  Ask/Teoma teoma
  Cuil twiceler
  GigaBlast gigabot
  Scrub The Web scrubby
  DMOZ Checker robozilla
  Nutch nutch
  Alexa/Wayback ia_archiver
  Naver naverbot, yeti

特殊搜索机器人: Google Image googlebot-image
  Google Mobile googlebot-mobile
  Yahoo MM yahoo-mmcrawler
  MSN PicSearch psbot
  SingingFish asterias
  Yahoo Blogs yahoo-blogs/v3.9

限制目录: 路径是相对的,但每个路径之前都要包含:"/"
 
 
 
 
 


什么是robots.txt文件 | What Is Robot.txt

robots.txt文件内容 | Content Of Robot.txt

关于robots.txt文件生成器 | Robot.txt Generator

推荐功能 / 猜你喜欢 | Suggest

评论 | Comments

官方微信公众号 - 扫一扫关注
公众号: atool-org
1.百度点评点个赞
2.捐助9.9元 | 名单
3.加群236033403
4.Github开源代码
Fork me on GitHub