# Robots.txt for VTuber经纪人游戏网站
# 优化搜索引擎抓取，提升SEO效果

# 允许所有搜索引擎访问主要内容
User-agent: *
Allow: /
Allow: /css/
Allow: /js/
Allow: /img/
Allow: /icons/

# 禁止访问敏感或无用目录
Disallow: /admin/
Disallow: /private/
Disallow: /temp/
Disallow: /cache/
Disallow: /logs/
Disallow: /.git/
Disallow: /node_modules/
Disallow: /src/

# 禁止访问隐私相关页面（防止收录污染）
Disallow: /privacy.html
Disallow: /terms.html
Disallow: /legal/

# 禁止访问测试和开发文件
Disallow: /test/
Disallow: /dev/
Disallow: /*.test.html
Disallow: /*.dev.html

# 允许特定搜索引擎的特殊处理

# Google搜索引擎
User-agent: Googlebot
Allow: /
Crawl-delay: 1

# 百度搜索引擎
User-agent: Baiduspider
Allow: /
Crawl-delay: 1

# 必应搜索引擎
User-agent: bingbot
Allow: /
Crawl-delay: 1

# 360搜索引擎
User-agent: 360Spider
Allow: /
Crawl-delay: 2

# 搜狗搜索引擎
User-agent: Sogou web spider
Allow: /
Crawl-delay: 2

# 神马搜索引擎
User-agent: YisouSpider
Allow: /
Crawl-delay: 2

# 禁止恶意爬虫和采集器
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

# 网站地图位置（重要：帮助搜索引擎发现所有页面）
Sitemap: https://vtuber1.store/sitemap.xml

# 主机信息（可选）
# Host: example.com

# 抓取延迟设置（避免服务器过载）
Crawl-delay: 1

# 访问时间限制（可选，格式：HH:MM-HH:MM）
# Visit-time: 01:00-06:00

# 清理缓存指令（可选）
# Clean-param: utm_source&utm_medium&utm_campaign