# ============================================
# robots.txt for CYS Bearing
# GEO (Generative Engine Optimization) 配置
# ============================================

# 默认放行所有爬虫
User-agent: *
Allow: /

# 禁止抓取管理后台（虽然不在主站，但保险）
Disallow: /admin/

# 禁止抓取脚本和配置
Disallow: /scripts/
Disallow: /config/
Disallow: /_redirects

# ============================================
# AI 搜索爬虫（实时检索 → 让 AI 引用你）
# 必须放行，这些是 AI 在用户提问时检索的爬虫
# ============================================

# OpenAI Search (ChatGPT Search)
User-agent: OAI-SearchBot
Allow: /

# ChatGPT 用户代理
User-agent: ChatGPT-User
Allow: /

# Perplexity AI
User-agent: PerplexityBot
Allow: /

# Anthropic Claude
User-agent: ClaudeBot
Allow: /

User-agent: Claude-User
Allow: /

# Google Gemini
User-agent: Google-Extended
Allow: /

# Apple Intelligence
User-agent: Applebot-Extended
Allow: /

# ============================================
# AI 训练爬虫（让模型"知道"你）
# 放行 = 你的内容进入 AI 训练数据
# 不放行 = AI 回答时不会提到你
# ============================================

# OpenAI 训练
User-agent: GPTBot
Allow: /

# Anthropic 训练
User-agent: anthropic-ai
Allow: /

User-agent: Claude-Web
Allow: /

# Common Crawl (很多 AI 训练数据源)
User-agent: CCBot
Allow: /

# Meta AI
User-agent: Meta-ExternalAgent
Allow: /

# ByteDance (豆包 / Coze)
User-agent: Bytespider
Allow: /

# 百度文心
User-agent: Baiduspider
Allow: /

# ============================================
# Sitemap
# ============================================
Sitemap: https://cysbearing.com/sitemap.xml
Sitemap: https://cysbearing.com/llms.txt
