# SIDRO AI数字员工平台 - Robots.txt
# 网站: https://sidro.ai
# 更新时间: 2024-12-19

# 允许所有搜索引擎爬虫访问
User-agent: *
Allow: /

# 禁止访问的目录和文件
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Disallow: /temp/
Disallow: /cache/
Disallow: /*.json$
Disallow: /*.xml$ 
Disallow: /search?
Disallow: /*?utm_*
Disallow: /*?ref=*
Disallow: /*?source=*

# 允许访问重要的SEO文件
Allow: /sitemap.xml
Allow: /robots.txt
Allow: /favicon.ico
Allow: /*.css
Allow: /*.js
Allow: /*.png
Allow: /*.jpg
Allow: /*.jpeg
Allow: /*.gif
Allow: /*.svg
Allow: /*.webp

# 特定搜索引擎优化
# 百度爬虫
User-agent: Baiduspider
Allow: /
Crawl-delay: 1

# 谷歌爬虫
User-agent: Googlebot
Allow: /
Crawl-delay: 1

# 必应爬虫
User-agent: bingbot
Allow: /
Crawl-delay: 1

# 360搜索爬虫
User-agent: 360Spider
Allow: /
Crawl-delay: 1

# 搜狗爬虫
User-agent: Sogou web spider
Allow: /
Crawl-delay: 1

# 头条搜索爬虫
User-agent: Bytespider
Allow: /
Crawl-delay: 1

# 禁止恶意爬虫
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

# Sitemap位置
Sitemap: https://sidro.ai/sitemap.xml

# 爬取延迟设置（秒）
Crawl-delay: 1

# 访问时间限制（可选）
# Visit-time: 0100-0600

# 请求频率限制（可选）
# Request-rate: 1/10s