# robots.txt for Jasper Labs
# https://jasper-labs.cn

User-agent: *
Allow: /

# Sitemap
Sitemap: https://jasper-labs.cn/sitemap.xml

# 允许爬取主要内容
Allow: /python/
Allow: /algorithm/
Allow: /ai/
Allow: /notes/
Allow: /tools/
Allow: /prompts/
Allow: /skills/
Allow: /tags/
Allow: /others/

# 禁止爬取不必要的路径
Disallow: /api/
Disallow: /*.json$
Disallow: /code-group-demo

# 特殊爬虫规则

# 百度爬虫 - 允许全部内容
User-agent: Baiduspider
Allow: /

# Google 爬虫 - 允许全部内容
User-agent: Googlebot
Allow: /

# 爬取频率限制（友好策略）
Crawl-delay: 1