# ===================================================
# Amortera.se - Robots.txt
# Webbplats: https://amortera.se
# Plattform: Next.js / Vercel
# Uppdaterad: 2026-10-04
# AI-policy: Tillåt sök- och citeringsbottar och stora aktörers
#            träningsbottar på kanoniska sidor. Blockera Amazonbot,
#            Metas crawlers, Bytespider, SEO-skrapor och regional trafik.
#            De blockerade bottarna får dessutom 403 i proxy.ts.
#
# VIKTIGT (RFC 9309): en bot som matchar en namngiven grupp läser BARA
# den gruppen och ärver INGET från *-gruppen. Därför bär allow-gruppen
# nedan samma Disallow-lista som *-gruppen. Ändras listan i *-gruppen:
# ändra även i allow-gruppen.
# ===================================================

# ===================================================
# ALLA BOTAR - GRUNDREGLER
# ===================================================

User-agent: *
Allow: /
Disallow: /api/
Disallow: /go/
Disallow: /admin/
Disallow: /*?fbclid=*
Disallow: /*?gclid=*
Disallow: /*?utm_*
Disallow: /*?ref=*
Content-Signal: search=yes, ai-input=yes, ai-train=yes

# ===================================================
# AI-CRAWLERS, SÖKMOTORER OCH LÄNKFÖRHANDSVISNING - TILLÅTNA
# En gemensam grupp med speglad Disallow-lista.
# facebookexternalhit (förhandsvisning när en länk delas på Facebook,
# Messenger, Instagram och WhatsApp) tillåts medvetet. Det är en annan
# bot än FacebookBot och meta-externalagent, som blockeras längre ner.
# ===================================================

# OpenAI (ChatGPT)
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
# Anthropic (Claude)
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: anthropic-ai
# Google AI (Gemini, AI Overviews)
User-agent: Google-Extended
User-agent: GoogleOther
# Perplexity
User-agent: PerplexityBot
User-agent: Perplexity-User
# Apple Intelligence (Siri, Spotlight)
User-agent: Applebot
User-agent: Applebot-Extended
# Microsoft Copilot (via Bing-index)
User-agent: Bingbot
# Övriga AI-aktörer och Common Crawl
User-agent: cohere-ai
User-agent: MistralBot
User-agent: YouBot
User-agent: Deepseekbot
User-agent: CCBot
User-agent: Diffbot
# Länkförhandsvisningar i sociala medier
User-agent: facebookexternalhit
# Delade regler för hela gruppen ovan (spegel av *-gruppen)
Allow: /
Disallow: /api/
Disallow: /go/
Disallow: /admin/
Disallow: /*?fbclid=*
Disallow: /*?gclid=*
Disallow: /*?utm_*
Disallow: /*?ref=*
Content-Signal: search=yes, ai-input=yes, ai-train=yes

# ===================================================
# SEO-BOTAR
# Egen sajt i nätverket: robots-Disallow för Ahrefs och Semrush, men
# aldrig 403 i proxy.ts (egna audits ska kunna köras).
# ===================================================

User-agent: AhrefsBot
User-agent: SemrushBot
Disallow: /

# ===================================================
# BLOCKERADE BOTAR (får även 403 i proxy.ts, utom regionala)
# ===================================================

# Amazonbot: ren träningsbot (Alexa-sök heter Amzn-SearchBot och blockeras inte)
User-agent: Amazonbot
# Meta: träningscrawlers (inte facebookexternalhit, se ovan)
User-agent: meta-externalagent
User-agent: Meta-ExternalFetcher
User-agent: FacebookBot
# ByteDance/TikTok: aggressiv, ignorerar ofta robots.txt
User-agent: Bytespider
# Aggressiva SEO-skrapor
User-agent: MJ12bot
User-agent: DotBot
User-agent: BLEXBot
User-agent: PetalBot
# Ryssland och Kina (svensk sajt utan marknad där)
User-agent: Yandex
User-agent: YandexBot
User-agent: YandexImages
User-agent: YandexMobileBot
User-agent: Baiduspider
User-agent: Baiduspider-image
User-agent: Baiduspider-news
User-agent: Sogou
User-agent: 360Spider
User-agent: YisouSpider
Disallow: /

# ===================================================
# SITEMAP
# ===================================================

Sitemap: https://amortera.se/sitemap.xml

# ===================================================
# INFORMATION
# ===================================================
# Drivs av: Value Unlimited
# AI-kontext: https://amortera.se/llms.txt
# AI-kontext (utökad): https://amortera.se/llms-full.txt
# Faktaregister: https://amortera.se/fakta.json
# Kontakt: hej@amortera.se
# ===================================================