# ========================================
# Robots.txt pour Marovoanio 
# Préservation de la langue Kibosy de Mayotte
# Optimisé pour indexation multilingue FR/Kibosy/EN
# Dernière mise à jour: 2025-09-30
# ========================================

User-agent: *
Allow: /

# ========================================
# AUTORISER EXPLICITEMENT - Contenu Public
# ========================================

# Pages principales en français, kibosy et anglais
Allow: /fr/
Allow: /kibosy/
Allow: /en/

# Dictionnaires (contenu prioritaire pour SEO)
Allow: /fr/dictionnaire/
Allow: /kibosy/dictionnaire/
Allow: /en/dictionary/
Allow: /*/dictionnaire/general/
Allow: /*/dictionary/general/
Allow: /*/dictionnaire/thematique/
Allow: /*/dictionary/thematic/
Allow: /*/dictionnaire/marin/
Allow: /*/dictionary/marine/
Allow: /*/dictionnaire/urbain/
Allow: /*/dictionary/urban/
Allow: /*/dictionnaire/ciel/
Allow: /*/dictionary/sky/
Allow: /*/dictionnaire/vegetal/
Allow: /*/dictionary/plant/
Allow: /*/dictionnaire/metaphysique/
Allow: /*/dictionary/metaphysical/

# Patrimoine culturel (contenu riche)
Allow: /fr/patrimoine/
Allow: /kibosy/patrimoine/
Allow: /en/heritage/
Allow: /*/patrimoine/materiel/
Allow: /*/heritage/material/
Allow: /*/patrimoine/immateriel/
Allow: /*/heritage/intangible/
Allow: /*/patrimoine/contes/
Allow: /*/heritage/tales/
Allow: /*/patrimoine/recits/
Allow: /*/heritage/stories/
Allow: /*/patrimoine/chants-danses/
Allow: /*/heritage/songs-dances/

# Pages communautaires
Allow: /fr/contributeurs/
Allow: /kibosy/contributeurs/
Allow: /en/contributors/
Allow: /fr/contribuer/
Allow: /kibosy/contribuer/
Allow: /en/contribute/
Allow: /fr/actualites/
Allow: /kibosy/actualites/
Allow: /en/news/

# Pages informatives
Allow: /fr/about/
Allow: /kibosy/about/
Allow: /en/about/
Allow: /fr/contact/
Allow: /kibosy/contact/
Allow: /en/contact/

# Ressources statiques importantes pour SEO
Allow: /images/
Allow: /marovoanio.png
Allow: /manifest.json
Allow: /favicon.ico

# ========================================
# BLOQUER - Fichiers techniques et admin
# ========================================

# Fichiers Next.js techniques
Disallow: /_next/static/
Disallow: /_next/image/
Disallow: /_vercel/
Disallow: /.well-known/

# API endpoints (pas d'indexation)
Disallow: /api/

# Zones d'administration (sécurité)
Disallow: /admin/
Disallow: /*/admin/
Disallow: /login/
Disallow: /*/login/
Disallow: /auth/
Disallow: /*/auth/

# Paramètres utilisateurs (RGPD)
Disallow: /profile/
Disallow: /*/profile/
Disallow: /settings/
Disallow: /*/settings/

# Pages de développement
Disallow: /test/
Disallow: /dev/
Disallow: /debug/

# Fichiers temporaires et cache
Disallow: /tmp/
Disallow: /cache/
Disallow: *.tmp
Disallow: *.cache

# ========================================
# OPTIMISATIONS MOTEURS DE RECHERCHE
# ========================================

# Google - Optimisé pour contenu multilingue
User-agent: Googlebot
Allow: /
Crawl-delay: 1

# Bing - Support international
User-agent: Bingbot  
Allow: /
Crawl-delay: 2

# Yahoo (utilisé dans certaines régions)
User-agent: Slurp
Allow: /
Crawl-delay: 2

# DuckDuckGo (respect vie privée)
User-agent: DuckDuckBot
Allow: /
Crawl-delay: 1

# Yandex (international)
User-agent: YandexBot
Allow: /
Crawl-delay: 3

# Baidu (peut indexer contenu français dans océan indien)
User-agent: Baiduspider
Allow: /fr/
Allow: /en/
Allow: /images/
Crawl-delay: 5

# ========================================
# RÉSEAUX SOCIAUX - Aperçus et partage
# ========================================

# Facebook - Pour preview des liens
User-agent: facebookexternalhit
Allow: /
Allow: /images/
Allow: /marovoanio.png

# Twitter/X - Cards et preview
User-agent: Twitterbot
Allow: /
Allow: /images/
Allow: /marovoanio.png

# LinkedIn - Partage professionnel
User-agent: LinkedInBot
Allow: /
Allow: /images/

# WhatsApp - Partage mobile très utilisé à Mayotte
User-agent: WhatsApp
Allow: /
Allow: /images/
Allow: /marovoanio.png

# ========================================
# ARCHIVAGE ET RECHERCHE ACADÉMIQUE
# ========================================

# Internet Archive - Important pour patrimoine culturel
User-agent: ia_archiver
Allow: /
Crawl-delay: 10

# Archive.today
User-agent: archiveis_bot
Allow: /

# Research crawlers pour études linguistiques
User-agent: CCBot
Allow: /fr/dictionnaire/
Allow: /kibosy/dictionnaire/
Allow: /en/dictionary/
Allow: /fr/patrimoine/
Allow: /kibosy/patrimoine/
Allow: /en/heritage/
Crawl-delay: 5

# ========================================
# PROTECTION CONTRE ABUS
# ========================================

# Blocage bots malveillants communs
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot  
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

# Bots scraping commerciaux
User-agent: SiteExplorer
Disallow: /

User-agent: Exabot
Disallow: /

User-agent: ScrapingBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

# ========================================
# SITEMAPS - Navigation pour moteurs
# ========================================

# Sitemap principal multilingue
Sitemap: https://kibosy.org/sitemap.xml

# Sitemaps spécialisés (pour évolution future)
Sitemap: https://kibosy.org/sitemap-dictionary.xml
Sitemap: https://kibosy.org/sitemap-heritage.xml
Sitemap: https://kibosy.org/sitemap-news.xml

# ========================================
# MÉTA-INFORMATIONS
# ========================================

# Contact: marovoanio976@kibosy.org
# Projet: Préservation langue Kibosy de Mayotte
# Technologies: Next.js 15, i18n fr/kibosy/en
# Hébergement: Vercel + Cloudflare
# Sécurité: CSP + nonce dynamique, headers sécurisés
# ========================================