# See http://www.robotstxt.org/robotstxt.html for documentation on how to use the robots.txt file # # To ban all spiders from the entire site uncomment the next two lines: # Bloquer certains dossiers et pages pour tous les robots User-agent: * Disallow: /wines Disallow: /contact Disallow: /login Disallow: /admin Disallow: /pro Disallow: /legals Disallow: /signin Disallow: /partners Disallow: /terms Disallow: /partners Disallow: /customers # Autoriser explicitement Googlebot partout (en plus du bloc générique) User-agent: Googlebot Allow: / # Sitemap (indique où trouver ton sitemap) Sitemap: https://smartcave.fr/sitemap.xml.gz