doc.progysm.com

Blocage complet

User-agent: *
Disallow: /

Instructions

User-agent: *|name
Disallow: /path
Allow: /path

Sitemap: https://server.com/fichier.xml

Aucune idée de ce que "meta robots: noodp" veut dire.

Sitemap

L'instruction Sitemap ne dépend pas du bloc User-agent, on peut le placer partout dans le fichier.

Référence: sitemaps.org - Protocol - Robots.txt