Le 'X-Robots-Tag' n'est pas une extension de fichier traditionnelle ni un format de fichier au sens d'un document stocké comme un PDF ou un JPEG. Il s'agit plutôt d'un en-tête de réponse HTTP utilisé par les serveurs web pour fournir des directives aux robots d'exploration (crawlers) concernant la manière d'indexer ou de présenter le contenu d'une page web. Cet en-tête fonctionne de manière similaire à la balise méta robots que l'on trouve dans la section 'head' HTML d'un document, mais il peut être appliqué à des ressources non-HTML telles que des images, des PDF ou d'autres fichiers où l'intégration d'une balise méta HTML est impraticable ou impossible. Les directives courantes incluent 'noindex' (empêchant l'ajout de la page aux index des moteurs de recherche), 'nofollow' (empêchant l'exploration des liens sur la page), 'none' (une combinaison de noindex et nofollow), ou 'noarchive' (empêchant les moteurs de recherche d'afficher un lien mis en cache). Les administrateurs web utilisent cet en-tête pour affiner l'optimisation pour les moteurs de recherche (SEO) et contrôler la visibilité et le comportement d'actifs web spécifiques sur divers moteurs de recherche comme Google, Bing, et autres.