La 'meta robots tag' no es una extensión de archivo o formato de archivo independiente en el sentido tradicional, sino más bien un tipo específico de metaetiqueta HTML utilizada dentro de la sección `<head> de un documento HTML. Su propósito principal es proporcionar instrucciones a los rastreadores web (bots) como Googlebot, Bingbot, etc., sobre cómo indexar y mostrar el contenido de la página web. La etiqueta utiliza el atributo name="robots" y contiene directivas como index, noindex, follow, nofollow, none o all. Por ejemplo, <meta name="robots" content="noindex, nofollow">` indica a los motores de búsqueda que no indexen la página y que no sigan ninguno de los enlaces contenidos en ella. Esto es crucial para el SEO y la gestión de sitios web, ya que permite a los administradores web controlar qué partes de su sitio aparecen en las páginas de resultados de los motores de búsqueda (SERPs) y cuánta 'autoridad de enlace' (link equity) se transfiere a través de enlaces específicos. Aunque reside dentro de archivos HTML (típicamente con la extensión .html o .htm), la etiqueta en sí es un elemento de lenguaje directivo, no un tipo de archivo.