A 'meta robots tag' não é uma extensão de arquivo autônoma ou um formato de arquivo no sentido tradicional, mas sim um tipo específico de tag meta HTML usada dentro da seção `<head> de um documento HTML. Seu propósito principal é fornecer instruções a rastreadores da web (bots) como Googlebot, Bingbot, etc., sobre como indexar e exibir o conteúdo da página da web. A tag utiliza o atributo name="robots" e contém diretivas como index, noindex, follow, nofollow, none ou all. Por exemplo, <meta name="robots" content="noindex, nofollow">` instrui os mecanismos de busca a não indexar a página e a não seguir nenhum link nela contido. Isso é crucial para SEO e gerenciamento de websites, permitindo que webmasters controlem quais partes de seu site aparecem nas páginas de resultados dos mecanismos de busca (SERPs) e quanta 'link equity' é passada através de links específicos. Embora resida dentro de arquivos HTML (tipicamente com a extensão .html ou .htm), a tag em si é um elemento de linguagem diretiva, não um tipo de arquivo.