Il 'tag meta robots' non è un'estensione di file indipendente o un formato di file nel senso tradizionale del termine, bensì un tipo specifico di tag meta HTML utilizzato all'interno della sezione <head> di un documento HTML. Il suo scopo principale è fornire istruzioni ai crawler web (bot) come Googlebot, Bingbot e altri, su come indicizzare e visualizzare il contenuto della pagina web. Il tag utilizza l'attributo name="robots" e contiene direttive specifiche come index, noindex, follow, nofollow, none o all. Ad esempio, la stringa <meta name="robots" content="noindex, nofollow"> comunica ai motori di ricerca di non indicizzare la pagina e di non seguire alcun link presente in essa. Questo elemento è fondamentale per la SEO (Search Engine Optimization) e la gestione dei siti web, consentendo ai webmaster di controllare quali parti del loro sito debbano apparire nelle pagine dei risultati dei motori di ricerca (SERP) e quanta 'link equity' debba essere trasmessa attraverso link specifici. Sebbene risieda all'interno di file HTML (solitamente con estensione .html o .htm), il tag stesso rappresenta un elemento di linguaggio direttivo e non un tipo di file a sé stante.