Файл 'robots.txt' представляет собой текстовый файл, который веб-мастера размещают в корневом каталоге своего веб-сервера для взаимодействия с веб-роботами, такими как веб-краулеры и пауки (например, Googlebot или Bingbot). Это основной механизм для реализации Протокола исключения роботов (Robots Exclusion Protocol, REP). Технически этот файл не ограничивает доступ к контенту; скорее, он служит набором рекомендаций, которым должны следовать корректно работающие боты. Он указывает, какие части веб-сайта краулеру запрещено сканировать (используя директиву 'Disallow'), и, опционально, к каким частям им разрешен доступ (директива 'Allow'). Файл также может указывать расположение карты сайта с помощью директивы 'Sitemap'. Важно отметить, что 'robots.txt' является общедоступным, что означает, что вредоносные боты или настойчивые пользователи все равно могут получить доступ к запрещенным областям. Следовательно, его никогда не следует использовать для защиты конфиденциальной информации, а только для управления индексированием поисковыми системами и нагрузкой на трафик.