Нет, а роботы. txt не требуется для веб-сайта. Если бот заходит на ваш сайт, а у него его нет, он просто просканирует ваш сайт и проиндексирует страницы, как обычно. … txt нужен только в том случае, если вы хотите иметь больший контроль над тем, что сканируется.
Что произойдет, если у вас нет файла robots txt?
роботы. txt не является обязательным. Если он у вас есть, поисковые роботы, соответствующие стандартам, будут его уважать, если у вас его нет, все, что не запрещено в элементах HTML-META (Википедия), будет доступно для сканирования. Сайт будет индексироваться без ограничений.
Можно ли удалить robots txt?
Вам нужно удалить обе строки из файла robots. текстовый файл. Файл robots находится в корневом каталоге папки вашего веб-хостинга, обычно его можно найти в /public_html/, и вы должны иметь возможность редактировать или удалять этот файл с помощью: FTP с помощью FTP-клиента, такого как FileZilla или WinSCP.
Безопасны ли robots txt?
Роботы. txt file сам по себе не представляет угрозы безопасности, и его правильное использование может представлять собой хорошую практику по причинам, не связанным с безопасностью. Не следует предполагать, что все веб-роботы будут соблюдать инструкции файла.
Почему robots txt плох?
Просто добавьте список URL-адресов, предназначенных для приватного доступа к файлу robots. txt - один из худших способов скрыть URL-адреса, и в большинстве случаев он приводит к прямо противоположному ожидаемому результату.
