Проверка ответов robots.txt и sitemap.xml
Посмотрите HTTP-статус и начало текста файлов /robots.txt и /sitemap.xml по основному адресу сайта. Это помогает вручную просмотреть правила обхода и адреса карт.
Введите публичный HTTP- или HTTPS-адрес сайта.
Инструмент запрашивает ответы /robots.txt и /sitemap.xml.
Для каждого файла показаны HTTP-статус и текстовый фрагмент до 12000 символов.
Предпросмотр не проверяет синтаксис автоматически и не обходит все URL.
Вложенные карты не открываются; наличие файлов не определяет решение об индексации.
Robots.txt не защищает доступ; результат может кешироваться пять минут.
Введите публичный URL без параметров запроса, фрагмента и данных входа.
Проверяются только публичные HTTP/HTTPS адреса. Один запрос ограничен по времени, размеру ответа и числу редиректов. Результат - наблюдение, а не гарантия.
Правила обхода и список URL решают разные задачи
Robots.txt задает правила обхода для роботов. Sitemap может перечислять страницы либо адреса других карт. Просмотр текста помогает понять, публикует ли сайт задуманные правила и сведения о своих адресах.
Что можно просмотреть вручную
- HTTP-ответ и содержимое полученного файла
- Строки User-agent, Allow и Disallow
- Ссылки на карты внутри robots.txt
- Тип sitemap: список URL или индекс карт
Частые вопросы
Проверяются ли XML-карты, на которые ссылается sitemap?
Инструмент показывает основной /sitemap.xml и не открывает вложенные карты автоматически. Карты из индекса и их страницы просматривают отдельно. Доступ к конфиденциальным разделам при этом защищают аутентификацией.
Что вы хотите сделать?
Для начала достаточно описания задачи и вашего контакта.
info@siteman.az ↗+994 70 270 58 00