Все штуки
Проверка robots.txt
Введите адрес сайта, и мы найдём его файл robots.txt, проверим правила и покажем, разрешён ли роботам обход нужной страницы.
Поддержать автора
Добровольно: любая сумма поможет делать новые штуки и статьи.

Введите адрес сайта, и мы найдём его файл robots.txt, проверим правила и покажем, разрешён ли роботам обход нужной страницы.
Добровольно: любая сумма поможет делать новые штуки и статьи.