БЕРЕЖНОЕ НАБЛЮДЕНИЕ
Как работает радар
XUPL наблюдает только за публично доступной технической информацией и намеренно работает медленно.
User-Agent
XUPL-Radar/0.1 (+https://xupl.ru/scanner/)XUPL-Crawler/0.3 (+https://xupl.ru/scanner/)
Владельцы сайтов полностью управляют доступом
поискового робота через robots.txt.
Чтобы запретить обход XUPL, достаточно указать
User-agent: XUPL-Crawler
и Disallow: /.
Директивы noindex, nofollow и canonical
также учитываются.
Частота
обычно не чаще одной проверки домена в сутки
Получаем
DNS, TLS, HTTP-заголовки и ограниченный фрагмент публичной HTML-страницы
Не делаем
сканирование портов, подбор URL,
формы входа, POST-запросы,
поиск уязвимостей или обход авторизации
Ограничение HTML
максимум 256 КБ одного ответа
Частные, loopback, link-local и зарезервированные IP-адреса блокируются до HTTP-запроса.