Динамический краулинг это автоматизированное взаимодействие с элементами интерфейса веб-страницы с использованием управляемого браузера, имитирующего действия пользователя и наблюдающего отправляемые запросы серверу.
Хотя динамический краулинг обычно работает хорошо, есть случаи, когда он не может обнаружить некоторые серверные точки доступа. Интерфейс пользователя иногда слишком сложен для полного краулинга. Выполнение всех возможных действий пользователя может потребовать слишком много времени. В таких случаях поисковый робот остановится до завершения, вероятно, пропустив некоторые конечные точки.
Кроме того, иногда JavaScript-код, обращающийся к конечной точке, невозможно запустить из пользовательского интерфейса вообще - по сути, это мертвый код. Такой код по-прежнему представляет интерес для сканера и может обращаться к работающим частям сервера. Мы называем такие конечные точки скрытыми.