Почему браузер владельца не является проверкой
Владелец может быть авторизован, иметь уже выданную cookie или находиться в разрешённой сети. Робот приходит без этих условий. Поэтому страница, которая открывается у вас, способна вернуть другому клиенту 403, 429 либо HTML с просьбой подтвердить, что он человек. Проверяйте содержимое ответа, а не только итоговый код.
Сопоставьте время неудачной загрузки с журналом защиты: какой путь, действие, правило и категория сработали. Не делайте вывод «провайдер заблокирован» по единственному запросу со своего сервера. Это наблюдение о конкретной точке и способе проверки.
Смотрите актуальную политику AI-ботов
Cloudflare документирует отдельные политики Search, Agent и Training. Настройки и поведение смешанных краулеров зависят от выбранной конфигурации; старое название общей кнопки не объясняет весь доступ. Кроме AI-настроек могут действовать собственные правила WAF, ограничения частоты и защита отдельных путей.
Для исключения используйте поддерживаемые платформой критерии и точную область действия. Разрешение по одной произвольной строке User-Agent легко воспроизвести. Проверенные сведения о клиенте и официальные диапазоны провайдера надёжнее. Изменение стоит согласовать с человеком, который отвечает за безопасность и нагрузку.
Проверка после изменения
Сначала сохраните исходный отказ, затем внесите одну адресную правку и повторите тот же запрос. Откройте события защиты ещё раз: запрос должен пройти по ожидаемому правилу и вернуть основной материал. Убедитесь, что личный кабинет и административные URL не оказались открыты.
Пример: исключение для чтения публичной справки не обязано затрагивать оформление заказа. Такой узкий подход позволяет оценить результат и быстро вернуться к предыдущей конфигурации при неожиданном росте нагрузки.
Место AURA в диагностике
Технический аудит AURA GEO сохраняет ответы доступных URL и синтетических проб. Агент использует их для задачи, а журналы CDN и реальные серверные события уточняют причину.
MCP не даёт прав менять чужой firewall. Доступ к настройкам предоставляет владелец отдельно. После устранения блокировки продолжайте проверку обнаружения и цитирования: исправный WAF решает доступ, но не выбор источника моделью.
Условия и границы результата
- Синтетическая проба не воспроизводит сеть провайдера.
- Открытый доступ не означает индексацию.