OAI-SearchBot, GPTBot и ChatGPT-User: кого разрешать сайту

Три имени не означают один общий индекс

По документации OpenAI разрешение поискового краулера и ограничение обучающего бота совместимы. Поэтому не нужно открывать обучение только ради возможности присутствовать в поиске. ChatGPT-User, в свою очередь, не является автоматическим поисковым обходом: его обращение может возникнуть при выполнении вопроса или другой пользовательской задачи.

В журнале полезно сохранять имя клиента, время, URL и способ проверки происхождения. Одной строки User-Agent недостаточно: её может воспроизвести сторонний скрипт. Чтение страницы пользователем через ассистента не доказывает, что эта страница стала источником для будущих покупателей.

Как выбрать правила доступа

Сначала определите собственную политику: что разрешено для публичного поиска, что допустимо для обучения и какие приватные разделы должны оставаться закрытыми. Затем проверьте robots.txt для нужных путей и правила CDN. Не копируйте широкий список Allow, не понимая существующих групп.

Официальные списки IP OpenAI помогают проверять реальные обращения. Их следует брать из актуальной документации, а не из старого поста. Указанные OpenAI примерно сутки относятся к применению изменения robots.txt, а не к сроку индексации или появления рекомендации. Сохраняйте время правки отдельно от времени последующего наблюдения.

Практическая проверка и границы результата

В AURA GEO агент запускает техническую проверку и получает результат по доступным URL. Это помогает заметить ошибку политики до написания новых материалов. Если требуется изменение, он готовит его для вашего репозитория или хостинга при наличии отдельного доступа.

После развёртывания повторите проверку нужной страницы. Настоящие посещения смотрите отдельно в серверных наблюдениях. Аури помогает собрать задание, но его имя не должно появляться в отчёте вместо имени реально использованного провайдера.

Правило доступа снимает конкретное техническое препятствие. Оно не подтверждает, что источник найден, выбран по вопросу или рекомендован. Итог настройки — понятная политика и проверенный ответ сервера. Следующий содержательный шаг — изучить настоящие ответы на вопросы клиентов, а не добавлять новые имена ботов без установленной задачи.