🤖 OpenAI оновили документацію щодо своїх краулерів та User Agents. Для тих, хто стежить за логами серверів або займається GEO, є кілька важливих новин.Що змінилося:1️⃣ ChatGPT-User тепер ігнорує robots.txt. Це, мабуть, найважливіше. Тепер правилам robots.txt підкоряються тільки пошукові боти (GPTBot, OAISearchBot). Агент ChatGPT-User (той, що активується, коли юзер просить чат "прочитати це посилання") діє як прямий агент користувача. 👉 Якщо ви заблокували ботів OpenAI, але користувач скинув посилання на ваш сайт у чат — ChatGPT все одно перейде і прочитає контент. 2️⃣ Блокування OAISearchBot не рятує від потрапляння у відповіді. Раніше вважалося, що цей бот відповідає за навігаційні посилання. Тепер OpenAI каже, що блокування цього бота не гарантує, що посилання на вас не з'являться у відповідях. 👉 ChatGPT, швидше всього, підтягує посилання з індексу Bing. Хочете трафік з ChatGPT — качайте SEO під Bing.3️⃣ Боти OAISearchBot (пошук) та GPTBot (навчання моделі) тепер обмінюються інформацією. 👉 Якщо ваш сайт дозволяє доступ обом ботам, OpenAI може просканувати сторінку тільки одним із них, а отримані дані використати для обох цілей. У логах це може виглядати дивно, але економить ресурси сервера.4️⃣ Кастомні GPT та API-інтеграції використовують агента ChatGPT-User. Тобто вони теж обходять стандартні блокування для сканування, діючи від імені конкретного користувача.🔗 Ось офіційне джерело.