Cloudflare AI Insights: як AI-сканери реально повзають ваш сайтНавіщо це SEO? Cloudflare запустив розділ AI Insights, який показує активність і “намір” AI-ботів на вебі — від тренування моделей до пошуку. Це дає технічним SEO нарешті порівнювані метрики по краулінгу та реферам.Ключові знахідки (за даними Cloudflare за 2024–2025 рр.):- Найактивніші AI-боти. У сегменті AI-ботів за липень 2025 лідирує GPTBot (~28.1% AI-краулінгу), далі ClaudeBot (~23.3%), Meta-ExternalAgent (~17.7%).- Мета краулінгу = тренування. ~80% усього AI-краулінгу припадає на training, пошук — ~15–18%, user-action — ~2–3%.- Crawl-to-refer ratio. - Anthropic ≈ 38 000:1 - OpenAI ≈ 1 091:1 - Perplexity ≈ 195:1 (стільки HTML-краулів на 1 реферал) Для News & Publications: - Perplexity ≈ 32.7:1 - OpenAI ≈ 152:1 - Anthropic ≈ 2 500:1- Динаміка за рік. Пік AI/пошукового краулінгу — квітень 2025 (+32% р/р). У липні зростання знизилося до +4% р/р.- Best practices ботів. Більшість AI-ботів є у списку Verified bots. Але: - ClaudeBot не публікує IP-діапазони → важче верифікувати. - Perplexity помічений у стелс-краулінгу.- Відмінності за індустріями. У сегменті News & Publications краулінг рівномірніший (кожен бот 15–17%), а частка пошуку вища, ніж середньо.Як використати це технічному SEO1. Звірте картину з логами. Порівняйте AI Insights із власними лог-файлами. 2. Виміряйте “віддачу”. Співвіднесіть краули ботів із реферами у аналітиці. 3. Керуйте доступом. - Пропишіть robots.txt для AI-ботів. - Використовуйте Cloudflare AI Crawl Control і список Verified bots. 4. Медіа та новинні сайти. Формуйте цитовані джерела, сторінки-хаби під AI-запити. 5. Моніторинг аномалій. Слідкуйте за піками/провалами активності конкретних ботів.Висновок. AI Insights — сильний компас для AEO/SEO-тактики: показує, хто вас активно сканує, навіщо це робить і скільки трафіку повертає. Але завжди перевіряйте власні логи — саме вони показують реальну взаємодію ботів із вашим сайтом.Джерела: - Cloudflare Radar — AI Insights- Cloudflare Blog — Purpose & Industry- Cloudflare Blog — Crawl-to-click gap - Cloudflare Blog — Perplexity stealth crawling - Anthropic — Claude crawler policy