Devaka Talk | Flavio Longato провів аудит місячних CDN-логів для 1 000 доменів і вия...

Flavio Longato провів аудит місячних CDN-логів для 1 000 доменів і виявив, що практично жоден сучасний AI-краулер не читає файл llms.txt — запити були переважно від традиційних пошукових ботів і інструментів SEO.https://www.longato.ch/llms-recommendation-2025-august/- LLM-специфічні боти (GPTBot, ClaudeBot, PerplexityBot тощо) практично відсутні.- GoogleBot Desktop відповідає за ~95% всіх звернень до llms.txt.- Bing та OpenAI Search проявили мінімальну активність (лічильні запити).- Інструменти SEO (Semrush, SiteAudit тощо) значно спотворювали логи запитів.- Загалом llms.txt сьогодні не читають для цілей навчання LLM.Специфікація llms.txt ще не офіційна і не підтверджена основними провайдерами. Багато тренувальних наборів формуються із готових датасетів без прямого скрейпінгу сайтів. Періодичне опитування llms.txt для кожного домену є затратним і неефективним з точки зору краул-ліміту.llms.txt має сенс концептуально, але на серпень 2025 року його практична цінність обмежена через відсутність підтримки з боку основних LLM-провайдерів.