Я щільно займаюсь відсівом безкорисного трафіку на сайти. У нинішній час боти ШІ та інші боти масовано штурмують сайти, і це срака для великих проектів з десятками тисяч сторінок (з вагоном товарів, фільтрів). Це завантажує процеси та добряче жере потужності серверів. Здавалось би - замов краще залізо і буде тобі щастя, але погодьтесь, не резонно витрачатись на ботню, яка є абсолютно безкорисною, або навіть шкідливою. Навіть "корисні" боти ШІ не завжди несуть цю користь, і в дійсності являються просто баластом. На практиці в українському е-комерсі по профіту лідирують ChatGPT та Gemini - ШІ, які частіше всього використовує потенційний відвідувач сайту. По моєму досвіду, доступ для таких ботів як Перплексіті чи Клод (та інші) можна сміливо закривати, якщо вони створюють зайве навантаження. Ці боти з певною періодичністю активно сканують сайти тільки задля викачки інформації та самонавчання. А при певних збігах обставин можуть перевантажувати залізо. Тож колупайте логи, че кайте аналітику та робіть висновки.