Devaka Talk | Perplexity використовує прихованих ботів для обходу заборон на сканува...

Perplexity використовує прихованих ботів для обходу заборон на сканування сайтівhttps://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/Cloudflare виявив, що компанія Perplexity обходить прямі заборони на сканування сайтів. Їхні боти змінюють user-agent, використовують численні IP-адреси та навіть різні автономні системи, щоб приховати свою справжню ідентичність. Найбільша проблема — ігнорування файлу robots.txt, у якому власники сайтів чітко забороняють подібний доступ.Cloudflare провів експеримент: створив нові домени, які не були публічно доступні, і заборонив будь-яке сканування через robots.txt і власні WAF-правила. Незважаючи на це, Perplexity змогла отримати й використати інформацію з цих сайтів, обходячи захист і маскуючись під звичайний браузер Chrome.На відміну від Perplexity, OpenAI дотримується стандартів: чесно ідентифікують своїх ботів, не обходять заборони й поважають правила сайтів. Як відповідь на порушення, Cloudflare видалив Perplexity зі списку перевірених ботів.