🎭 Зоопарк ботів спійманих в дикій природі

The Crawler Zoo — автор створив живий зоопарк ботів, які відвідують його сайт-приманку: за сьогодні їх вже майже 400 тисяч, і тільки близько 20 тисяч - реальних людей. Це як дивитися через товсті решітки вольєрів зоопарку на диких звірів (веб-ботів) у їхньому природному середовищі, як безпечних так і небезпечних для ваших пристроїв.

Боти класифікуються за вольєрами. Савана пошукових систем: Googlebot, Bingbot, YandexBot та інші пошукові краулери; ШІ-вольєр: GPTBot, ClaudeBot і т.д; Болото SEO: AhrefsBot, SemrushBot та інші сканери; Домашній зоопарк для ботів прев'ю посилань (ці боти безпечні і дружні, їх можна гладити): Slackbot тощо; Ну і Дика яма із застереженням "Не годувати. Уникати зорового контакту": для всього неконтрольованого та неслухняного, наприклад curl.

Найцікавіше, так званий Trap Room. Це те, як автор їх відловлює. Сама пастка, це URL-адреса, невидима для людей, але присутня на веб-сайті. Файл, який дає інструкції ботам (robots.txt), явно забороняє ботам заходити туди, але боти, які все одно це роблять, реєструються як порушники. URL-адреса пастки має лабіринт - серію процедурно згенерованих посилань, які боти продовжують запускати, поки не здаються. По суті, марнуючи час.
#безпека