Скрейпер захищається від скрейперівКілька років тому я працював з високонавантаженими системами, де навантаження здебільшого означало банальний факт: багато трафіку, і різати його ми вчились саме через Cloudflare. Тому коли натрапив на пост про те, що 99% трафіку одного сайту виявились ботами, читав з дуже особистим інтересом.Автор рахує статку через сервер і Cloudflare, а не через Plausible чи Google Analytics: за тиждень сервер відповів на 2.5 мільйони запитів і віддав 1.28 мільйона повних сторінок, в той час як аналітика показала лише 5977 переглядів. На кожен перегляд, який він бачить, припадає ще 214, яких він не бачить, але які коштують йому грошів.Тут не зовсім конверсія, а метрика, яку сам автор називає *pages crawled per visitor referred*, скільки сторінок бот вичитує на одного реального відвідувача, якого він приводить. У Google цей показник 46:1, у Bing 406:1, а в Claude-SearchBot від Anthropic — 35 000:1. Amazon-івський краулер за весь час не привів жодного відвідувача, читаючи по 117 тисяч сторінок щодня, тому обох просто заблокував по user-agent.Іронія в тому, що сам автор скрейпить свої джерела, форми IRS, кілька разів на рік, а от його самого скрейплять тисячі разів на день. Капча на сайті при цьому має solve rate 0.24%: з 106 тисяч показаних challenge за дві доби пройшли лише 252, боти навіть не намагаються.Автор пододавав купу правил, блокує країни і user-agent-и, ставить challenge для дата-центрових ASN і застарілих браузерів, лупить rate limit, а перевіреним ботам типу Google робить окремий skip, щоб не потрапляли під роздачу. Жодне правило само по собі не рятує, працює тільки коли дивишся на це в комплексі. Звичайний рахунок за Cloudflare в нього близько 90 доларів на місяць, у поганий місяць скакав на 500%, x5 — доволі неприємний сюрприз. Пост раджу читати повністю, дуже добре розписані і проблема, і рішення, ще й готові правила під копіпаст. За досвідом, коли виникає така проблема в проді, то всі на паніці, ніхто зазвичай не шарить толком, шо з цим робити, тому є шанс, шо ви згадаєте цей пост, всіх врятуєте і вас підвищать. Скільки трафіку на вашому сайті насправді бачить аналітика, а скільки тупо летить в /dev/null?