Devaka Talk | Як Google розпізнає ботів і що розкриває позов SerpAPIhttps://searchen...

Як Google розпізнає ботів і що розкриває позов SerpAPIhttps://searchengineland.com/inside-google-searchguard-467676Нещодавнє розслідування на основі розшифровки технології SearchGuard дає чітке уявлення про те, як Google відрізняє людей від ботів у реальному часі. Що таке SearchGuard і як воно працює- SearchGuard — компонент захисту Google Search, частина більшої системи BotGuard (внутрішньо відома як Web Application Attestation). Впроваджено на початку 2025 року і становить «захист Search» для скрапінгових інструментів.- Система працює майже повністю прозоро для користувача: відстежує поведінкові сигнали та інші ознаки, щоб визначати, чи взаємодіє користувач як людина, чи автоматизований скрепер.- Ключова відмінність від звичних CAPTCHA — відсутність явного запиту на підтвердження людини. Вона працює в режимі реального часу всередині браузера та середовища відвідування сайту.Як Google визначає, що ви людинаСистема відстежує чотири основні категорії поведінки в режимі реального часу:- Рух миші: форму траєкторії, швидкість, прискорення та мікро‑коливання. Поява «ідеально прямолінійного» руху або надто високої одноманітності може сигналізувати про бота.- Ритм клавіатури: інтервали між натисканнями, тривалість натискань, помилки та паузи після знаків пунктуації. Людина має варіативність у часі між натисканнями, в той час як автоматизація часто демонструє більш регулярні патерни.- Прокрутка: амплітуда переміщення, напрямок, швидкість і «моментум» прокрутки. Прокрутка з однаковими кроками та дуже плавна може бути ознакою автоматики.- Таймінг та варіації: використовується статистичний підхід з алгоритмами для оцінки варіацій моментів дій користувача. Якщо інтервали між подіями майже не варіюються або є надмірно регулярними, система може розпізнати автоматизацію.SearchGuard також здійснює «фінгірпінг» середовища: перевіряє численні HTML‑елементи на сторінці та поведінку в браузері. Перелік елементів включає типові форми та інтерактивні елементи, а також структуру сторінки (наприклад, ARTICLE, NAV, HEADER тощо) та медіа‑елементи.Браузерне середовище піддається перевіркам: navigator.userAgent, мовні налаштування, платформа, параметри CPU, кількість ядер, пам’ять пристрою, роздільна здатність екрана, підтримка точних вимірювань часу тощо. Важливий компонент — виявлення автоматизаційних інструментів на рівні WebDriver: чи присутні сигнатури Puppeteer, Selenium, ChromeDriver, PhantomJS та інші.- SearchGuard використовує криптографію ARX (Addition-Rotation-XOR) для генерації зашифрованих токенів, які «прив’язують» перевірку до конкретних параметрів сеансу.- Константи криптографічного ключа змінюються з кожним оновленням скриптів, що ускладнює створення стабільних обходів.- Скрипт подається з інтегриті‑хешами, які оновлюються у URL-адресах: //www.google.com/js/bg/{HASH}.js. При оновленні кешу клієнта завантажує свіжу версію з новою параметризацією.- Навіть якщо розібрати систему повністю, обхід перестає тягнутися надовго: через часті оновлення та динамічні параметри захисту.Що говорить SerpAPI- SerpAPI запевняє, що вони законно надають доступ до публічних даних пошуку; компанія стверджує, що їхня діяльність обмежується публічними даними, доступними у браузері, і з них не випливає порушення умов.- Водночас DMCA 1201 дозволяє карати обходження технічних захистів. Якщо Google доведе, що SerpAPI навмисно обходив SearchGuard, презумпція «публічних даних» може бути непорушеною.- Позиція SerpAPI вказує на те, що позов має на меті захистити інфраструктурні ланки для підтримки конкурентних AI‑платформ і технологій.