Google дозволяє блокувати частину JS

Search Engine Journal переказав відповідь Джона Мюллера на запитання з Reddit про age-verification popup, який сайт зобов'язаний показувати відвідувачам. Головний висновок: Googlebot можна навмисно не дати завантажити ресурси такого попапа через robots.txt, якщо сторінка без них продовжує коректно рендеритися.

Що саме підтвердив Мюллер
Питання стосувалося гіпотетичного сценарію: сайт підтягує попап перевірки віку з окремого домену через API, і власник хоче, щоб Google його не бачив під час рендерингу. Джон Мюллер відповів, що це «загалом спрацює», а також назвав альтернативу - заблокувати конкретний JavaScript-файл, який завантажує цей попап.

paragraphs continued? no

Є два способи блокування
Перший варіант - закрити від краулінгу зовнішній домен, з якого приходить ресурс попапа. Якщо Googlebot дотримується robots.txt і не може отримати вбудований контент через iframe або виклик скрипта, він не завантажить ці ресурси і не використає їх під час рендерингу сторінки.

Другий варіант - заблокувати на своєму сайті конкретний JS-файл, який відповідає за завантаження попапа, наприклад окремий load-verification-popup.js. Мюллер окремо застеріг: якщо один файл робить багато різних речей, блокувати його не варто.

Чому це не суперечить старому правилу
Історично Google наполягав, що Googlebot має бачити ресурси, які бачить користувач, особливо після переходу до рендерингу сторінок із JavaScript і CSS. У тексті нагадується, що в минулому сайти, які блокували критичні ресурси, тимчасово втрачали позиції.

У цій відповіді йдеться не про всі ресурси сторінки, а про окремий елемент інтерфейсу - age-verification popup. Це не скасовує загального підходу Google до доступності важливих ресурсів, але показує, що для частини JS-залежного вмісту власник сайту все ще може контролювати, що саме бот використовує під час рендерингу.

Де межа цього підходу
Мюллер додав важливу умову: сторінки мають нормально завантажуватися і без тих URL, які Googlebot не може отримати. Для реклами це, за його словами, звична схема - бот намагається підвантажити ресурс під час рендерингу, але якщо robots.txt його блокує, ресурс просто не використовується.

Для попапа перевірки віку це, за словами Мюллера, зазвичай не проблема. Висновок обмежений саме цим сценарієм: коли заблокований ресурс не ламає завантаження сторінки і не є критичним для її основного відображення.

Ця відповідь не означає, що Google дозволяє ховати будь-який видимий користувачу контент. Вона показує вужче правило: деякі зовнішні або окремі JS-ресурси можна блокувати для рендерингу Googlebot, якщо сторінка без них працює коректно.

Джерело: Search Engine Journal - Googlebot і robots.txt