В нащодавному подкасті про краулінг сайтів, Google розказав про деякі деталі цього процесу. https://www.youtube.com/watch?v=UTAo-mfM75oНайсильніша проблема для пошуковиків це крауліти сайти з динамічними параметрами. Тому що вони можуть створювати безкінечну кількість сторінок.Параметри можуть не змінювати контент сторінки, але гугл про це не знає до того, як перейде за урлом, просканує та проаналізує контент. Більшість подібних проблем зустрічається у ecommerce сайтах, які фільтрують або сортують товари за допомогою динамічних параметрів. Google зараз шукає способи керувати динамічними параметрами за допомогю нових алгоритмів, щоб ідентифікувати зайві урли. А поки що гнучким інструментом залишається robots.txt. Але тут потрібно дуже гарно розуміти свій сайт і особливості роботи з партнерськими ресурсами, які можуть модифікувати ваши урли. Для великих сайтів керування динамічними параметрами допомогає оптимізувати краулінговий бюджет, переглянути інформаційну архитектуру сайту, роботу фасетної навігації та каноничних урлів. І гугл поки що не знає, що він сам може створювати сайтам і своїм сканерам проблему. Тому, потрібно завжди відслідковувати трафік, серверні логи та пошукову видачу, щоб вчасно прийняти додаткові міри.