Вебскрапінг (Web Scraping)
#Edu_ITvocab

Що каже гугл?
Вебскрапінг — це перетворення у структуровані дані інформації з вебсторінок, які призначені для перегляду людиною за допомогою браузера.

Складно? Пояснюємо простіше
Уяви, що тобі треба зібрати ціни на всі смартфони з інтернет-магазину. Робити це руками — довго і нудно. Тому можна написати скрипт, який «йде» на сайт, зчитує його HTML-код і витягує лише потрібне: назви, ціни чи відгуки. Для реалізації скрапера ти можеш використати такі інструменти: Scrapy, Playwright тощо. Результат зазвичай зберігають у форматах XML, CSV, JSON або в базі даних для подальшого аналізу. Перед скрапінгом варто заглянути у файл robots.txt, наприклад, site.com/robots.txt, де власники сайту вказують, які дані можна збирати, а які ні.

Вебскрапінг vs вебкраулінг
Їх часто плутають, проте це різні процеси, хоч і взаємопов'язані. Вебкраулер відвідує вебсайт і читає вебсторінки зазвичай з метою створення записів для індексації пошуковими системами, тоді як вебскрапер витягує з них потрібні дані.

Кілька прикладів використання
• «Для навчання нашої моделі не вистачило даних, тому ми на швидку руку заскрапили пару тисяч відгуків з інтернет-магазину».
• «Спершу скрипт краулить сайт, автоматично збираючи доступні посилання, а вже потім інша програма скрапить з них конкретні дані».

Бажаєш дізнатися більше про те, як створюються скрапери? Читай детальніше тут.