Думав, що підзабив на ферму в АДС і, відповідно, і проксі не знадобляться. Але, як виявилось, ніфіга. Можете сприймати це, як рекламу, але це реальна історія тижневої давності:Замовнику треба спарсити дофіга авто товарів. Пробно вирішили запустити 1 категорію з двох конкуруючих сайтів, з характеристиками і фото, все як завжди. Але авто товари, напевно, дуже конкурентна категорія, багато бажаючих і собі урвати кусок прибутку, тому не все так просто. Створив парсер, запустив - працює. Спарсив для проби 10 товарів, пофіксив, щоб всі фото скачувались, а не тільки перше - працює. Запустив парсер і почалось: десь після 50 товарів включився Cloudflare "Я - людина". І це в мене були рандомні затримки, юзерагент прописаний, плейрайт, звичайно. І все одно, Cloudflare така падлюка, що не відстане. Довелось приліпити в код свої 5 проксі ipv4 і купити ще 3 Гб резиденських про всяк випадок, вони все одно без терміну давності. Проксі, як завжди, постійно беру на Proxy-Seller, купон на знижку - "DEMIANUA". Резидентські в них, до речі, реально якісні (Cloudflare не палить, як деякі) і зі знижкою пакет на 3Гб виходить десь 2.5 бакси за гіг. І тільки після цього, коли скрипт рандомно їх міняв місцями і парсив одним 30 товарів, потім наступним 50 і так далі, мені вдалось спокійно спарсити 2К+ товарів десь за 4 години (затримки все одно залишив). Тому, як виявилось, проксі можна використовувати не тільки в крипті і інколи без них ніяк.