Fuente
Крипто-подорожі з Дмитром | Думав, що підзабив на ферму в АДС і, відповідно, і проксі не знадоблят...
248 Vistas/Alcance
2026-03-22 10:03
Mensaje №972
Думав, що підзабив на ферму в АДС і, відповідно, і проксі не знадобляться. Але, як виявилось, ніфіга.Можете сприймати це, як рекламу, але це реальна історія тижневої давності:Замовнику треба спарсити дофіга авто товарів. Пробно вирішили запустити 1 категорію з двох конкуруючих сайтів, з характеристиками і фото, все як завжди.Але авто товари, напевно, дуже конкурентна категорія, багато бажаючих і собі урвати кусок прибутку, тому не все так просто.Створив парсер, запустив - працює. Спарсив для проби 10 товарів, пофіксив, щоб всі фото скачувались, а не тільки перше - працює.Запустив парсер і почалось: десь після 50 товарів включився Cloudflare "Я - людина". І це в мене були рандомні затримки, юзерагент прописаний, плейрайт, звичайно. І все одно, Cloudflare така падлюка, що не відстане.Довелось приліпити в код свої 5 проксі ipv4 і купити ще 3 Гб резиденських про всяк випадок, вони все одно без терміну давності.Проксі, як завжди, постійно беру на Proxy-Seller, купон на знижку - "DEMIANUA".Резидентські в них, до речі, реально якісні (Cloudflare не палить, як деякі) і зі знижкою пакет на 3Гб виходить десь 2.5 бакси за гіг.І тільки після цього, коли скрипт рандомно їх міняв місцями і парсив одним 30 товарів, потім наступним 50 і так далі, мені вдалось спокійно спарсити 2К+ товарів десь за 4 години (затримки все одно залишив). Тому, як виявилось, проксі можна використовувати не тільки в крипті і інколи без них ніяк.