👋 Hi everyone! Не сумнівався я в «доброзичливості» X API. Мало того, що API обмежили до мінімуму, так ще й за $200 на місяць ти отримуєш доступ лише до історичних даних за останні 7 днів. «Хай йому грець!» — подумав я, і вирішив повернутися до старого доброго способу — скрапінгу/парсингу (називайте, як хочете) за допомогою Python. Пошукавши, знайшов найвідоміші бібліотеки для скрапінгу x.com: snscrape, stweet, twint. Вони працюють в обхід API, і я почав їх тестувати. Всі, хто тут присутні, напевно, розуміють, що отримати доступ до історичних даних глибиною більше 7 днів, не заплативши щонайменше $5000 на місяць, — завдання нетривіальне. Вищезгадані бібліотеки виявилися практично безсилими проти захисту x.com. Бібліотека stweet у парі з проксі tor-python-easy хоч із труднощами, але трохи пробивала "броню". Проте ненадовго — алгоритми x.com це помічали й блокували запити після кількох спроб 😊. Далі я занурився у світ гіків і почав читати форуми, як можна подолати ці обмеження. З’ясував, що раніше все було значно простіше: все працювало, але потім прийшов Маск, купив Twitter і прикрутив усі гайки. У своєму твіті він навіть зазначив, що інформація має свою ціну, і всім, по суті, сказав «па-па!». Вже майже зневірившись (адже $5k за історичні дані платити зовсім не хотілося), я на тих же форумах натрапив на групу кодерів. Виявилося, що вони були не менше розчаровані необхідністю платити такі суми за дані. Раніше вони розробили мережу, яка з різних точок і дешевих акаунтів збирала дані через X API. Тепер у них є архів даних щонайменше за 2023–2024 роки. Вони теж продають ці данні, але суттєво дешевше. Не буду довго тримати інтригу: історичні дані по Bitcoin (BTC), а саме 680 тисяч твітів за 2023 рік, тепер є і в мене. Цього більш ніж достатньо для тестів і навчання моделі, тож продовжуємо!

🚀

TheBlackSwan