ШІ та аналітика даних — власний досвідНещодавно у мене виникла задача — отримати певні аналітичні дані з доволі великого файлу: це JSON, 60 МБ, понад 2 млн рядків і 53,7 млн символів. Отже, як отримати корисну аналітику з цього файлу?Перша ідея — завантажити все в ШІНайлегше — закинути цей JSON-файл у ChatGPT і попросити його проаналізувати всі дані. Але є одне "але" — “Unknown error occurred”. Це сталося через кілька обмежень: розмір файлу та кількість токенів. У такому випадку варто скористатися платформою OpenAI для більш гнучкого налаштування, але, по суті, ці обмеження там залишаються. Плюс, навіть якщо розбити файл на менші частини, це потребувало б значної кількості токенів для обробки.Друга ідея — використати сторонній сервісОсновне, що зупинило мене тут, — це тривалий пошук потрібного сервісу та відсутність безкоштовного тарифу. Платити додаткові кошти за аналіз я не хотів, тому відразу перейдемо до третьої ідеї.Третя ідея — використати ШІ для створення кодуОтже, у нас є великий файл, який потрібно обробити. Тут може допомогти одна з популярних мов програмування: JS, Python або якась інша. Суть рішення: описуємо структуру JSON-файлу, пишемо промпт, отримуємо код. Далі всі задачі, які ви хочете вирішити, виконуються мовою програмування. Якщо виникають помилки, ШІ також допоможе з їх виправленням. У підсумку: 200 рядків коду — і ми отримали купу даних.Що далі?Отриману статистику вже можна обробляти ШІ напряму, без використання мови програмування та коду. Надсилаємо статистичні дані в ChatGPT і отримуємо деталізовані графіки різних форматів. До речі, це стандартний функціонал ChatGPT: графіки реалізуються за допомогою мови програмування Python, а саме — модуля matplotlib.pyplot із бібліотеки Matplotlib. Цей модуль дозволяє створювати різноманітні графіки, використовуючи стиль, схожий на MATLAB, звідки й походить його назва. Тому ви можете бути впевнені в точності та коректності графіків.ВисновокУсе зводиться до того, що для вирішення доволі великої, складної, комплексної задачі ми ставили запитання ШІ, отримували відповіді та, на основі цих відповідей, повністю вирішували задачу. До речі, у такому форматі вирішується 80–90% задач.До речі, файл, який згадується на початку, — це вивантажена історія одного чату.