Останнім часом упоровся в інтеграцію AI в різні проєкти і ось що можу розказати.Підключаючи LLM до проєкту для аналізу якоїсь інформації, або детекту слів на аудіо, тексту на фото, початківці часто купують апі ChatGPT, що насправді може бути не дуже рентабельним на великих обʼємах і тим паче зовсім невигідним, якщо ваш застосунок для широкого використання великою кількістю користувачів.Тому для себе відкрив ollama - щось накшталт докеру для ШІ, просто командою гетнув модельку і запустив. Також же вбудований REST* API сервер, що дає змогу дуже комфортно комунікувати з мережею. А де хостити? Найдешевші ціни на сервер з GPU можна знайти на vast.ai, але є і serverless рішення, якщо ви не маєте постійного навантаження і не хочете платити за сервак.Наступний нюанс, коли у вас своя нейронка - а як паралелити? А ніяк🤩, тому будьте готові, що конкурентні запити користувачів доведеться ставити в синхронну чергу на обробку, бо якщо ви запустите 2 скрипта на GPU, буде гірше ніж по черзі 1, або запити взагалі відваляться.Якщо ви плануєте генерувати зображення, то рекомендую не віддавати їх зі свого серверу/serverless а завантажувати в дата сторедж R2 від Cloudflare. Ви спитаєте чому? Тому, що у будь якого хостинг провайдера є ліміти на мережевий трафік. Наприклад в DigitalOcean в найдешевшому дроплеті 500GB, а у R2 безкоштовні ліміти таки жирні, що навряд ви іх перевищите.Який пет проєкт можна зробити, щоб потренуватись:- AI модерація чатів (банить шлюхоботів і тд)- Розважальні боти для групових чатів.- Аналізатори робочих чатів для підведення підсумків (такий я прям продав вже)Якщо було корисно з вас лайк