В тіні велетнівПоява рішень від NVIDIA на базі архітектури Blackwell, таких як Spark та Pro 6000, дозволяє запускати в nvfp4 форматі дуже великі моделі (сотні млрд параметрів) на відносно бюджетному сетапі, від 5 до 15к$. Навіть лінійки "ігрових" відеокарт мають відео Ram, на рівні з минулими поколіннями рішень для датацентрів.Вектор цілком зрозумілий, з'являються можливісті до розгортання більших моделей (але чи стає доступнішим процес їх тренування?)Спілкуючись з різними стейкхолдерами в середені країні, я бачу велику зацікавленість в перебудові процесів на використання ШІ. Це доволі очевидний тренд який змушує як бізнеси так і деражавні інституції замислюватися над розбудовою інфраструктури. І оскільки саме ці гравці сприймаються в нашій уяві споживачами поточних і майбутніх розробок українського ШІ-прому, враховувати їх можливості по хостингу моделей доволі важливо.Традиційно ми схильні думати що їх спроможності будуть низькими, оскільки грошей у всіх мало і витрачатися на інфраструктуру дуже не вийде, тому і моделі повині бути відповідними - не великими. Але.. але, як я вже вказав вище, поточні пропозиції на ринку відеокарт, вже дозволяють розгортати умовну gpt-oss 120b з доволі пристойною пропускною здатністю, а це навіть не стеля. І більше того, якщо гравці захочуть заощадити, і придбати щось старіше та дешевше, вони банально не зможуть це зробити, бо Nvidia просто перестає підтримувати та поставляти минулі покоління систем (зараз вже під питанням H100). а купляти Б/У вони не можуть по процедурам.Тобто, будь який бізнес чи державна інституція, яка зараз вирішить придбати мінімальну кількість обчислювального заліза для своїх серверів, вже ймовірно закупить системи які дозволяють розгортати більше ніж Gemma 3 12b. І далі конкуренція за цей вузький ринок виходить в нову площину. Навіть дуже стараючись натюнити меншу модель, ми будемо програвати більшим опенсорсним чекпоінтам, просто через їх розмір. І вендор, для якого важлива якість вирішення конкретної проблеми просто обере те що краще працює. Задачі там здебільшого доволі утилітарні і пов'язанні з внутрішньою оптимізацією процесів. З великою долею вірогідності всі старання робити якісний алаймент на тих тасках будуть помітні мало, і умовний Qwen не видасть свою прихільність партії в контексті дотошних Ragів та пайплайнових тумблерів для процесінгу внутрішнього документообігу. Але звичайно буде гіршим за співмірну по розміру адаптовану та натреновану українську ЛЛМ.Постає питання, чи можемо ми тренувати більші моделі, навіть якщо потенційні користувачі будуть здатні їх розгорнути у себе? Тренування таких громадин, потребує на порядок більшої інфраструктури, та складніших пайплайнів. Досвіду цього в нашому ком'юніті, прямо скажемо, не багато, компьют під таке також знайти буде не просто. Але щоб почати думата над рішенням, потрібно спочатку розгледіти проблему. Або ми зможемо вирости, або актуальний AI назавжди стане для наc накшталт технології напівпровідників, чимось, що ми здатні виключно імпортувати.