Чи справді Gemma знає українську краще за інших, а ринок LLM стоїть на порозі великої корекції?

Натрапила на інтерв'ю розробників та керівника волонтерського проєкту LapaLLM Юрія Паніва для DOU, і мені є що розібрати з вами  щодо того, що відбувається з технологіями))

Claude та інші популярні сервіси все ще плутаються в українській граматиці та контексті. Тож група волонтерів створила проєкт LapaLLM. Вони вже навчили 12-мільярдну модель на базі Gemma та зібрали лідерборд для оцінки LLM з українською мовою. За оцінками та бенчмарками команди, у категорії моделей до 30 млрд параметрів саме Gemma 4 показує найкращий результат українською мовою.

Відповіді цієї ЛЛМки не звучать як механічний переклад.

Секрет в інженерії: у Gemma один із найбільших токенайзерів на ринку (~200 тисяч токенів у словнику). І вона розбиває українські слова на якісні змістовні шматки, а не на окремі букви, як це роблять інші моделі. Але, fyi, вона слабша в математиці та написанні коду.

Команда вчила модель видавати перший абзац зі статті Вікіпедії, якщо їй дати назву цієї статті. Очікувалося, що модель ніби зрозуміє концепт.

Але коли їй просто написали слово "Привіт", вона замість вітання видала наукову довідку: “Привіт - це загальне вітання, яким люди користуються…”.

Тому LLM узагальнюють через інтерполяцію, а не екстраполяцію. Вони не мислять абстрактно, а лише знаходять закономірності у наданих даних. Без чіткого ТЗ і результат хз, як то кажуть 😂

Звісно, після таких кейсів постає хвилююче для всіх питання: а що ж буде з AI-інженерами далі? Юрій Панів наводить дуже влучний приклад з еволюції ринку: якщо тренування GPT-2 у 2019 році коштувало приблизно $100 000, то натренувати модель такого ж типу й якості зараз можна всього за 120 секунд на восьми відеокартах H100 – це коштує близько $2 на годину за кожну.

Але, як і з будь-якою технологією, таке радикальне здешевлення не вбиває професію, а навпаки провокує більший попит. Попереду залишається купа складних завдань у закритих контурах, робототехніці та автономній роботі, адже ми не можемо просто поставити LLM на робота й сказати йому: “Йди склади мій одяг”, бо модель неможливо натренувати на десятках тисяч фізичних демонстрацій.

А ви як вважаєте, цю професію теж колись замінять?

І за яких обставин це може статися?

👇