💫 Статтю Model-Aware Tokenizer Transfer (MATT) Микола Гальтюка 👑 (з нашої команди) прийняли на NeurIPS 2026!

🧑‍💻

Код: https://github.com/Goader/matt
📖 Стаття: https://arxiv.org/abs/2510.21954

Багато LLMs уже досить добре розуміють такі мови, як українська, але їхні токенайзери розбивають цей текст на набагато більшу кількість частин, ніж потрібно. Gemma 3 використовує приблизно в 1.5 раза більше токенів для української мови, ніж використовував би український токенізатор, тому кожен запит є повільнішим і дорожчим, ніж мав би бути.

Перейти на кращий токенізатор легко, але тоді модель не може розуміти свої нові токени, а її перетренування, як це роблять зазвичай - це повільно і дорого.

Оскільки модель уже добре володіє мовою, ми даємо їй змогу самій навчитися читати нові токени і розглядаємо tokenizer transfer як self-distillation. Оригінальна модель є вчителем, а та сама модель із новим токенізатором - студентом. Ми зіставляємо їхній attention, оскільки attention - це єдине місце, де токени обмінюються інформацією. Якщо нові токени впливають на решту тексту так само, як і старі, уся інша частина моделі продовжує працювати без змін.

Тренуються лише ембедінги нових токенів, і для цього достатньо кількох GPU-годин. Микола протестував це на Gemma 3 та Qwen 3 для української, арабської, німецької, японської мов та суахілі.

Завдяки MATT ми замінили 80 000 токенів на українські при створенні Lapa LLM, тож тепер український текст займає приблизно в 1.5 раза менше токенів і обробляється відповідно у стільки ж разів швидше.