Google випустив TurboQuant - новий алгоритм квантизації, який обіцяє використовувати в 6 разів менше пам'яті для LLM, і пришвидшувати роботу аж в 8 разів, без втрати точності. Квантазиція - це зменшення точності чисел, для того, щоб економити пам'ять. Ці числа здебільшого використовуються для того, щоб вибрати якомога вирогіднішу послідовність токенів. Зменшення точності чисел зазвичай приводить до зменшення точності вибору цього токену, але при тому швидкість пошуку його збільшується :) TuboQuant викоористовує декілька алгоритмів щоб сильніше стискати, а потім швидко відновлювати дані. Таким чином, теоретично, швидкість пошуку збільшується, а точність залишається. Для нас, як для користувачів, це значить що токени стануть дешевшими, ціни на AI доступнішими ( може, ще й локальні моделі легше буде запускати ), а ціни на пам'ять по ідеї мають впасти :) Акціі Micron який закрив консьюмерський напрямок, і перейшов на повністю enteriprise вже впали на 20%.Але знов ж таки - це все поки теорія, а ринок, як завжди, реагує, як ваша мама, коли кажете що без шапки. Хоча, якщо TurboQuant дійсно буде використаний в наступних генераціях моделей, і точність не зменьшиться - буде класно :)