Уявіть 500-сторінкову книгу, і вам треба знайти, що написано на 20-й сторінці. Ви просто відкриваєте потрібну сторінку і читаєте. Якщо провести аналогію з LLM, то вони працюють не так. Вони намагаються втиснути всю книгу в свою пам’ять. І по ходу стискають стільки, скільки можна, щоб влізти в контекст. І як результат багато сторінок по дорозі губиться. Тому може скластися враження, що LLM бачить лише початок і кінець, і трохи середини книги. Дослідники з MIT вирішили цю задачу просто. Вони сказали, що пам’яті нам і не треба. Замість того давайте рухатись, використовуючи код на пошук по тексту, і діставати релевантні дані під запит. Що це дає? Модель не прив’язується до контекстного вікна. Можна зберігати великі об’єми даних. Пошук відбувається швидко і це не вимагає спалювати токени. І по ціні адекватно. Ось робоча бібліотека, яку можна прикрутити до моделі. Геніально просто: майбутнє не в нескінченному контексті, а в тому, щоб модель вміла швидко знаходити потрібне.ші історії | youtube | монобаза