Архітектура МоЕ — 🔤🔤🔤🔤, зустрічайте Mixture of Kittens (ага, мікстура кошенят) 🙄🙄🙄Cursor дуже люблять MoE та використовують у своїх моделях Composer, але є в архітектури один неприємний недолік: для обробки кожного токена модель обирає кількох «експертів», які можуть працювати на різних карточках, через що для відповіді GPU постійно надсилають туди-сюди токени, на що витрачається половина часу на обробку відповіді.Ну типу уявіть собі, що ви питаєте в моделі «Що таке Пітон?» — один експерт краще знається на програмуванні, інший — на тваринах, а третій узагалі готовий написати, що деякі хлопці так називають свого 👁👁👁. І поки вони обробляють ваш запит, токени переганяються від відеокарти до відеокарти й назад.Що пропонує MoK: 🪙 На різних етапах система сама обирає, що швидше: забрати дані з іншої відеокарти чи надіслати їх туди;🪙 Частина ресурсів відеокарти займається обчисленнями, а інша — передаванням даних, щоб ці процеси йшли одночасно;🪙 Дані тимчасово складаються в спеціальну «чергу по колу», тому центральному процесору не потрібно постійно контролювати кожну операцію;🪙 За однакових вхідних даних система завжди видає абсолютно однаковий результат. Це важливо, щоб коректно порівнювати експерименти та навчати моделі;🪙 Як приємний бонус: навчання моделі з такою архітектурою на 41% швидше, а працюють вони у 2.37 разів швидше за інші рішення.Ну й назва мемна, йеап.ооо збір прямо нормально закривається (залишилося 47 213.4)