Прокидаєшся такий зранку, а тобі кажуть, що навіть у ШІ є точка J 😔

Anthropic знайшли у Claude щось типу короткочасної пам'яті — місце, в якому LLM проводить роздуми та намагається виконувати щось типу абстрактного мислення. Назвали це місце J-space 😋

Там можна заглянути у «мозок» моделі й подивитися наочно, як саме вона тримає в «голові» всі можливі наступні токени, підбираючи наступну відповідь. Цікаво, що це J-space можна відключити, але це лоботомія для LLMки — можливість робити thinking і виконувати завдання step-by-step тупо зникає. Також важливо, що J-space можна не тільки читати, а й впливати через нього на відповіді моделі. Наприклад, якщо сказати Claude думати про Пса Патрона під час формування відповіді, ШІ буде готувати відповідь з думкою про те, хто тримає його район. Одна з найзагадковіших речей у роботі LLM — так званий «чорний ящик», який не дозволяє називати роботу моделі тупо перемноженням матриць. І сьогодні blackbox став трішки зрозумілішим 💃 ооо донат на збір (залишилося 57 749.4)