⚡️Міра Мураті та команда Thinking Machines (якщо хтось забув, це колишня CTO OpenAI) запустили блог «Connectionism», у якому обіцяють ділитися своїми напрацюваннями на тему «зробити ШІ більш прозорим».У першому й поки що єдиному дописі — «Defeating Nondeterminism in LLM Inference» — дослідники TM пояснюють, чому LLM-моделі залишаються недетермінованими навіть якщо встановити температуру в 0. Головна першопричина — неточність операцій із плаваючою комою, особливо на стику операцій із числами різних порядків, помножена на непередбачуваний порядок операцій під час розпаралелювання та накопичення похибки. Як то кажуть, ласкаво просимо у світ чисельних методів та інтервальної математики. :)Хороша новина — є демонстраційний прототип, у якому через torch.library для PyTorch частину масових матричних операцій замінено на інваріантні.P.S. У реальних застосуваннях це поки що має обмежене значення, де варіабельність LLM — радше сила, ніж недолік. А для дослідників, навпаки, важливо точніше керувати моделями та забезпечувати відтворюваність експериментів.#ai #analytics #insightGrowth Digest: IT news & analytics