cтаття про розплутування нейронів віруситься в дата-саєнс (та не тільки) колах

тейк: нейромережі виявились чистішими ніж ми думали

Нік Каммарата з Goodfire - один із тих, хто колись допомагав просувати ідею superposition - написав довге есе, де по суті визнає: ми помилялись

стандартна історія була така: у нейронах каша. один нейрон реагує і на морди котів, і на передки машин, бо мережі нібито бракує місця, і вона пхає в одну шухляду несумісні речі. тому щоб щось зрозуміти, спершу треба розплутати клубок окремою моделлю (sparse autoencoder) і вивчати вже її

а тепер виявляється, що кіт+машина - це просто нейрон «V-форми». вуса, фари, лисячі морди, полум'я - усе V-подібне. спільне було, просто ніхто не дивився уважно

а решта «каші» - це не хаос, а крива оптика. інструменти були слабкі, архітектура стара, а ще нейрон по ходу навчання обростає суміжними значеннями, як гілка - дрібнішими гілочками. кожен крок логічний, а якщо дивитись лише на результат - здається, що там бардак

коли взяли сучасну архітектуру того ж розміру, майже всі нейрони в останньому шарі стали зрозумілими. а в мовній моделі справжня мішанина, за оцінкою автора, це 2-4% нейронів, а не більшість

що це означає простими словами: якщо автор правий, зазирнути всередину ШІ і зрозуміти, чому він відповідає саме так, можна значно раніше й простіше, ніж вважалось. без хитрих обхідних шляхів - просто уважно розглядати, що робить кожна деталь. а чим краще розумієш, що там всередині, тим легше помітити, коли він робить щось не те, а не вірити йому на слово

поки що це гіпотеза, а не доведений факт. але виходить, що чорна скринька - це просто скринька з поганим освітленням