Наповнений прикладами і розвитком сюжету пост від Nick Cammarata з Goodfire про помилки які привели до того що ми вважаємо глибокі моделі складними для інтерпретації, помилки які тягнуться від перших спроб декодування ранніх CNN та про їх вплив на сучасне поле механістичної інтерпретації.
https://already-clean.goodfire.com/

Стаття велика, але читається легко.
Дуже багато свіжих думок. Стрижневою є та що нейрон інкапсулює в собі не іменник, як часто вважається, а певну дію, яка обмежує область та допомагає наступним шарам.

Важливий приклад який проходить крізь всю статтю, це нейрон в CNN який відповідає одночасно за автомобілі і за собак. До цього вважалось що причина у суперпозиції, в тому як нейромережа стискає інформацію при навчанні для ефективного використання ємності, бо семантично собаки і автомобілі не є близькими. Проте поведінка повторюється на моделях різного розміру, і автор стверджує наступне - автомобілі та собаки можуть бути згруповані разом, тому що вони мають спільну "Позу"). Також підкреслюється важливість не лише того на чому нейрон активується, а і його негативне значення, бо це якраз і дає розмежування потоку, яке важливе для наступних шарів.
Також з захопливих прикладів, це якщо моделі давати на вхід звичайний шум, то вона асоціює його з високочастотними структурами, такими як вовна та дерев'яна кора, і для неї це не просто шум)
Також виділені проблеми які для інтерпретації створює SwiGLU.
Ще одна цікава думка до якої приходить автор, що аналогічно до нейронів ми зможемо використати цей спосіб думати про спеціалізацію нейронів для кращого розуміння експертів в MOE.
В пості повно інтерактивних візуалізацій які дозволять повзаємодітяи з деякими закладеними глибоко в мережі знаннями.

Є класні тейки які охоплюють сучасну індустрію в цілому.
"Neural network is almost a fractal of explanations, of coherent, useful groupings: at the macro scale, in its mechanisms, and at the micro scale, where recursive generalization shapes each one. That points to a goal for interpretability: become another reader."