#RunAndLearnДивлюсь про побудову фазових портретів для нелінійних систем.https://www.youtube.com/watch?v=vBwyD4JJlSsТрохи провалив дедлайн по сдачі лаб в універі( Але добре що присутня в програмі дисципліна "Методи аналізу і оптимізації складних систем".Колись, коли тільки починав занурюватися в deep learning, вважаю мені пощастило, Kyrylo Sydorchuk намагався розвинути мою інтуіцію з приводу процесів в нейронках, саме з точки зору нелінійної динаміки.Зараз, оскільки доводиться працювати з великими моделями, відчув потребу поглибити своє розуміння, бо наявна чуйка, при перетені певних розмірів ЛЛМок, перестає працювати. Бачите яка цікава неочікуваність, коли складні системи стають занадто складними, вони починають демонструвати, чи не знаю як то назвати, поведінку простих систем. Тобто, над ними можна будувати якусь.. алгебру, і воно працює.. всі ці мерджинги, віднімання та додавання вагів великих моделей, для мене часом взагалі контрінтуітивні. Тож, не можу просто швидко поробити ті лаби і все, намагаюсь дійсно розібратися. І вже це має вплив, думаємо над цікавими експерментами з використанням фазового аналізу для ЛЛМ. Програма максимум - зробити здорову альтернативу дифузійним текстовим моделям, від яких я не дуже в захваті, якраз через відсутність авторегресії)