Source
Data Science Talks | Премію з хімії отримали дослідники з DeepMind за розробку алгоритму Al...
309 Views/Reach
2024-10-14 10:58
Message №134
Премію з хімії отримали дослідники з DeepMind за розробку алгоритму AlphaFold. Цей алгоритм на базі ШІ дозволив швидко та якісно прогнозувати тривимірні структури білків на основі їхніх амінокислотних послідовностей і навпаки. Проблема в тому, що кількість можливих варіантів таких послідовностей вимірюються значеннями порядку ~10^100 і пошук функціональної форми білку простим перебором займав би трильярди років (хоча в природі цей процес відбувається миттєво). Цей парадокс названий імʼям біолога Левінталя, був сформульований ще у 1969 році і ось більш ніж 50 років потому новітні досягнення в ШІ допомогли його вирішити, що очевидно відкриває нові можливості в медицині, біотехнологіях тощо 👏👏👏
Отже в попередньому кейсі ШІ виступив інструментом, який допоміг вирішити задачу, яка до цього була фактично не вирішальною - наче все логічно. Що ж за челендж з фізикою 👉 нобелевку з фізики, як я вже згадувала, отримали Джон Гопфілд та Джефрі Гінтон, якого ще називають “хрещеним батьком ШІ”. І отримали вони її фактично за те, що створили ШІ (точніше сказати зробили вагомий внесок в створення) в його сучасній реалізації 🤔 І тут виникає цілком логічне запитання - до чого тут фізика - який контрибʼюшн був зроблений в розвиток цієї галузі? Відповідь дійсно не очевидна та виглядає трохи притягнутою за вуха.
Як демонструє приклад з AlphaFold - ШІ дійсно дає вагомий ефект в розвиток науки в цілому. Такі алгоритми фактично можуть мати імпакт в будь-якій галузі, і якщо дослідники роблять проривні відкриття та отримують визнання, застосовуючи цей інструмент - логічно кого-небудь нагородити за створення такої можливості загалом… Мабуть питань було б менше, якби ця премія була б призначена в галузі математики, але як всім відомо - там Нобелевки не дають =) отже комітет вирішив пошукати коріння в інших галузях. Основне обґрунтування цьогорічної нагороди полягає в тому, що здобутки Гінтон та Гопфілд в розробці методів навчання нейромереж, в багатьох аспектах спираються на теорію статистичної фізики. Зокрема, вони застосували теорію спінового скла для розробки алгоритмів оптимізації під час навчання мережі.
Трохи теорії. Основною проблемою в процесі навчання нейронки є наявність численних локальних мінімумів у просторі параметрів, де модель може «застрягти» під час оптимізації. Тож задача пошуку глобального оптимуму завжди була чи не головним каменем спотикання в теорії глибинного навчання. В той же час в фізиці, спінове скло — це немагнітний матеріал із додаванням магнітних домішок, взаємодія яких не є впорядкованою (тоді коли в звичайних магнітних матеріалах ця взаємодія впорядкована). Такий сплав утворює систему з багатьма локальними мінімумами енергії і виникає задача пошуку конфігурацій спінового скла, які відповідають мінімумам цієї енергії. Якщо ви змогли це все прочитати - то, думаю, аналогія до простору параметрів нейронних мереж стає досить очевидною. Отже Гінтон та Гопфілд у 80х роках минулого сторіччя застосували вже існуючі на той момент підходи моделювання спінового скла для розробки методів навчання нейромереж, чим здійснили певний прорив в процесі створення ШІ. Цікавий факт, що цю теорію намагались застосовувати і до вирішення задачі згортання білків, про яку йшлося вище.
Отже в попередньому кейсі ШІ виступив інструментом, який допоміг вирішити задачу, яка до цього була фактично не вирішальною - наче все логічно. Що ж за челендж з фізикою 👉 нобелевку з фізики, як я вже згадувала, отримали Джон Гопфілд та Джефрі Гінтон, якого ще називають “хрещеним батьком ШІ”. І отримали вони її фактично за те, що створили ШІ (точніше сказати зробили вагомий внесок в створення) в його сучасній реалізації 🤔 І тут виникає цілком логічне запитання - до чого тут фізика - який контрибʼюшн був зроблений в розвиток цієї галузі? Відповідь дійсно не очевидна та виглядає трохи притягнутою за вуха.
Як демонструє приклад з AlphaFold - ШІ дійсно дає вагомий ефект в розвиток науки в цілому. Такі алгоритми фактично можуть мати імпакт в будь-якій галузі, і якщо дослідники роблять проривні відкриття та отримують визнання, застосовуючи цей інструмент - логічно кого-небудь нагородити за створення такої можливості загалом… Мабуть питань було б менше, якби ця премія була б призначена в галузі математики, але як всім відомо - там Нобелевки не дають =) отже комітет вирішив пошукати коріння в інших галузях. Основне обґрунтування цьогорічної нагороди полягає в тому, що здобутки Гінтон та Гопфілд в розробці методів навчання нейромереж, в багатьох аспектах спираються на теорію статистичної фізики. Зокрема, вони застосували теорію спінового скла для розробки алгоритмів оптимізації під час навчання мережі.
Трохи теорії. Основною проблемою в процесі навчання нейронки є наявність численних локальних мінімумів у просторі параметрів, де модель може «застрягти» під час оптимізації. Тож задача пошуку глобального оптимуму завжди була чи не головним каменем спотикання в теорії глибинного навчання. В той же час в фізиці, спінове скло — це немагнітний матеріал із додаванням магнітних домішок, взаємодія яких не є впорядкованою (тоді коли в звичайних магнітних матеріалах ця взаємодія впорядкована). Такий сплав утворює систему з багатьма локальними мінімумами енергії і виникає задача пошуку конфігурацій спінового скла, які відповідають мінімумам цієї енергії. Якщо ви змогли це все прочитати - то, думаю, аналогія до простору параметрів нейронних мереж стає досить очевидною. Отже Гінтон та Гопфілд у 80х роках минулого сторіччя застосували вже існуючі на той момент підходи моделювання спінового скла для розробки методів навчання нейромереж, чим здійснили певний прорив в процесі створення ШІ. Цікавий факт, що цю теорію намагались застосовувати і до вирішення задачі згортання білків, про яку йшлося вище.