Highload — медіа для розробників | Nvidia представила перший комп’ютер для локального запуску LLM-моделей...

Nvidia представила перший комп’ютер для локального запуску LLM-моделейКомпанія Nvidia почала продаж «компактного суперкомп’ютера» DGX Spark вартістю $3999 — він призначений для локальної роботи з LLM-моделями. Одним із перших пристрій отримав Ілон Маск. Засновник і генеральний директор Nvidia Дженсен Хуанг особисто подарував комп’ютер в будівлі SpaceX. DGX Spark поєднує в собі не тільки відеокарти та процесори Nvidia, але й інструменти, які дозволяють прискорити розробку додатків на базі штучного інтелекті, а також готові рішення та фреймворки для навчання та розгортання моделей.Комп’ютер має продуктивність в 1 петафлопс при енергоспоживанні 240 Вт. Об’єм об’єднаної пам’яті процесора та GPU — 128 ГБ. Для порівняння: попередня модель (DGX-1) забезпечувала 170 терафлопс при 3200 Вт.Потужність пристрою дозволяє виконувати перевірку навченої моделі з 200 млрд параметрів та локально запускати LLM-моделі з 70 млрд параметрів. Читати далі на Highload 👉Telegram Chat | Facebook | LinkedIn | Website