Шлях до повсюдного ШІСтартап Taalas представив свій новий спосіб розгортання нейромереж — вони «запхали» ШІ у власний чипЇхній перший продукт — апаратна версія Llama 3.1 8B, працює у 10 разів швидше, коштує у 20 разів дешевше й споживає у 10 разів менше енергії, ніж наявні рішенняМасове впровадження ШІ стримують два бар’єри:- Висока затримка (моделі відповідають повільніше, ніж працює людське мислення)- Витрати (розгортання потребує величезних дата-центрів, рідинного охолодження та мегаватів енергії)🔘Рішення TaalasКомпанія розробила платформу, що перетворює будь-яку ШІ-модель на спеціалізований чип за 2 місяціВони роблять окремий чип під кожну модель, усувають розрив між DRAM і процесором (об’єднують пам’ять та обчислення) і відмовляються від HBM, просунутого пакування, 3D-стекування та рідинного охолодження — відповідно, переходять до повного спрощенняЗавдяки тому, що вони дотримуються цих трьох принципів, думаю, ще нас здивують🔘РезультатиКремнієва Llama 3.1 8B:- 17 000 токенів/сек на користувача- Доступна як чат-бот і api-сервіс- Підтримка fine-tuning через LoRA- Налаштовуваний розмір контекстного вікнаНавесні планують середньорозмірну reasoning llm, а взимку frontier LLM на платформі другого покоління (HC2)Швидкість відповідей у них у чаті реально вразила, але ніби модель тупувата😏 на api потрібно подавати заявкуСпробуватиБлог