Як запустити LLM локально?

Після публікації мого відео про Qwen 3.8 27b виникло багато питань до того як запустити, які конкретно ваги, параметри і т.д.

Насправді відповідь я дав ще у відео - я сам взагалі не заморочувався з підбором параметрів, запустив Claude Code в авто режимі і просто попросив підібрати найкращий варіант для мого заліза, ще додав, що я хотів би контекстне вікно побільше.

Ось буквально такий промпт: “use llama.cpp to run best fit qwen3.8-27b model for my machine, focus on large context window”. 

Потім ще потрібно було uncensored модель, то попросив аналогічно (цікаво, що хоча один з тестів такої моделі провалився, але для моєї реальної задачі все спрацювало).

Ось попросив зробити Claude Artifact, там є деталі кому цікаво (взагалі дуже подобається фіча з артефактами) https://claude.ai/code/artifact/26dc2ff8-6a90-48ee-a2fa-9b11fa81ac21 

Сьогодні за цим же принципом запускав qwen 3.8 flash next (на іншій машині) - кілька годин роботи Opus 5 і запрацювало (модель там порядка 100 Gb, тому процес не швидкий).

Відео тут якщо пропустили https://youtu.be/gan8uuv-7-s