天麩羅 (Темпура) | УкрТґ | Як просто запустити мовну нейромережу локально? Показую на прикладі la...

Як просто запустити мовну нейромережу локально? Показую на прикладі lapa, мовної моделі, що добре розуміє українську. 1. Ідемо за цим посиланням і скачуємо koboldcpphttps://github.com/LostRuins/koboldcpp/releases1.1. Якщо у вас картка нвідія і якась крута, то качайте koboldcpp.exe1.2. Якщо картка не нвідія, але крута, то koboldcpp-nocuda.exe1.3. Якщо старий комп, то koboldcpp-oldpc.exe2. Зробіть нову теку і покладіть туди koboldcpp.exe3. Качаєте мовну модель за посиланнямhttps://huggingface.co/lapa-llm/lapa-v0.1.2-instruct-GGUF/resolve/main/lapa-v0.1.2-instruct-Q5_K_S.gguf?download=trueі кладете в ту саму теку. Зверніть увагу, мовна модель займає більше 8 гб. 4. Запускаєте koboldcpp. У вас з’явиться вікно. Там нічого не змінюєте, крім поля GGUF Text Model. Вам треба натиснути кнопку Browse і обрати файл мовної моделі lapa-v0.1.2-instruct-Q5_K_S.gguf, який ви скачали. 5. Натискаєте зелену кнопочку Launch, вона праворуч унизу. Якщо у вас кольорова сліпота, просто кнопочку Launch праворуч унизу. Воно напише щось в консолі, а, потім, відкриється браузер, де ви зможете писати, як в звичайному чаті з мовною моделлю. lapa гарно розуміє українську, проте не вміє матюкатися.