🤖 Ollaya - як Ollama, тільки моделі не балакають, а вирішують

Даєш йому текст і типізовані питання: скарга це чи запит, чи терміново, чи клієнт піде. Назад приходить не абзац, а відповідь з імовірністю. Без генерації токен за токеном. Один прохід моделі.

Приклад із сайту: злий лист про подвійне списання. Модель winnow:e4b за 87 мс на RTX 4090 видала п'ять відповідей. Хоче повернення (0.99), ризик відтоку (0.99), злість 2.89 з 3.

→ точність 0.722 проти 0.738 у хмарного Jev від TypeSafe, зате майже втричі швидше
→ сумісний з API TypeSafe, їхній Python SDK працює без правок
→ десяток відкритих моделей, найменша laya відповідає за 10 мс на процесорі
→ macOS, Windows, Linux, Docker, Apache-2.0

Головне тут - приватність. Тікети й листи клієнтів ніхто не хоче зливати в чужий API заради тегу «refund». Для сортування підтримки чи модерації саме те. Для решти задач є звичайні LLM.

https://ollaya.dev/

📎 Читайте також:
→ CanIRun.ai - які локальні моделі потягне твій комп
→ Cai - локальний AI-екшен на ⌥C
→ Atomic Chat - офлайн-клієнт для локальних LLM

#ai #автоматизація #інструмент