💫 Представляємо лідерборд LLM для обробки українських текстів!Він містить результати бенчмарків, які ми показували при релізі та код як відтворити їх у себе. Загалом він у себе включає як наші бенчі (Lapa LLM), так і бенчі MamayLM (топова колаба 🤜🤛).💪 Лідерборд: https://huggingface.co/spaces/lang-uk/ukrainian-llm-leaderboard👩‍💻 Код: https://github.com/lang-uk/ukrainian-llm-leaderboardПопереду ще довгий шлях щоб зробити це золотим стандартом для оцінки LLM для роботи з української, але давайте спробуєм.Які апдейти чекають далі:- Завантажити всі логи бенчмарків (для кожної моделі повний лог зараз займає 2 ГБ, треба пофіксати логування)- Додати MMZNO для оцінки візуальних задач- Додати UAlign для оцінювання етичного елайнменту- Додати порівняння ефективності токенізаторів- Додати кількість параметрів- Додати провайдерів API (OpenAI, Anthropic, Google)- Додати оцінювання квантованих моделейНу і ваш фідбек! Залишайте його у Issues на GitHub: https://github.com/lang-uk/ukrainian-llm-leaderboard