Source
Задуха | Про нацвідбір на Lapathon2026Як і обіцяв - пишуДля ранжування анкет уч...
492 Views/Reach
2026-01-19 18:32
Message №9762
Про нацвідбір на Lapathon2026Як і обіцяв - пишуДля ранжування анкет учасників оцінювались такі поля з форми A) "Rate your experience with LLMs"B) "Tell us about your favorite project with LLMs/Agents"C) "Share with us your biggest achievements (GitHub link, Certifications, etc.)"D) "What is your motivation to join Lapathon?"A "Rate your experience with LLMs" було три рівня умовно, і це оцінювалось 1, 2, 3По решті полів (B C D) я зробив промт на основі сумаризованих описів 3х тасків на хакатон, та просив chatgpt-5.2.-codex оцінювати кожне з цих полей.0 - поле пусте1 - згадується LLM/AI але лише у загальному сенсі2 - опис пов'язаний з застосуванням LLM / агенти / RAG, але без конкретного збігу з предметною областю тасків3 - Якщо текст чітко відповідає предметній області та завданням хакатонуДля пункту "Share with us your biggest achievements (GitHub link, Certifications, etc.)" я просив ллм переходить по посиланням, робити коротке самарі та оцінювати його по тій же схемі. (Нажаль не з усіма посиланнями це працювало, наприклад якщо просто гітхаб акаунт, а не репа, то всі репозиторії я не аналізував)І потім я брав максимальне для "Share with us your biggest achievements (GitHub link, Certifications, etc.)" між аналізом просто опису в цьому полі, і оцінок посилань.Типу якщо текст в цьому полі оцінений 1, а інформацію за посиланням модель оцінила в 3 - то бралось 3Далі я робив усереднення по 3 полям B) "Tell us about your favorite project with LLMs/Agents"C) "Share with us your biggest achievements (GitHub link, Certifications, etc.)"D) "What is your motivation to join Lapathon?"І додавав це значення до A) "Rate your experience with LLMs"скор учасника score = A + (B + C + D) / 3Далі логіка була наступнабуло обрано 30 командx) top 10 по сумарному скору учасників (кращі великі команди)y) top 10 по середньому скору учасників (кращі скілові команди)z) top 10 по скору максимального учасника в команді (команди де тащить хтось один або сильні одинаки)І якщо для категорій x, y бралися лише команди з 2+ людей, то для z були включені ті хто вказав "Do you have a team already?" - "No, plan to participate alone" як команди. Було припущення що є дуже скілові люди, які обклалися з усіх сторін агентами і можуть тащити за декількох (Припущення виявилось помилковим)Далі для всіх хто реєструвався один, але був у пошуку команди - ми зробили окремий список відсортований по score. З цього списку ми пропонували командам додавати учасників. Топ 1 у цьому списку був Co-Founder Knowledgator та розробник GLiNER Ihor Stepanov, що підтверджувало релевантність системи оцінювання. З цього списку ми додали командам ще 11 людей (опрацювали ще більше, але не всі погодились)__Деяікі інсайти та висновки:Абсолютно всі учасники які вказували plan to participate alone і не змінили свого рішення протягом хакатону - відвалились не дійшовши до етапу презентаций. Краще булоб взяти замість них команди.Потрібно було оцінювати лінкедінПотрібно було додавати пункт - скільки часу плануєте виділити на хакатон. Навіть учасник з початковими скілами, але часом та відповідальним ставленням зробить більше ніж крутий спеціаліст у якого не буде часу.Додавати команди, замість тих хто вибув вже підчас хактону - не дуже гарна ідея. Це складно організаційно і швидше за все у команд не вистачить мотивації та часу, бо вони будуть в гірших початкових умовах, тому розглядати це, як варіант вирішення помилок допущених при відборі, не варто.p.s. звичайна система не ідеальна, і не дала можливості багатьом крутим людям взяти участь. Але я був в умовах коли мав буквально декілька днів, і якби не реалізував процедуру відбору, то хакатону просто не відбулось би, тому довелось йти на якісь компроміси між якістю відбору та його реальністю, тож не ображайтесь)