🤯 Чи можуть LLM отримати сертифікат ISTQB?

#ai #istqb

Сьогодні я приніс свіжу дослідницьку роботу, яка точна вас зацікавить.

Fitash Ul Haq та Jordi Cabot задалися питанням - а чи достатньо в сучасних LLM-ок знань для того, щоб здати екзамен ISTQB?

📚 Про ISTQB

На момент дослідження, автори виявили ... 30 різних ISTQB сертифікацій!.

Крім того, в ISTQB є різні типи питань - K1 (запамʼятовування), К2 (розуміння), К3 (застосування), К4 (розбивання питань для кращого запамʼятовування), К5 (оцінка та прийняття рішення), K6 (розробка нових рішень на основі набутих знань).

🧪 Про дослідження

Автори роботи взяли 60 сучасних комерційних та open-source моделей. Далі вони вибрали приклади запитань по кожному сертифікату. Наступним кроком вони прогнали кожну модель по цим запитанням та дивились чи правильно вона відповість на них.

⚡️ Результати - загальні

GPT-5-2025-08-7 та Gemini-3-flash-preview набрали прохідні 65% в усіх 30 наявних сертифікаціях!

З OSS моделей найкраще показала себе Nemotron-Nano (27 з 30 сертифікатів).

З міні моделей кращі були GPT-5-mini та GPT-5-mini-2025-08-07. З нано моделей - GPT-5-nano та GPT-5-nano-2025-08-07. Але ніхто з них не зміг "здати" усі 30 сертифікатів.

⚡️ Результати по рівням запитань

Але що по рівням запитань? Можливо модельки краще згадують терміни, але не можуть застосовувати знання?

- На рівні К1 Gemini-3-flash-preview відповіла з точністю 98%.
- На рівні К2 в Gemini-3-flash-preview точність вже була 89%
- На рівні К3 Gemini-3-flash-preview подолала 85% запитань
- На рівні К4 Gemini-3-flash-preview - 82%

Кращі OSS моделі (але далеко не 95%):

- К1 - Qwen2.5vl:32b
- К2 - Qwen2.5vl:72b
- К3 - Llama 4 Maverick
- К4 - Qwen2.5vl:72b

🔥 Висновки

- З комерційних моделей Gemini-3-flash-preview краща. GPT-5-2025-08-7 не відстає.
- З OSS моделей автори рекомендують Qwen2.5vl:32b

Моделі не досліджувались на питаннях рівня К5 та К6 (то ж тут в людей ще є шанси!) 😂

А у вас є усі 30 сертифікатів ISTQB?

😃