Повідомлення telegram каналу - @qamania

#devchallenge
⭐️ Завдання №3 - автоматизація
Завдання - соціальний експеримент. Ніяких легенд - потібно будь-яким безкоштовним інструментом, будь-якою мовою автоматизувати 3 простих тест кейса на сторінці https://devchallenge.it В самому завданні сказано, що можна користуватись ШІ і всім, що допоможе вирішити задачу.
По-перше, я та інші судді важаємо, що в 2024 році всі тестери мають хоч трішки розбиратись в автоматизації
По-друге, чергова лякалка, що от тепер, зі штучним інтелектом, розробники автотестери не потрібні. Цікаво подивитись, чи дійсно некодери зможуть успішно вирішити досить тривіальну задачу.
✅ Expected results
🟢Судді мають отримати файли тестів та інструкцію, як їх запустити
🟢Якщо всі кроки інструкції виконані і ми бачимо браузер, що виконує сценарії - це успіх. Ніяких хитрощів і підводних каменів
🟢Особисто я очікував, що більшість піде найпростішим шляхом, і візьме Playwright + TS, і запише тести рекордером
⚠️ Actual results
🟠Люди розучились писати інструкції. Для QA інженера це неприпустимо! 50% інструкцій не містять важливих кроків. Я б мав ставити 0 за такі роботи, але маю навички і досвід, тож запустив майже весь отриманий код. Але серед нас є і судді не автоматизатори. Якщо ваші тести на джаві/JS/Python, а ви не вказали, що цю мову потрібно встановити - тести вже не пройдуть. Якщо ви написали їх на Mac, вони можуть не запуститись на Linux чи Windows. І як мінімум, читайте 1 раз самі, що ви написали 😡
🟠Було декілька грунтовних робіт - не просто файл тесту, а проєкт, з фабрикою браузерів, окремими класами на кроки, а зверху ще й тести написані на Cucumber. На написання такого треба витратити не години, а дні роботи. Як на мене це зайве ускладнення. А ще, не зважаючи на всю помпезність, використані дуже погані локатори типу div/div/div/div/span/div/a. Я б рекомендував витрачати час ефективніше
🟠Були роботи, автори яких пропонували встановити IDE для запуску тестів. Народ, так ніхто не робить - це має бути 1 команда для CLI чи навіть скрипт - запустив - і все працює
🟠Були роботи, які імітували виконання тестів, але по факту, код нічого не робив. Але ми вміємо читати 😀
🟠1 людина написала в інструкції, що тести їй написав ШІ, а надиво - тести гарно працювали!
🟠Загальна статистика:
➡️ Я зміг запустити 50% всіх тестових проєктів
➡️ Топ мов програмування: Python, TS, Java, Kotlin, JS. Я приємно здивований, що Python обрало найбільше
➡️ Топ фреймворків: Playwright, Selenium, Selenide, Cucumber, Cypress, Selenium IDE. Я дуже радів побачити тести на Selenium IDE - щось тепле і лампове з далекого минулого. А головне - це працює і вирішує задачу!
💡 Загальне враження - Автоматизатори - видихайте, ШІ нас не замінить. Не автоматизатори - починайте цікавитись автоматизацією, щоб випадкова задача не поставила вас в незручне становище. А ще мене турбує загальна якість більшості побаченого коду. Я розумію, що це Challenge, і можна не так старатись, але якщо вам за це гроші платять - вчіться робити якісніше!