QAMania | Модель якості для AI систем#ШтучкаІнтелект #ТестуюШтучкуЩо таке якість...

Модель якості для AI систем#ШтучкаІнтелект #ТестуюШтучкуЩо таке якість програмних продуктів знає не тільки лиш кожен тестувальник, але й не кожен, хто не знає, знає, що є спеціальне доповнення до стандарту ISO, яке фокусується на атрибутах якості саме AI продуктів.Це доповнення називається ISO/IEC 25059:2023 - Quality model for AI systems. Й по суті описує той факт, що AI система - це теж програмний продукт, для якого актуальні всі атрибути якості описані в добре відомому нам стандарті ISO/IEC 25010:2023 (ми про нього писали детально ось тут: ISO 25010:2023 vs 2011 - Якість стала якісніше?), але з деякими нюансами.Ці нюанси виглядають або як додаткові під-характеристики атрибутів якості, або як уточнені.Коротенько про ці нюансики:🤖 User controllability - по суті це про наявність рубильника, яким можна штучку відрубити якщо щось в фізичному світі пішло не так.🦎 Functional adaptability - про вміння ШІ підлаштовуватись під зміни навколо: підкинули нових даних, змінилося середовище - і воно вже "думає" трохи інакше. Також про те, що іноді ця «адаптивність» може випадково підхопити й підсилити не ті ідеї.🎯 Functional correctness - про недетермінованість ШІ, в якого завжди є певний шанс на промах, бо воно працює з ймовірностями. Тому важливо чітко міряти, наскільки воно влучає в ціль, і пам’ятати, що іноді заради швидкості чи стійкості доведеться трохи жертвувати точністю. 🛡 Robustness - про вміння ШІ тримати удар: працювати навіть якщо дані криві, чи хтось намагається його намахати своїми навмисно чи не навмисно дурними промптами. 🛑 Intervenability - ось з цим нюансом в мене особисто виникли проблеми розуміння, бо дуже схоже на "рубильник" (User controllability), можливо в трохи мʼякішому його розумінні - щось накшталт кнопка «стоп-паніка»: побачив, що ШІ робить дурниці - швидко перевів його з небезпечного режиму в безпечний. Дочекаюсь коли в мене зʼявиться повний текст стандарту - щоб краще розібратись чи є відмінність.🔍 Transparency - моє улюбдене :) про те, щоб у ШІ не було «чорних ящиків». Має бути зрозуміло, як і чому воно робить свої недетерміновану магію: що в нього під капотом, які дані він бачив і як все це зліпив у рішення. Це і довіру підвищує, і помилки легше ловити.В наступних дописах розберемо альтернативи цьому стандарту (так, такі є!)Також спробую підібрати практичні й не сильно задротські приклади тестів.А ви тим часом пишіть в коментах, чи вже доводилось зіштовхнутись в роботі з цими характеристиками якості AI.