Всім привіт! Остання тема по вашому опитуванню – це feedback loop. Це той елемент, який дозволяє агенту працювати ефективніше та швидше, а також підвищувати якість роботи.

Тут процес схожий на дебриф після польоту, що проводять пілоти літаків. При цьому важливо зрозуміти, що сама модель (в цій аналогії це літак) не стане розумнішою від дебрифу, але ефективність або швидкість польоту може зрости за рахунок роботи над помилками та загального покращення процесу.

Після того, як агент виконав поставлену задачу (приземлився), ван має передивитись лог сесії агента, а особливо частину з reasoning та використанням тулів (лог польоту з даними сенсорів та датчиків літака). Необхідно роздивись всі помилки та завтики, а на їх основі зробити правки в необхідний елемент AI harness – це може бути скіл, інструкція, додатковий memory файл про нюанси роботи з певним інструментом тощо (схоже на апдейти процедур та польотних чек лістів у пілотів).

Допомагають в цьому evals, хуки з автоматичним переглядом сесії в кінці, а головне – ваш прямий заклик до ревʼю після виконання задачі. Ви маєте давати агенту фідбек самостійно також коли ви бачите, що агент тупить, забагато ітерується на простих речах або загалом систематично обирає неоптимальний шлях вирішення задачі.