І останнє, але менше з тим важливе:

Feedback loop / observability (the tracks in the road, and rein tension)

Для чого це: щоб дізнатись, що агент насправді зробив і де помилився — і в моменті, і постфактум.

Чому важливо: без цього ви дізнаєтесь про помилку запізно (в найгіршому випадку через цю помилку станеться щось незворотнє — скажімо, утече ваш АРІ ключ абощо).

Як створити: прослідкуйте за ланцюжком думок та дій агента та надайте йому зворотній звʼязок. В ідеалі слідкуйте за ним під час виконання нової задачі або коли ви бачите, що агент раптом перестав справлятись з тим, що раніше робив норм. Питайте в агента, що він міг би зробити інакше, чого навчився.

Як підтримувати: створіть та постійно попвнюйте evals. Це найкращій шлях перевірки агента на відомих задачах. Якщо на таку фундаментальну роботу немає часу, то є варіант простіше: робіть постмортем знайдених помилок та затупів агента та просіть його покращити системну інструкцію, скіли, оновити памʼять на основі цього.

Основна проблема: часто-густо користувачі перевіряють лише фінальний результат роботи агента, а нена проміжні кроки, тож неправильний процес, що видає правильну на вигляд відповідь, лишається непоміченим — аж поки не видасть неправильну.