Друга тема на цей вечір згідно ваших голосів – це agent loop.

Здається, що достатньо підключити тули та надати інструкції щоби модель перетворилась на агента. Але це уявлення хибне і такі "агенти" здатні працювати лише в лабораторному середовищі.

В реальному житті робочі задачі рідко зводяться до простих викликів функції. Щоб справді стати агентом, моделі необхідно:
1. Зрозуміти намір користувача.
2. Написати план наступних дій.
3. Оцінити вхідні дані та визначити, чи їх достатньо.
4. Обрати наступний крок навіть якщо це вибір наступної веб сторінки для пошуку інформації.
5. Перевірити результати попереднього кроку.
6. Слідкувати за виконанням плану та коригувати його за необхідності.
7. Слідувати guardrails.
8. І лише в кінці зібрати аутпут відповідно до вимог.

Звісно, можна обмежитись простими відповідями реактивного чату. І тоді на питання "як у нас справи з клієнтом "Рога та Копита?" отримати результати елементарного пошуку по CRM. Але насправді користувачеві корисною буде повна викладка по картці клієнта, його угодах, дзвінках, контрактах, минулих послугах, зверненнях в сапорт, тощо.

Чим складніші задачі, з якими ви працюєте, чим більша потреба в автономії агентів та чим складніші правила обробки запитів (багато потенційних варіантів дії), тим важливіше створювати agent loop'и.