Microsoft відкрила RAMPART і Clarity для безпечної розробки AI-агентів

Компанія представила два відкриті інструменти — RAMPART і Clarity. Вони допомагають командам перевіряти безпеку AI-агентів ще під час розробки, а не лише після запуску. RAMPART — це фреймворк для тестування безпеки AI-агентів на базі Pytest та PyRIT. Він дозволяє створювати сценарії, які імітують атаки або перевіряють поведінку агента у ризикових ситуаціях. Зокрема, інструмент допомагає виявляти непрямі prompt injection, коли недовірені дані потрапляють до AI-системи через файл, електронний лист або вебсторінку. Також RAMPART може перевіряти ризики витоку даних і небажані зміни поведінки. Clarity працює на етапі проєктування. Він допомагає командам уточнювати цілі, перевіряти припущення, аналізувати можливі збої та фіксувати рішення до написання коду.Рекомендації для користувачів: • Тестуйте AI-агентів на етапі розробки, а не лише перед релізом.• Перевіряйте доступ агентів до файлів, пошти, вебсторінок та зовнішніх інструментів.• Документуйте ризики, припущення й рішення щодо безпеки.🔗

Дізнайтеся більше за посиланнямПІДПИСАТИСЯ НА КАНАЛВІДВІДАТИ НАШ САЙТ#cybernews#cybersecurity#itspecialist