СyberNews | Microsoft відкрила RAMPART і Clarity для безпечної розробки AI-агентів...

Microsoft відкрила RAMPART і Clarity для безпечної розробки AI-агентівКомпанія представила два відкриті інструменти — RAMPART і Clarity. Вони допомагають командам перевіряти безпеку AI-агентів ще під час розробки, а не лише після запуску.RAMPART — це фреймворк для тестування безпеки AI-агентів на базі Pytest та PyRIT. Він дозволяє створювати сценарії, які імітують атаки або перевіряють поведінку агента у ризикових ситуаціях.Зокрема, інструмент допомагає виявляти непрямі prompt injection, коли недовірені дані потрапляють до AI-системи через файл, електронний лист або вебсторінку. Також RAMPART може перевіряти ризики витоку даних і небажані зміни поведінки.Clarity працює на етапі проєктування. Він допомагає командам уточнювати цілі, перевіряти припущення, аналізувати можливі збої та фіксувати рішення до написання коду.Рекомендації для користувачів:• Тестуйте AI-агентів на етапі розробки, а не лише перед релізом.• Перевіряйте доступ агентів до файлів, пошти, вебсторінок та зовнішніх інструментів.• Документуйте ризики, припущення й рішення щодо безпеки.🔗Дізнайтеся більше за посиланнямПІДПИСАТИСЯ НА КАНАЛВІДВІДАТИ НАШ САЙТ#cybernews#cybersecurity#itspecialist