К содержимому
Форум

Microsoft выпустила инструмент Counterfit для автоматизации аудита безопасности ИИ-систем

06 мая 2021, 09:26




Компания Microsoft выпустила программную систему Counterfit, представляющую собой «инструмент автоматизации для проведения тестов над системами ИИ для оценки их безопасности». Новый инструмент распространяется как проект с открытым исходным кодом. Он помогает в проведении «проверки применяемых ИИ-алгоритмов на стойкость, надежность и достоверность получаемых результатов с точки зрения их бизнес-применения».

Microsoft выпустила автоматизированный инструмент Counterfit для оценки безопасности ИИ-систем

Практическое применение ИИ-систем, отмечает Microsoft, требует предварительного проведения аудита на защищенность от злоумышленников и отсутствие угрозы потерь важной или конфиденциальной информации. Однако, как считает разработчик, в настоящее время проведение аудита безопасности таких системах — задача не из легких.

Для выявления направлений оценки ИИ-систем на защищенность Microsoft провела опрос среди 28 компаний. В их число вошли бизнес-компании из списка Fortune 500, правительственные и общественные организации. Целью исследования было определение «применяемых процессов защиты систем искусственного интеллекта». Как выяснилось, 25 из 28 организаций не имеют надлежащих инструментов для защиты ИИ-систем. Для оценки защищенности таких систем, как сделали вывод в Microsotf, необходимы дополнительные инструменты.

Microsoft выпустила автоматизированный инструмент Counterfit для оценки безопасности ИИ-систем

Робот выполняет сортировку монет.

Разработка системы Counterfit была выполнена Microsoft в инициативном порядке. Она стала результатом собственных решений, которые применялись компанией для контроля защищенности систем ИИ, разработки которых ведутся в Microsoft. Counterfit нацелен на организацию «проактивной защиты служб искусственного интеллекта».

Counterfit оценивает системы по нескольким группам сценариев атаки. В настоящее время он работает как автоматизированный инструмент, который пытается скомпрометировать оцениваемую ИИ-разработку. Со слов Microsoft, Counterfit уже научился «масштабно атаковать различные системы ИИ». По оценкам разработчиков, применение такой системы позволяет упростить тестирование систем ИИ, которые обычно проводят специализированные группы в ручном режиме с помощью обычных тестов на проникновение.

Новый инструмент Microsoft опубликован на GitHub.

Ранее редакция THG.ru опубликовала статью об искусственном интеллекте. Искусственный интеллект уже давно занял важное место в научно-фантастической литературе и голливудских блокбастерах. Именно они формируют мнение большинства людей о том, что из себя представляет ИИ, и чего от него следует ожидать. Но насколько это мнение соответствует реальному положению вещей? Давайте разбираться. Подробнее об этом читайте в статье «Искусственный интеллект: правда и вымысел».

Поделиться: Telegram ВКонтакте

Комментарии

Написать комментарий

Комментарии публикуются после проверки. Почта не показывается.