- 30.05.2023
Об уязвимости моделей искусственного интеллекта
30 мая в Тульском государственном университете состоялось последнее в этом учебном году мероприятие в рамках проекта «Цикл научно-популярных лекций для молодёжи «Научное кафе», поддержанного грантом Правительства Тульской области.
Всех участников, а это были преподаватели и студенты Института прикладной математики и компьютерных наук, тепло поприветствовал проректор по научной работе Михаил Сергеевич Воротилин.
Он отметил, что инициаторами данного проекта выступили Совет молодых учёных и Студенческое и аспирантское научное общество вуза. Сама же идея «Научного кафе» была продиктована главным фактором, объединяющим молодых исследователей, — научным творчеством.
Михаил Сергеевич представил присутствующим гостя.
Выпускник 2012 года факультета управления и прикладной математики Московского физико-технического института Алексей Алексеевич Зайцев — кандидат физико-математических наук, старший преподаватель, руководитель лаборатории Исследовательского центра в сфере искусственного интеллекта по направлению оптимизации управленческих решений в целях снижения углеродного следа АНОО ВО «Сколковский институт науки и технологий». Занимается разработкой новых методов обработки последовательных данных и повышением надёжности моделей глубокого обучения.
Студентам и преподавателям ТулГУ молодой учёный прочитал лекцию «Уязвимость моделей искусственного интеллекта».
Модели на основе искусственного интеллекта (нейронные сети) рассказал он, часто лучше человека распознают картинки, речь и понимают язык.
Для решения различных задач с небольшими дополнительными усилиями необходимо использовать базовую (единую) модель. Примером базовой модели может служить GPT-3 от OpenAL, которая способна решать задачи классификации, суммаризации, машинного перевода и многие другие. Для обучения базовой модели нужно определить модель с параметрами, выборку для показа модели и процедуру. При этом имеют значение размер выборки и размер модели.
Модели искусственного интеллекта, продолжил Алексей Алексеевич, подвержены атакам точно так же, как люди уязвимы для атак на их сенсорные системы.
Гость описал алгоритм атаки на примере двумерного шума, подбирающегося таким образом, чтобы как можно быстрее исказить метку, и познакомил с типами атак.
Атаки на модели, сообщил он, происходят из-за многообразия изображений и текстов, а также из-за структуры самой модели. Это обусловлено тем, что в первом случае легко найти объекты, которых нет в обучающей выборке, а во втором — легко понять, как изменить объект.
Чтобы защититься от атак на модели, пояснил гость, необходимо скрыть модель от внешних людей в интернете и ограничить число раз, когда человек может её использовать.
Модели обработки изображений и текста, подчеркнул Алексей Алексеевич, уязвимы для злонамеренных (адверсальных) атак. Но чем меньше известно о модели, тем её труднее атаковать.
Завершающую часть своего выступления молодой учёный посвятил деятельности возглавляемой им лаборатории. Он рассказал об атаках на модели обработки транзакционных данных и защиты от них, атаках на модели в физическом мире, генеративных атаках на модели обработки естественного языка и машинного перевода, улучшении эффективности защиты путём дообучения модели.
После лекции все желающие имели возможность задать гостю вопросы.
— Очень понравилось сегодняшнее мероприятие! Получил много полезной информации, — поделился своими впечатлениями третьекурсник специальности «Информационная безопасность автоматизированных систем» Павел Романов. — Поскольку тема лекции непосредственно перекликается с моей специальностью, то для меня она представляет интерес с профессиональной точки зрения.
Татьяна Крикункова
Фото Дианы Квач, Сергея Марчука
