Новости ИСП РАН

ИСП РАН принял участие в форуме «Армия-2023»

ИСП РАН представил ряд технологий на выставке, а также провёл круглый стол «Системное программирование как ключевое направление противодействия киберугрозам».

Участники круглого стола обсудили, как бороться с киберугрозами, чего не хватает для создания безопасных технологий искусственного интеллекта и какие нововведения планируются в сфере сертификации программного обеспечения.

Арутюн Аветисян, директор ИСП РАН, академик РАН:
Мы проводим круглый стол не первый год и уже вышли на траекторию, когда не нужно убеждать, что стоит уделять внимание этому направлению. Технологии меняются с огромной скоростью, и средства разработки программного обеспечения тоже должны постоянно улучшаться. Например, вызов, который актуален последние несколько лет – это искусственный интеллект, его внедрение во все сферы, доверие ему. Необходимо разрабатывать инструменты, способные ответить на этот вызов. Именно поэтому в нашем институте по инициативе Минэкономразвития был создан Исследовательский центр доверенного искусственного интеллекта. Постепенно на основе научных знаний появится и соответствующая регуляторика, которая поможет сделать безопасные технологии ИИ.

В круглом столе приняли участие более 80 экспертов: представителей Минцифры, Минобороны и ФСТЭК России, отечественных компаний и ассоциаций («Лаборатория Касперского», «Доверенная платформа»), испытательных лабораторий («Фобос-НТ», «ЦБИ»), вузов (МГТУ им. Н.Э. Баумана) и др.

Евгений Хасин, заместитель директора Департамента обеспечения кибербезопасности Минцифры России, подчеркнул важность формирования отечественных репозиториев кода, а также повышения уровня безопасности российских облачных хранилищ – особенно в контексте развития единой цифровой платформы «ГосТех». «Сейчас для безопасного облачного хранения данных удаётся продвигать идеи безопасной разработки применительно к «ГосТеху». Это первый этап, а к концу этого года или к середине следующего уже можно ожидать реальные результаты, и через год можно будет о чем-то интересном и масштабном рассказать», – резюмировал Евгений Хасин.

Дмитрий Шевцов, начальник управления Федеральной службы по техническому и экспортному контролю (ФСТЭК России), рассказал о работе ведомства по обеспечению информационной безопасности и отметил рост актуальности этого направления в связи с ростом кибератак, которые направлены на уязвимые места в ПО. Он подчеркнул, что сегодня многие разработчики уже осознают, что в сложившихся условиях сложно добиться успеха для своих продуктов без применения технологий безопасной разработки. До ноября 2023 года ФСТЭК России планирует разработать и направить в Минюст России порядок сертификации процессов безопасной разработки, а в 2024 году приступить к сертификации. «Для того, чтобы активировать внедрение безопасной разработки у наших отечественных разработчиков средств защиты информации, мы решили фактически предложить такой вариант: тем, кто сертифицировал у себя процессы безопасной разработки, будет разрешено самостоятельно проводить испытания своей продукции. Сразу скажу: это будут далеко не все разработчики», − отметил Дмитрий Шевцов.

Представитель Минобороны России Сергей Кондаков отметил нехватку математических подходов, методов и инструментария для создания отечественного доверенного безопасного ПО с использованием технологий искусственного интеллекта. Кроме того, он подчеркнул, что нужен системный подход к налаживанию работы по сбору данных, заслуживающих доверия. «Информационная безопасность перекликается с функциональной безопасностью. С одной стороны, от тех данных, на которых обучены модели машинного обучения, зависит качество работы моделей. С другой стороны, данные могут содержать какие-то «отравления», которые могут быть небезопасны», − сообщил Сергей Кондаков.

В числе технологий, которые институт представил на выставке форума, ‒ инструменты обеспечения разработки безопасного ПО (статический анализатор Svace, комплекс статического и динамического анализа Crusher, инструмент определения поверхности атаки Natch и другие), а также комплекс для проведения компьютерного моделирования и инженерного анализа DigiTEF и объединение программно-аппаратных комплексов для контроля над беспилотными системами.

Были представлены также части создаваемой облачной платформы для анализа и разработки доверенных систем, использующих технологии искусственного интеллекта. В частности, демонстрировался механизм защиты нейронных сетей от состязательных атак на основе стикеров (на стенде исследовательских центров искусственного интеллекта, общим с НИУ ВШЭ, ИТМО и Университетом Иннополис). Такие механизмы актуальны в системах распознавания объектов на изображениях, получаемых фото- и видеосъёмкой, и могут представлять интерес для разработчиков. Кроме того, были представлены доверенные версии фреймворков машинного обучения TensorFlow и PyTorch.

«Современный искусственный интеллект – это целый пласт технологий. Внизу лежат «системные» фреймворки и библиотеки, такие как TensorFlow и PyTorch, обеспечивающие базовые операции для работы с нейронными сетями. Это открытые решения, которые разработчики используют как есть, не задумываясь о деталях внутреннего устройства. Однако в них есть ошибки, которые могут привести к небезопасной работе приложений. Поэтому мы разработали методику, как анализировать эти фреймворки, а также любые другие библиотеки и инструменты, в том числе проприетарные», − рассказал руководитель Исследовательского центра доверенного искусственного интеллекта (ИЦДИИ) ИСП РАН Денис Турдаков.

Источник