Институт системного программирования им. В.П. Иванникова РАН

Asperitas и другие облачные решения

Asperitas – платформа, предназначенная для хранения данных и совершения сложных ресурсоёмких вычислений по запросу. Дистрибутив включает в себя одноимённую облачную среду (№5921 в Едином реестре российского ПО), а также PaaS- и IaaS- оркестраторы (Michman и Clouni). В число облачных решений ИСП РАН входит также Fanlight (№6066 в Едином реестре российского ПО) – платформа для организации web-лабораторий.

Облачная среда Asperitas

Облачная среда Asperitas на базе Openstack и Ceph создана на основе совместного проекта с компанией Dell. Предназначена для вычислений с большими доступными ресурсами. Базируется на открытых современных технологиях, которые являются основными для построения больших приватных облачных систем. Дистрибутив поставляется в виде внешнего HDD-накопителя с TUI-установщиком для узла развёртывания, обладающего всеми необходимыми инструментами для запуска процесса развёртывания.

Asperitas – это:

• Отчуждаемость решений (возможность воссоздания инфраструктуры в изолированной среде с полным контролем над ней за счёт использования открытых стандартов, свободного ПО и научных разработок ИСП РАН).
• Высокий уровень безопасности (среда построена на уменьшенной кодовой базе и использует собственные решения по усилению безопасности).
• Управление виртуальными сетями и вычислительными кластерами с использованием систем Keystone, Neutron, Nova (аналог Amazon EC2).
• Блочное хранение данных, а также расширяемое объектное хранилище на основе распределённой файловой системы Ceph.
• Возможность адаптации под решение конкретных классов задач (решение задач механики сплошных сред, анализ больших данных, анализ программ на уязвимости и др.).

Универсальный оркестратор Michman

Michman − инструмент оркестрации сервисов уровня PaaS в облачной среде для анализа больших данных, задач машинного обучения, решения распределённых задач на кластере и хранения больших объёмов данных. Поддерживает автоматическое развёртывание кластеров с настроенными системами. Позволяет пользователям создавать кластеры в изолированных проектах и отслеживать актуальную информацию о статусе развёрнутых сервисов и кластеров.

Michman предоставляет возможность по запросу развёртывать в облаке виртуальные кластеры с набором сервисов уровня PaaS:

• Кластер для анализа больших данных с полностью настроенными системами Apache Spark, Apache Hadoop, Apache Ignite и Jupyter Notebook, а также с произвольным количеством вычислительных узлов.
• СУБД для хранения больших объёмов данных: PostgreSQL, Apache Cassandra, CouchDB, ClickHouse, Redis. Для ряда СУБД поддерживается развёртывание в распределённом режиме.
• Система хранения и обмена файлами NextCloud.
• Система управления ресурсами кластера и планировщик задач Slurm.
• Система контейнерной оркестрации Kubernetes.

Michman – это:

• Сервис с системой пользователей, изолированных групп и REST API.
• Хранение информации о развёрнутых кластерах, сервисах, их актуальных статусах и точках доступа.
• Хранение шаблонов кластеров, готовых к развёртыванию.
• Развёртывание сложных распределённых систем со всеми доступными комбинациями сервисов по запросу.
• Контроль зависимостей между различными сервисами и их версиями.
• Локальное развёртывание без использования сети Интернет.
• Хранение подробной информации о доступных сервисах, их версиях и конфигурируемых параметрах.
• Удобное добавление поддержки новых сервисов при помощи REST API.
• Интеграция с облачными системами виртуализации уровня IaaS.

Вместе с Asperitas и Michman в дистрибутив входит инструмент Clouni, который позволяет транслировать шаблоны TOSCA Simple Profile YAML в сценарии развёртывания уровня IaaS на базе Ansible.

https://github.com/ispras/michman, https://michman.ispras.ru

Платформа Fanlight

Платформа для организации web-лабораторий Fanlight создана в результате участия ИСП РАН в программе «Университетский кластер» и в международном проекте Open Cirrus (учреждён HP, Intel и Yahoo!). Предназначена для развёртывания SaaS-инфраструктур для вычислительных web-лабораторий. Построена на контейнерных технологиях и предоставляет виртуальные рабочие места в модели DaaS (Desktop as a Service). На данный момент существует в двух версиях. Изначально платформа базировалась на технологии Docker Compose. Позднее появилась реализация на основе Kubernetes. Поддерживает только приложения, разработанные для ОС на базе ядра Linux.

Fanlight – это:

• Высокая эффективность работы с облачными вычислениями благодаря использованию контейнеров:
  • комфортная работа с тяжёлыми инженерными CAD-CAE приложениями, требующими поддержки аппаратного ускорения 3D-графики для сложной визуализации;
  • поддержка выполнения MPI, OpenMP, CUDA приложений за счет доступа к HPC-кластерам, многоядерным процессорам и графическим ускорителям NVIDIA.
• Расширенные вычислительные возможности на уровне PaaS за счёт подключения аппаратных ресурсов (HPC/BigData кластеры, системы хранения, сервера с графическими ускорителями).
• Возможность кастомизации под заданную прикладную область за счёт интеграции специализированных расчётных прикладных пакетов. В частности, есть опыт внедрения:
  • в области МСС: OpenFOAM, SALOME, Paraview и др.;
  • в области Gas&Oil: tNavigator, Eclipse, Roxar, Tempest и др.
• Работа через любой тонкий клиент (включая мобильные устройства) без вспомогательного ПО.
• Развёртывание на сервере, вычислительной ферме, в облаке (с уровня IaaS), в кластере Kubernetes или в собственном облачном ЦОД. Версия на основе Kubernetes позволяет также использовать различные CRI-движки исполнения контейнеров.

https://fanlight.ispras.ru

Опыт внедрения

Вычислительный кластер на базе Asperitas используется для анализа информационных потоков во фреймворке Talisman и для работы других технологий ИСП РАН (в частности, для анализа ОС Android с помощью Svace). Реализованы совместный проект с компанией Huawei (анализ больших графов с помощью технологий обработки больших данных) и инфраструктура поддержки жизненного цикла ОС Tizen, позволяющая организовать процесс совместной разработки компонентов ОС и автоматизировать регулярную сборку и тестирование образов. Кроме того, осуществляется ряд работ при участии Минобрнауки РФ.

Возможности платформы Fanlight использовались в ряде совместных проектов по развёртыванию web-лабораторий с ФГУП «РФЯЦ-ВНИИЭФ», ООО «РРС-Балтика», ИПМ им. М.В. Келдыша РАН (разработка технологий для увеличения и эффективного использования ресурсного потенциала углеводородного сырья Союзного государства), а также с Лабораторией механики сплошных сред ИСП РАН.

По вопросам определения стоимости, приобретения и использования, обращайтесь по адресу asperitas@ispras.ru

Разработчик/участник

Информационные системы