Институт системного программирования им. В.П. Иванникова РАН

Asperitas и другие облачные решения

Asperitas – платформа организации ресурсоёмких вычислений и хранения данных в научных, образовательных и коммерческих целях. Кроме одноимённой облачной среды в состав платформы входят также Michman − оркестратор платформенных распределенных сервисов и Clouni − мультиоблачный оркестратор инфраструктурных ресурсов, основанный на стандарте TOSCA. Кроме того, в число облачных решений ИСП РАН входит Fanlight − платформа для объединения исследований в web-лаборатории и Cotea − системное ПО, предназначенное для программного контроля исполнения сценариев Ansible.

Облачная среда Asperitas

В основе облачной среды Asperitas лежат открытые технологии Openstack и Ceph, которые являются современным стандартом для построения больших приватных облачных систем. Дистрибутив поставляется как готовое решение, включающее всё необходимое для настройки, включая TUI-установщик.

Другие преимущества Asperitas:

• Отчуждаемость решений: инфраструктура воссоздаётся в изолированной среде с полным контролем над ней за счёт использования открытых стандартов, свободного ПО, научных разработок ИСП РАН, а также изолированного репозитория исходных кодов.
• Высокий уровень безопасности: платформа построена на уменьшенной кодовой базе для сокращения поверхности атаки, а также использует собственные решения по усилению безопасности.
• Стандартные интерфейсы управления виртуальными сетями и вычислительными ресурсами с использованием систем Keystone, Neutron, Nova.
• Блочное хранение данных и расширяемое объектное хранилище на основе распределенной файловой системы Ceph.
• Возможность адаптации платформы под решение задач конкретной предметной области: решение задач механики сплошных сред, анализ больших данных, биомедицина, анализ уязвимости программ и др.

Облачная среда Asperitas включена в Единый реестр российского ПО (№5921).

Краткое руководство пользователя для Облачной среды «Асперитас»

Мультиоблачный IaaS оркестратор Clouni

(Clouni)

Для расширения возможностей управления инфраструктурными ресурсами в ИСП РАН разрабатывается инструмент Clouni, который позволяет развертывать кластеры виртуальной инфраструктуры по нормативным шаблонам TOSCA Simple Profile при помощи инструмента управления конфигурациями Ansible.

Основные характеристики оркестратора Clouni:

• Отсутствие зависимости от используемой облачной платформы. Сейчас поддерживается Openstack, Amazon AWS и частично Kubernetes, в планах − Google cloud и другие платформы.
• Тонкая настройка параметров виртуальных машин, групп безопасности, портов и сетей. Возможность выполнения в ходе развёртывания пользовательских Ansible-сценариев, описанных в TOSCA interface operations, в том числе для настройки ПО на виртуальных машинах.
• Микросервисная архитектура, позволяющая разделить процессы трансляции нормативных TOSCA-шаблонов во внутреннее представление, хранения состояния разворачиваемых кластеров, генерации Ansible-сценариев и контроля их выполнения.
• Параллельное развёртывание независимых узлов с соблюдением графовой иерархии, описанной в TOSCA Simple Profile.
• Поддержка TOSCA Simple Profile v1.0 и частично v1.3.

Универсальный оркестратор Michman

(https://github.com/ispras/michman)

Michman — оркестратор сервисов уровня PaaS для хранения и анализа больших данных, задач машинного обучения, инструментов управления нагрузкой и других. Инструмент позволяет автоматически развёртывать распределённые кластеры в облачной среде с учётом пользовательских требований и настроек. Также предоставляется интерфейс для создания заранее настроенных шаблонов наборов сервисов, в частности:

• кластер для анализа больших данных с системами Apache Spark, Apache Hadoop и Jupyter Notebook, настроенными для корректного взаимодействия между собой на произвольном числе вычислительных узлов;
• СУБД для хранения больших объёмов данных, работающих в распределённом режиме: PostgreSQL, Apache Cassandra, Redis и др.;
• система хранения и обмена файлами Nextcloud с хранением служебных данных в одной из поддерживаемых СУБД;
• система управления ресурсами кластера и планировщик задач Slurm с возможностью использования GPU;
• гибко настраиваемая система оркестрации контейнерных приложений Kubernetes, а также инструменты, работающие поверх неё.

Платформа Fanlight

https://fanlight.ispras.ru

Fanlight – платформа по предоставлению виртуальных рабочих столов (DaaS − Desktop as a Service). Позволяет разворачивать SaaS-инфраструктуру для вычислительных web-лабораторий. Создана в результате участия ИСП РАН в программе «Университетский кластер» и в международном проекте Open Cirrus (учреждён HP, Intel и Yahoo!). Fanlight базируется на контейнерных технологиях − в отличие от основных решений данного класса, основывающихся на виртуальных машинах. Изначально платформа базировалась на технологии Docker Compose. Позднее появилась реализация на основе Kubernetes. Поддерживает только приложения, разработанные для ОС на базе ядра Linux. Включена в Единый реестр российского ПО (№6066).

Другие преимущества Fanlight:

• Высокая эффективность работы с облачными вычислениями благодаря использованию контейнеров:
  • комфортная работа с тяжёлыми инженерными CAD-CAE приложениями, требующими поддержки аппаратного ускорения 3D-графики для сложной визуализации;
  • поддержка выполнения MPI, OpenMP, CUDA приложений за счет доступа к HPC-кластерам, многоядерным процессорам и графическим ускорителям NVIDIA.
• Расширенные вычислительные возможности на уровне PaaS за счёт подключения аппаратных ресурсов (HPC/BigData кластеры, системы хранения, сервера с графическими ускорителями).
• Возможность кастомизации под заданную прикладную область за счёт интеграции специализированных расчётных прикладных пакетов, а также простоты их добавления. В частности, есть опыт внедрения:
  • в области МСС: OpenFOAM, SALOME, Paraview и др.;
  • в области Gas&Oil: tNavigator, Eclipse, Roxar, Tempest и др.
• Работа через любой тонкий клиент (включая мобильные устройства) без вспомогательного ПО.
• Развёртывание на сервере, вычислительной ферме, в облаке (с уровня IaaS), в кластере Kubernetes или в собственном облачном ЦОД. Версия на основе Kubernetes позволяет также использовать различные CRI-движки исполнения контейнеров.

Инструмент Cotea

https://github.com/ispras/cotea

Cotea – инструмент, позволяющий программно запускать Ansible и контролировать его выполнение (Ansible — одна из самых популярных систем по развёртыванию ПО). Cotea позволяет:

• программно контролировать выполнения Ansible, итерируясь по составным частям Ansible-сценария;
• встраивать Ansible в другие системы;
• отлаживать выполнения Ansible, в том числе и интерактивно. Переход в интерактивный режим происходит в случае ошибки выполнения task (составной части Ansible-сценария). Примеры функций, предоставляемых в интерактивном режиме:
  • перезапустить задание, завершившееся с ошибкой;
  • продолжить выполнения сценария Ansible без неудавшегося задания;
  • добавить новую переменную Ansible в процессе исполнения;
  • добавить новый Ansible task в процессе исполнения.

Интерактивный режим позволяет не начинать выполнение сценария заново в случае возникновения ошибок, что особенно важно при работе с большими сценариями.

На данный момент Сotea используется при развёртывании платформы Asperitas, а также является компонентом Michman.

Опыт внедрения

Вычислительный кластер на базе Asperitas используется для анализа информационных потоков во фреймворке Talisman и для работы других технологий ИСП РАН (в частности, для анализа ОС Android с помощью Svace). Реализованы совместный проект с компанией Huawei (анализ больших графов с помощью технологий обработки больших данных) и инфраструктура поддержки жизненного цикла ОС Tizen, позволяющая организовать процесс совместной разработки компонентов ОС и автоматизировать регулярную сборку и тестирование образов. Кроме того, осуществляется ряд работ при участии Минобрнауки РФ.

Возможности платформы Fanlight использовались в ряде совместных проектов по развёртыванию web-лабораторий с ФГУП «РФЯЦ-ВНИИЭФ», ООО «РРС-Балтика», ИПМ им. М.В. Келдыша РАН (разработка технологий для увеличения и эффективного использования ресурсного потенциала углеводородного сырья Союзного государства), а также с Лабораторией механики сплошных сред ИСП РАН (https://unicfd.ru).

По вопросам определения стоимости, приобретения и использования, обращайтесь по адресу asperitas@ispras.ru

Разработчик/участник

Информационные системы