Asperitas и другие облачные решения

Asperitas и другие облачные решения

Asperitas – платформа организации ресурсоёмких вычислений и хранения данных в научных, образовательных и коммерческих целях. Кроме одноимённой облачной среды в состав платформы входят также Michman − оркестратор платформенных распределённых сервисов и Clouni − мультиоблачный оркестратор инфраструктурных ресурсов, основанный на стандарте TOSCA. Кроме того, в число облачных решений ИСП РАН входит Fanlight − платформа для объединения исследований в web-лаборатории и Cotea − системное ПО, предназначенное для программного контроля исполнения сценариев Ansible.

Облачная среда Asperitas

В основе облачной среды Asperitas лежат открытые технологии Openstack и Ceph, которые являются современным стандартом для построения больших приватных облачных систем. Дистрибутив поставляется как готовое решение, включающее всё необходимое для настройки, в том числе TUI-установщик.

Другие преимущества Asperitas:

• Отчуждаемость решений: инфраструктура воссоздаётся в изолированной среде с полным контролем над ней за счёт использования открытых стандартов, свободного ПО, научных разработок ИСП РАН, а также изолированного репозитория исходных кодов.
• Высокий уровень безопасности: платформа построена на уменьшенной кодовой базе для сокращения поверхности атаки, а также использует собственные решения по усилению безопасности.
• Стандартные интерфейсы управления виртуальными сетями и вычислительными ресурсами с использованием систем Keystone, Neutron, Nova.
• Блочное хранение данных и расширяемое объектное хранилище на основе распределённой файловой системы Ceph.
• Возможность адаптации платформы под решение задач конкретной предметной области: решение задач механики сплошных сред, анализ больших данных, биомедицина, анализ уязвимости программ и др.

Облачная среда Asperitas включена в Единый реестр российского ПО (№5921).

Краткое руководство пользователя для Облачной среды «Асперитас»

Мультиоблачный IaaS оркестратор Clouni

(Clouni)

Для расширения возможностей управления инфраструктурными ресурсами в ИСП РАН разрабатывается инструмент Clouni, который позволяет развертывать кластеры виртуальной инфраструктуры по нормативным шаблонам TOSCA Simple Profile при помощи инструмента управления конфигурациями Ansible. Его основные характеристики:

• Собственный механизм трансляции декларативных шаблонов TOSCA в скрипты Ansible, благодаря которому пользователь избавляется от необходимости описывать процесс развёртывания инфраструктуры.
• Отсутствие зависимости от используемой облачной платформы (поддерживаются Openstack, Amazon AWS и частично Kubernetes).
• Тонкая настройка параметров виртуальных машин, групп безопасности, портов и сетей.

В тесной интеграции с Clouni разрабатывается фреймворк TOMMANO - инструмент управления сетевыми службами в произвольных облачных средах. Его основные характеристики:

• Автоматизированное развёртывание виртуализированных сетевых функций по их декларативному описанию на языке TOSCA в соответствии со стандартом ETSI MANO.
• Набор заготовленных шаблонов сетевых функций: Firewall, NAT, DPI, DNS, DHCP, анализаторы трафика.
• Организация service function chaining на базе программно-конфигурируемой сети, управляемой контроллером OpenDayLight. Это позволяет управлять сложными сетевыми службами, в которых разные типы трафика обрабатываются различными сетевыми функциями.
• Возможность развёртывания сетевых функций как в режиме standalone с настройкой маршрутизации через параметры TOSCA шаблона, так и в составе сервисных цепочек с автоматической маршрутизацией между узлами.

Универсальный оркестратор Michman

(https://github.com/ispras/michman)

Michman — оркестратор сервисов уровня PaaS для хранения и анализа больших данных, задач машинного обучения, инструментов управления нагрузкой и других. Инструмент позволяет автоматически развёртывать распределённые кластеры в облачной среде с учётом пользовательских требований и настроек. Им предоставляется интерфейс для развёртывания наборов сервисов из заранее настроенных шаблонов и управления их жизненным циклом, в частности:

• кластер для анализа больших данных с системами Apache Spark, Apache Hadoop и Jupyter Notebook, настроенными для корректного взаимодействия между собой на произвольном числе вычислительных узлов;
• СУБД различных классов: от классических реляционных до распределённых аналитических;
• системы хранения и обмена файлами, в частности MiniO, Nextcloud, NFS, GlusterFS;
• система управления ресурсами кластера и планировщик задач Slurm с возможностью использования GPU;
• гибко настраиваемая система оркестрации контейнерных приложений Kubernetes, а также инструменты, работающие поверх неё.
• Инструменты для разработки моделей искусственного интеллекта, в частности Jupyter, MLflow, Ray.

Ключевые преимущества оркестратора Michman − это гибкость и расширяемость списка поддерживаемых сервисов за счёт использования языка TOSCA и поддержки следующих механизмов:

• Substitution Mapping, который позволяет унифицировано использовать однотипные ресурсы. Например, этот механизм позволяет описывать возможность развёртывания на различных ресурсах (в приватном или публичном облаке, на выделенных серверах либо с использованием контейнеров). Также с его помощью можно описать интеграцию какого-либо приложения с различными СУБД, подключение различных файловых систем и другое.
• Select, с помощью которого пользователь может переиспользовать созданные ранее ресурсы или использовать сторонние (внешний репозиторий, общая сетевая файловая система).

Кроме того, Michman позволяет консистентно сохранять состояние всех компонентов облачного приложения, масштабировать узлы, управлять отдельными частями приложения, производить обновление запущенных сервисов.

Платформа Fanlight

https://fanlight.ispras.ru

Fanlight – платформа по предоставлению виртуальных рабочих столов (DaaS − Desktop as a Service). Позволяет разворачивать SaaS-инфраструктуру для вычислительных web-лабораторий. Создана в результате участия ИСП РАН в программе «Университетский кластер» и в международном проекте Open Cirrus (учреждён HP, Intel и Yahoo!). Fanlight базируется на контейнерных технологиях − в отличие от основных решений данного класса, основывающихся на виртуальных машинах. Изначально платформа базировалась на технологии Docker Compose. Позднее появилась реализация на основе Kubernetes. Поддерживает только приложения, разработанные для ОС на базе ядра Linux. Включена в Единый реестр российского ПО (№6066).

Другие преимущества Fanlight:

• Высокая эффективность работы с облачными вычислениями благодаря использованию контейнеров:
  • комфортная работа с тяжёлыми инженерными CAD-CAE приложениями, требующими поддержки аппаратного ускорения 3D-графики для сложной визуализации;
  • поддержка выполнения MPI, OpenMP, CUDA приложений за счет доступа к HPC-кластерам, многоядерным процессорам и графическим ускорителям NVIDIA.
• Расширенные вычислительные возможности на уровне PaaS за счёт подключения аппаратных ресурсов (HPC/BigData кластеры, системы хранения, сервера с графическими ускорителями).
• Возможность кастомизации под заданную прикладную область за счёт интеграции специализированных расчётных прикладных пакетов, а также простоты их добавления. В частности, есть опыт внедрения:
  • в области МСС: OpenFOAM, SALOME, Paraview и др.;
  • в области Gas&Oil: tNavigator, Eclipse, Roxar, Tempest и др.
• Работа через любой тонкий клиент (включая мобильные устройства) без вспомогательного ПО.
• Развёртывание на сервере, вычислительной ферме, в облаке (с уровня IaaS), в кластере Kubernetes или в собственном облачном ЦОД. Версия на основе Kubernetes позволяет также использовать различные CRI-движки исполнения контейнеров.

Инструмент Cotea

https://github.com/ispras/cotea

Cotea – инструмент, позволяющий программно запускать Ansible и контролировать его выполнение (Ansible — одна из самых популярных систем по развёртыванию ПО). Cotea позволяет:

• программно контролировать выполнения Ansible, итерируясь по составным частям Ansible-сценария;
• встраивать Ansible в другие системы;
• отлаживать выполнения Ansible, в том числе и интерактивно. Переход в интерактивный режим происходит в случае ошибки выполнения task (составной части Ansible-сценария). Примеры функций, предоставляемых в интерактивном режиме:
  • перезапустить задание, завершившееся с ошибкой;
  • продолжить выполнения сценария Ansible без неудавшегося задания;
  • добавить новую переменную Ansible в процессе исполнения;
  • добавить новый Ansible task в процессе исполнения.

Интерактивный режим позволяет не начинать выполнение сценария заново в случае возникновения ошибок, что особенно важно при работе с большими сценариями.

На данный момент Сotea используется при развёртывании платформы Asperitas. Grpc-cotea является компонентом Michman и Clouni. Именно grpc-cotea позволяет данным системам оркестрации контролировать процесс развёртывания облачных приложений.

Опыт внедрения

Вычислительный кластер на базе Asperitas используется для работы ряда технологий ИСП РАН (в частности, для анализа ОС Android с помощью Svace). Реализованы совместный проект с компанией Huawei (анализ больших графов с помощью технологий обработки больших данных) и инфраструктура поддержки жизненного цикла ОС Tizen, позволяющая организовать процесс совместной разработки компонентов ОС и автоматизировать регулярную сборку и тестирование образов. Кроме того, осуществляется ряд работ при участии Минобрнауки РФ. На базе среды Asperitas реализована облачная Платформа НЦМУ «Цифровой биодизайн и персонализированное здравоохранение».

Возможности платформы Fanlight использовались в ряде совместных проектов по развёртыванию web-лабораторий с ФГУП «РФЯЦ-ВНИИЭФ», ООО «РРС-Балтика», ИПМ им. М.В. Келдыша РАН (разработка технологий для увеличения и эффективного использования ресурсного потенциала углеводородного сырья Союзного государства), а также с Лабораторией механики сплошных сред ИСП РАН (https://unicfd.ru).

По вопросам определения стоимости, приобретения и использования, обращайтесь по адресу asperitas@ispras.ru

Разработчик/участник

Информационные системы