Asperitas и другие облачные решения
Asperitas – платформа, предназначенная для хранения данных и совершения сложных ресурсоёмких вычислений по запросу. Дистрибутив включает в себя одноимённую облачную среду (№5921 в Едином реестре российского ПО), а также PaaS- и IaaS- оркестраторы (Michman и Clouni). В число облачных решений ИСП РАН входит также Fanlight (№6066 в Едином реестре российского ПО) – платформа для организации web-лабораторий.
Облачная среда Asperitas
Облачная среда Asperitas на базе Openstack и Ceph создана на основе совместного проекта с компанией Dell. Предназначена для вычислений с большими доступными ресурсами. Базируется на открытых современных технологиях, которые являются основными для построения больших приватных облачных систем. Дистрибутив поставляется в виде внешнего HDD-накопителя с TUI-установщиком для узла развёртывания, обладающего всеми необходимыми инструментами для запуска процесса развёртывания.
Asperitas – это:
- Отчуждаемость решений (возможность воссоздания инфраструктуры в изолированной среде с полным контролем над ней за счёт использования открытых стандартов, свободного ПО и научных разработок ИСП РАН).
- Высокий уровень безопасности (среда построена на уменьшенной кодовой базе и использует собственные решения по усилению безопасности).
- Управление виртуальными сетями и вычислительными кластерами с использованием систем Keystone, Neutron, Nova (аналог Amazon EC2).
- Блочное хранение данных, а также расширяемое объектное хранилище на основе распределённой файловой системы Ceph.
- Возможность адаптации под решение конкретных классов задач (решение задач механики сплошных сред, анализ больших данных, анализ программ на уязвимости и др.).
Универсальный оркестратор Michman
Michman − инструмент оркестрации сервисов уровня PaaS в облачной среде для анализа больших данных, задач машинного обучения, решения распределённых задач на кластере и хранения больших объёмов данных. Поддерживает автоматическое развёртывание кластеров с настроенными системами. Позволяет пользователям создавать кластеры в изолированных проектах и отслеживать актуальную информацию о статусе развёрнутых сервисов и кластеров.
Michman предоставляет возможность по запросу развёртывать в облаке виртуальные кластеры с набором сервисов уровня PaaS:
- Кластер для анализа больших данных с полностью настроенными системами Apache Spark, Apache Hadoop, Apache Ignite и Jupyter Notebook, а также с произвольным количеством вычислительных узлов.
- СУБД для хранения больших объёмов данных: PostgreSQL, Apache Cassandra, CouchDB, ClickHouse, Redis. Для ряда СУБД поддерживается развёртывание в распределённом режиме.
- Система хранения и обмена файлами NextCloud.
- Система управления ресурсами кластера и планировщик задач Slurm.
- Система контейнерной оркестрации Kubernetes.
Michman – это:
- Сервис с системой пользователей, изолированных групп и REST API.
- Хранение информации о развёрнутых кластерах, сервисах, их актуальных статусах и точках доступа.
- Хранение шаблонов кластеров, готовых к развёртыванию.
- Развёртывание сложных распределённых систем со всеми доступными комбинациями сервисов по запросу.
- Контроль зависимостей между различными сервисами и их версиями.
- Локальное развёртывание без использования сети Интернет.
- Хранение подробной информации о доступных сервисах, их версиях и конфигурируемых параметрах.
- Удобное добавление поддержки новых сервисов при помощи REST API.
- Интеграция с облачными системами виртуализации уровня IaaS.
Вместе с Asperitas и Michman в дистрибутив входит инструмент Clouni, который позволяет транслировать шаблоны TOSCA Simple Profile YAML в сценарии развёртывания уровня IaaS на базе Ansible.
https://github.com/ispras/michman, https://michman.ispras.ru
Платформа Fanlight
Платформа для организации web-лабораторий Fanlight создана в результате участия ИСП РАН в программе «Университетский кластер» и в международном проекте Open Cirrus (учреждён HP, Intel и Yahoo!). Предназначена для развёртывания SaaS-инфраструктур для вычислительных web-лабораторий. Построена на контейнерных технологиях и предоставляет виртуальные рабочие места в модели DaaS (Desktop as a Service). На данный момент существует в двух версиях. Изначально платформа базировалась на технологии Docker Compose. Позднее появилась реализация на основе Kubernetes. Поддерживает только приложения, разработанные для ОС на базе ядра Linux.
Fanlight – это:
- Высокая эффективность работы с облачными вычислениями благодаря использованию контейнеров:
- комфортная работа с тяжёлыми инженерными CAD-CAE приложениями, требующими поддержки аппаратного ускорения 3D-графики для сложной визуализации;
- поддержка выполнения MPI, OpenMP, CUDA приложений за счет доступа к HPC-кластерам, многоядерным процессорам и графическим ускорителям NVIDIA.
- Расширенные вычислительные возможности на уровне PaaS за счёт подключения аппаратных ресурсов (HPC/BigData кластеры, системы хранения, сервера с графическими ускорителями).
- Возможность кастомизации под заданную прикладную область за счёт интеграции специализированных расчётных прикладных пакетов. В частности, есть опыт внедрения:
- в области МСС: OpenFOAM, SALOME, Paraview и др.;
- в области Gas&Oil: tNavigator, Eclipse, Roxar, Tempest и др.
- Работа через любой тонкий клиент (включая мобильные устройства) без вспомогательного ПО.
- Развёртывание на сервере, вычислительной ферме, в облаке (с уровня IaaS), в кластере Kubernetes или в собственном облачном ЦОД. Версия на основе Kubernetes позволяет также использовать различные CRI-движки исполнения контейнеров.
Опыт внедрения
Вычислительный кластер на базе Asperitas используется для анализа информационных потоков во фреймворке Talisman и для работы других технологий ИСП РАН (в частности, для анализа ОС Android с помощью Svace). Реализованы совместный проект с компанией Huawei (анализ больших графов с помощью технологий обработки больших данных) и инфраструктура поддержки жизненного цикла ОС Tizen, позволяющая организовать процесс совместной разработки компонентов ОС и автоматизировать регулярную сборку и тестирование образов. Кроме того, осуществляется ряд работ при участии Минобрнауки РФ.
Возможности платформы Fanlight использовались в ряде совместных проектов по развёртыванию web-лабораторий с ФГУП «РФЯЦ-ВНИИЭФ», ООО «РРС-Балтика», ИПМ им. М.В. Келдыша РАН (разработка технологий для увеличения и эффективного использования ресурсного потенциала углеводородного сырья Союзного государства), а также с Лабораторией механики сплошных сред ИСП РАН.
По вопросам определения стоимости, приобретения и использования, обращайтесь по адресу asperitas@ispras.ru
Разработчик/участник
Перейти к списку всех технологий