Сборники трудов ИСП РАН


Реализация сервиса для выполнения Apache Spark задач и создания Apache Spark кластеров на основе Openstack Sahara

А.В. Алексиянц (ИСП РАН, Москва), О.Д. Борисенко (ИСП РАН, Москва), Д. Ю. Турдаков (ИСП РАН, Москва; МГУ, Москва; ВШЭ, Москва), А. В. Шер (ИСП РАН, Москва), С. Д. Кузнецов (ИСП РАН, Москва; МГУ, Москва; МФТИ, Москва)

Аннотация

В работе рассматривается задача создания виртуальных Apache Spark и Apache Hadoop кластеров для обработки больших данных в облачных средах. Проведен обзор существующих методов создания Apache Spark кластеров. Также описывается реализованный способ создания Apache Spark кластеров и сервиса для выполнения Apache Spark задач в среде OpenStack. Предложенное решение включено в проект OpenStack Sahara и доступно начиная с релиза OpenStack Liberty.

Ключевые слова

Apache Spark, Openstack, Openstack Sahara, IaaS, PaaS

Издание

Труды Института системного программирования РАН, том 27, вып. 5, 2015, стр. 35-48.

ISSN 2220-6426 (Online), ISSN 2079-8156 (Print).

DOI: 10.15514/ISPRAS-2015-27(5)-3

Полный текст статьи в формате pdf (на английском) Вернуться к содержанию тома