Сборники трудов ИСП РАН


Создание виртуальных кластеров Apache Spark в облачных средах с использованием систем оркестрации

О. Д. Борисенко (ИСП РАН, Москва, Россия)
Р. К. Пастухов (ИСП РАН, Москва, Россия)
С. Д. Кузнецов (ИСП РАН, Москва, Россия, МГУ, Москва, Россия, МФТИ, Долгопрудный, Россия)

Аннотация

Apache Spark является одним из наиболее производительных распределенных фреймворков для обработки больших данных в парадигме Map-Reduce. С распространением облачных технологий и предоставления ресурсов по запросу все более актуальной становится задача построения виртуальных вычислительных кластеров для конкретной задачи. В работе представлен краткий обзор разработанного решения для создания виртуальных кластеров Apache Spark в облачной среде Openstack и подведение итогов исследования о способах создания виртуальных кластеров Apache Spark в открытых облачных средах. Решение построено с использованием системы оркестрации Ansible. В работе будет проведено качественное сравнение разработанных в ИСП РАН подходов к решению задачи.

Ключевые слова

Apache Spark, Openstack, Amazon EC2, Map-Reduce, HDFS, виртуальные кластеры, облачные вычисления, Big Data, Apache Ignite

Издание

Труды Института системного программирования РАН, том 28, вып. 6, 2016, стр. 111-120.

ISSN 2220-6426 (Online), ISSN 2079-8156 (Print).

DOI: 10.15514/ISPRAS-2016-28(6)-8

Полный текст статьи в формате pdf Вернуться к содержанию тома