Реализация сервиса для выполнения Apache Spark задач и создания Apache Spark кластеров на основе Openstack Sahara
https://doi.org/10.15514/ISPRAS-2015-27(5)-3
Аннотация
В работе рассматривается задача создания виртуальных Apache Spark и Apache Hadoop кластеров для обработки больших данных в облачных средах. Проведен обзор существующих методов создания Apache Spark кластеров. Также описывается реализованный способ создания Apache Spark кластеров и сервиса для выполнения Apache Spark задач в среде OpenStack. Предложенное решение включено в проект OpenStack Sahara и доступно начиная с релиза OpenStack Liberty.
Об авторах
А. В. Алексиянц
ИСП РАН
Россия
Россия
О. Д. Борисенко
ИСП РАН
Россия
Россия
Д. Ю. Турдаков
ИСП РАН; ВМК МГУ; НИУ ВШЭ
Россия
Россия
А. В. Шер
ИСП РАН
Россия
Россия
С. Д. Кузнецов
ИСП РАН; ВМК МГУ; Московский физико-технический институт (государственный университет)
Россия
Россия
Список литературы
1. Jeffrey D., Sanjay G. MapReduce: Simplified Data Processing on Large Clusters. OSDI'04: Sixth Symposium on Operating System Design and Implementation, San Francisco, CA, December, 2004.
2. Официальная страница проекта Hadoop - http://hadoop.apache.org/
3. Официальная страница проекта Infinispan - http://infinispan.org/
4. Официальная страница Cloudera CDH Apache Hadoop - http://www.cloudera.com/content/cloudera/en/productsand-services/cdh.html
5. Официальная страница BashoRiak - http://basho.com/riak/
6. Официальная страница Apache Spark - http://spark.apache.org/
7. M. Chowdhury, M. Zaharia, I. Stoica. Performance and Scalability of Broadcast in Spark. 2010.
8. Официальная страница VMWare Serengeti - http://www.vmware.com/hadoop/serengeti
9. Официальная страница Cloudera Manager - http://www.cloudera.com/content/cloudera/en/products-andservices/cloudera-enterprise/cloudera-manager.html
10. Buyya R., Broberg J., Goscinski D. Cloud Computing: Principles and Paradigms. Wiley, 2011, 664 P.
11. Buyya R., Yeo C. S., Venugopal S. Market-oriented cloud computing: Vision, hype, and reality for delivering it services as computing utilities. CoRR, (abs/0808.3558), 2008
12. Обзор архитектуры Swift - http://docs.openstack.org/developer/swift/overview architecture.html
13. Web Services Description Language (WSDL) Version 2.0 Part 1: Core Language - http://www.w3.org/TR/wsdl20/
14. Nurmi, D. The Eucalyptus Open-Source Cloud-Computing System. Cluster Computing and the Grid. 2009. 10.1109/CCGRID.2009.93
15. Nilson J. Hadoop MapReduce in Eucalyptus Private Cloud. Bachelor's Thesis in Computing Science. Umea, Sweden, 2011
16. Официальная страница Openstack Heat - https://wiki.openstack.org/wiki/Heat
17. О. Д. Борисенко, Д. Ю. Турдаков, С. Д. Кузнецов. Автоматическое создание виртуальных кластеров Apache Spark в облачной среде OpenStack. Труды Института системного программирования РАН, том 17, 2009 г. Стр 31-50.
18. Официальная страница Amazon Elastic Compute Cloud (EC2) - http://aws.amazon.com/ec2/
19. Creeger, Mache. Cloud Computing: An Overview. ACM Queue 7. 5. 2009
20. OpenStack Sahara roadmap - https://wiki.openstack.org/wiki/Sahara/Roadmap
21. Архитектура OpenStack Sahara - http://docs.openstack.org/developer/sahara/architecture.html
Рецензия
Для цитирования:
Алексиянц А.В., Борисенко О.Д., Турдаков Д.Ю., Шер А.В., Кузнецов С.Д. Реализация сервиса для выполнения Apache Spark задач и создания Apache Spark кластеров на основе Openstack Sahara. Труды Института системного программирования РАН. 2015;27(5):35-48. https://doi.org/10.15514/ISPRAS-2015-27(5)-3
For citation:
Aleksiyants A., Borisenko O., Turdakov D., Sher A., Kuznetsov S. Implementing Apache Spark jobs execution and Apache Spark cluster creation for Openstack Sahara[1]. Proceedings of the Institute for System Programming of the RAS (Proceedings of ISP RAS). 2015;27(5):35-48. (In Russ.) https://doi.org/10.15514/ISPRAS-2015-27(5)-3
Послать статью по эл. почте 