Preview

Труды Института системного программирования РАН

Расширенный поиск

Ориентированное на данные планирование с применением отказоустойчивого метода динамической кластеризации для поддержки потоков научных работ в облаках

https://doi.org/10.15514/ISPRAS-2019-31(2)-9

Аннотация

Облачные вычисления – одна из наиболее распространенных парадигм параллельных и распределенных вычислений. Они используются для поддержки огромного количества научных и бизнес-приложений. В частности, на основе облачных вычислений могут выполняться крупномасштабные научные приложения, которые организованы как потоки научных работ. Потоки научных работ являются приложениями, интенсивно использующими данные, поскольку один поток научных работ может состоять из сотен тысяч задач. Дополнительные затруднения могут вызываться сбоями при выполнении задач, ограничениями по срокам, бюджетными ограничениями и неправильным управлением задачами. Поэтому обеспечение отказоустойчивых методов с использованием ориентированного на данные планирования является важным подходом для поддержки выполнения потоков научных работ в облачных средах. В этой статье мы представляем усовершенствованный механизм планирования, ориентированного на данные, с использованием отказоустойчивой техники динамической кластеризации (EDS-DC) подходом для поддержки выполнения потоков научных работ в облачных средах. Для оценки эффективности EDS-DC, мы сравниваем его результаты с тремя хорошо известными политиками эвристического планирования: (a) MCT-DC, (b) Max-min-DC и (c) Min-min-DC. В качестве примера мы рассматриваем поток научных работ CyberShake, потому что он обладает большинством характеристик потоков научных работ, таких как интеграция, дезинтеграция, параллелизм и конвейеризация. Результаты показывают, что EDS-DC позволил сократить время цикла обработки на 10,9% по сравнению с MCT-DC, на 13,7% по сравнению с Max-min-DC и на 6,4% по сравнению с политикой планирования Min-min-DC. Аналогично, EDS-DC позволил снизить стоимость на 4% по сравнению с MCT-DC, на 5,6% по сравнению с Max-min-DC и на 1,5% по сравнению с политиками планирования Min-min-DC. При использовании EDS-DC по отношению к временным и стоимостным ограничениям не нарушается SLA, в то время как оно нарушается несколько раз при применении политик планирования MCT-DC, Max-min-DC и Min-min-DC.

Об авторах

Зульфикар Ахмад
Университет Хазара, Мансехра
Пакистан
Преподаватель факультета информационных технологий


Али Имран Джехангири
Университет Хазары
Пакистан
Преподаватель факультета информационных технологий


Мехрин Ифтихар
Университет Хазары
Пакистан
Преподаватель факультета информационных технологий


Ариф Икбал Умер
Университет Хазары
Пакистан
Доцентом на факультете информационных технологий


Ибрар Афзал
Университет Хазары
Пакистан
Преподаватель факультета информационных технологий


Список литературы

1. J. Shi, J. Luo, F. Dong, J. Zhang, and J. Zhang, “Elastic resource provisioning for scientific workflow scheduling in cloud under budget and deadline constraints,” Cluster Comput., vol. 19, no. 1, pp. 167–182, 2016.

2. D. Sun, G. Chang, C. Miao, and X. Wang, “Analyzing, modeling and evaluating dynamic adaptive fault tolerance strategies in cloud computing environments,” J. Supercomput., vol. 66, no. 1, pp. 193–228, 2013.

3. D. Lifka, “XSEDE Cloud Survey Report,” no. September, 2013.

4. X. Li, J. Song, and B. Huang, “A scientific workflow management system architecture and its scheduling based on cloud service platform for manufacturing big data analytics,” Int. J. Adv. Manuf. Technol., pp. 119–131, 2016.

5. B. P. Abbott et al, “LIGO: the Laser Interferometer Gravitational-Wave Observatory,” Reports Prog. Phys., vol. 72, no. 7, p. 76901, 2009.

6. S. Bharathi, E. Deelman, G. Mehta, K. Vahi, A. Chervenak, and M. Su, “Characterization of Scientific Workflows,” in The 3rd Workshop on Workflows in Support of Large Scale Science, 2008.

7. S. Callaghan, P. Maechling, P. Small, K. Milner, G. Juve, T. H. Jordan, E. Deelman, G. Mehta, K. Vahi, D. Gunter, K. Beattie, and C. Brooks, “Metrics for heterogeneous scientific workflows : A case study of an earthquake science application,” 2011.

8. S. Callaghan, P. Maechling, E. Deelman, K. Vahi, G. Mehta, K. Milner, R. Graves, E. Field, D. Okaya, D. Gunter, and T. Jordan, “Reducing Time-to-Solution Using Distributed High-Throughput Mega- Workflows – Experiences from SCEC CyberShake,” pp. 151–158, 2008.

9. S. Abrishami, M. Naghibzadeh, and D. H. J. Epema, “Deadline-constrained workflow scheduling algorithms for Infrastructure as a Service Clouds,” Futur. Gener. Comput. Syst., vol. 29, no. 1, pp. 158–169, 2013.

10. D. Chakraborty, V. V. Mankar, and A. A. Nanavati, “Enabling runtime adaptation of workflows to external events in enterprise environments,” Proc. - 2007 IEEE Int. Conf. Web Serv. ICWS 2007, no. Icws, pp. 1112–1119, 2007.

11. E. Deelman, G. Singh, M. Livny, B. Berriman, and J. Good, “The cost of doing science on the cloud: The montage example,” 2008 SC - Int. Conf. High Perform. Comput. Networking, Storage Anal. SC 2008, no. November, 2008.

12. D. Serrano, S. Bouchenak, Y. Kouki, F. A. De Oliveira, T. Ledoux, J. Lejeune, J. Sopena, L. Arantes, and P. Sens, “SLA guarantees for cloud services,” Futur. Gener. Comput. Syst., vol. 54, pp. 233–246, 2016.

13. J. Choi, T. Adufu, and Y. Kim, “Data-Locality Aware Scientific Workflow Scheduling Methods in HPC Cloud Environments,” Int. J. Parallel Program., vol. 45, no. 5, pp. 1128–1141, 2017.

14. W. Tang, J. Jenkins, F. Meyer, R. Ross, R. Kettimuthu, L. Winkler, X. Yang, T. Lehman, and N. Desai, “Data-aware resource scheduling for multicloud workflows: A fine-grained simulation approach,” Proc. Int. Conf. Cloud Comput. Technol. Sci. CloudCom, vol. 2015–Febru, no. February, pp. 887–892, 2015.

15. W. Chen and E. Deelman, “Fault tolerant clustering in scientific workflows,” Proc. - 2012 IEEE 8th World Congr. Serv. Serv. 2012, pp. 9–16, 2012.

16. B. Santhosh, P. K. A, and D. H. Manjaiah, “Comparative Study of Workflow Scheduling Algorithms in Cloud Computing,” pp. 31–37, 2014.

17. T. Mathew, “Study and Analysis of Various Task Scheduling Algorithms in the Cloud Computing Environment,” Int. Conf. Adv. Comput. Informatics, pp. 658–664, 2014.

18. W. Chen and E. Deelman, “WorkflowSim: A toolkit for simulating scientific workflows in distributed environments,” 2012 IEEE 8th Int. Conf. E-Science, e-Science 2012, 2012.

19. T. Kosar and M. Balman, “A new paradigm: Data-aware scheduling in grid computing,” Futur. Gener. Comput. Syst., vol. 25, no. 4, pp. 406–413, 2009.

20. L. Zeng, B. Veeravalli, and A. Y. Zomaya, “An integrated task computation and data management scheduling strategy for workflow applications in cloud environments,” J. Netw. Comput. Appl., vol. 50, pp. 39–48, 2015.

21. D. Poola, K. Ramamohanarao, and R. Buyya, “Fault-tolerant workflow scheduling using spot instances on clouds,” Procedia Comput. Sci., vol. 29, pp. 523–533, 2014.

22. D. Kumar, G. Baranwal, Z. Raza, and D. P. Vidyarthi, “A systematic study of double auction mechanisms in cloud computing,” J. Syst. Softw., vol. 125, pp. 234–255, 2017.

23. M. Malawski, G. Juve, E. Deelman, and J. Nabrzyski, “Algorithms for cost-and deadline-constrained provisioning for scientific workflow ensembles in IaaS clouds,” Futur. Gener. Comput. Syst., vol. 48, pp. 1–18, 2015.

24. X. He, X. Sun, and G. Laszewski, “A QoS Guided Scheduling Algorithm for Grid Computing,” Office, vol. 18, no. 4, pp. 1–15, 2002.

25. A. M. Madureira and A. B. Definitions, “Ordered Minimum Completion Time Heuristic for Unrelated Parallel-Machines Problems.”

26. R. J. Priyadarsini, “Performance Evaluation of Min-Min and Max-Min Algorithms for Job Scheduling in Federated Cloud,” vol. 99, no. 18, pp. 47–54, 2014.

27. K. Qureshi, F. G. Khan, P. Manuel, and B. Nazir, “A hybrid fault tolerance technique in grid computing system,” J. Supercomput., vol. 56, no. 1, pp. 106–128, 2011.

28. A. Bala and I. Chana, “Fault Tolerance- Challenges , Techniques and Implementation in Cloud Computing,” Int. J. Comput. Sci., vol. 9, no. 1, pp. 288–293, 2012.

29. E. Deelman, K. Vahi, G. Juve, M. Rynge, S. Callaghan, P. J. Maechling, R. Mayani, W. Chen, R. Ferreira Da Silva, M. Livny, and K. Wenger, “Pegasus, a workflow management system for science automation,” Futur. Gener. Comput. Syst., vol. 46, pp. 17–35, 2015.

30. R. Tolosana-Calasanz, J. Á. Bañares, C. Pham, and O. F. Rana, “Enforcing QoS in scientific workflow systems enacted over Cloud infrastructures,” J. Comput. Syst. Sci., vol. 78, no. 5, pp. 1300–1315, 2012.

31. W. Chen, R. Ferreira, E. Deelman, and R. Sakellariou, “Balanced Task Clustering in Scientific Workflows,” pp. 1–8.

32. A. F. Antonescu and T. Braun, “Simulation of SLA-based VM-scaling algorithms for cloud-distributed applications,” Futur. Gener. Comput. Syst., vol. 54, pp. 260–273, 2016.

33. S. Mustafa, B. Nazir, A. Hayat, A. ur Rehman Khan, and S. A. Madani, “Resource management in cloud computing: Taxonomy, prospects, and challenges,” Comput. Electr. Eng., vol. 47, p. , 2015.

34. Barladian, B. Kh, et al. "An efficient mulithreading algorithm for the simulation of global illumination." Programming and Computer Software 43.4 (2017): 217-223.

35. Fursova, N. I., et al. "A lightweight method for virtual machine introspection." Programming and Computer Software 43.5 (2017): 307-313.

36. Gusev, A. D., Andrey V. Nasonov, and Andrey S. Krylov. "Fast parallel grid warping-based image sharpening method." Programming and Computer Software 43.4 (2017): 230-233.

37. Kuplyakov, D., Evgeny Shalnov, and Anton Konushin. "Markov chain Monte Carlo based video tracking algorithm." Programming and Computer Software 43.4 (2017): 224-229.

38. Massobrio, Renzo, et al. "Towards a cloud computing paradigm for big data analysis in smart cities." Programming and Computer Software 44.3 (2018): 181-189.

39. Muruganantham, R., and P. Ganeshkumar. "Quality of Service Enhancement in Wireless Sensor Network Using Flower Pollination Algorithm." Programming and Computer Software44.6 (2018): 398-406.

40. Raja, R., and P. Ganeshkumar. "QoSTRP: A Trusted Clustering Based Routing Protocol for Mobile Ad-Hoc Networks." Programming and Computer Software 44.6 (2018): 407-416.

41. Pashchenko, N. F., K. S. Zipa, and A. V. Ignatenko. "An algorithm for the visualization of stereo images simultaneously captured with different exposures." Programming and Computer Software 43.4 (2017): 250-257.

42. Varnovskiy, N. P., et al. "Secure cloud computing based on threshold homomorphic encryption." Programming and Computer Software 41.4 (2015): 215-218.

43. Zelenova, Sophia A., and Sergey V. Zelenov. "Schedulability Analysis for Strictly Periodic Tasks in RTOS." Programming and Computer Software 44.3 (2018): 159-169.

44. Zipa, Kristina S., and Alexey V. Ignatenko. "Algorithms for the analysis and visualization of high dynamic range images based on human perception." Programming and Computer Software 42.6 (2016): 367-374.


Рецензия

Для цитирования:


Ахмад З., Джехангири А., Ифтихар М., Умер А., Афзал И. Ориентированное на данные планирование с применением отказоустойчивого метода динамической кластеризации для поддержки потоков научных работ в облаках. Труды Института системного программирования РАН. 2019;31(2):121-135. https://doi.org/10.15514/ISPRAS-2019-31(2)-9

For citation:


Ahmad Z., Jehangiri A., Iftikhar M., Umar A., Afzal I. Data-Oriented scheduling with Dynamic-Clustering fault-tolerant technique for Scientific Workflows in Clouds. Proceedings of the Institute for System Programming of the RAS (Proceedings of ISP RAS). 2019;31(2):121-135. (In Russ.) https://doi.org/10.15514/ISPRAS-2019-31(2)-9



Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 2079-8156 (Print)
ISSN 2220-6426 (Online)