Исследование и разработка методов автоматизации масштабирования и разворачивания виртуальных кластеров для обработки сверхбольших объёмов данных в облачной среде Openstack.

Начало проекта – 2014 год. Окончание проекта - 2016 год.

Стремительный рост потребностей современного общества в решении задач обработки больших объёмов данных (Big Data) толкает сообщество учёных и разработчиков на поиски новых подходов обработки данных. В последние годы сформировался стек технологий, подходящий для эффективного решения многих задач Big Data, но эти технологии очень разнообразны по своим возможностям и назначениям. Кроме того, эффективность технологий распределённых вычислений напрямую зависит от эффективности механизмов масштабирования.

Быстро развивающееся направление облачных вычислений предоставляет удобные и эффективные технологии для масштабирования. Несмотря на то, что стек технологий, предназначенный для обработки задач Big Data, обладает необходимыми механизмами горизонтального масштабирования вычислительных систем, технологии обработки задач Big Data не учитывают специфику работы облачных систем вычислений. Для эффективной работы технологий обработки задач Big Data необходимы исследования и разработки по учету специфики работы облачных систем в контексте обработки задач Big Data.

В рамках проекта проводились исследования и разрабатывались решения по трем направлениям:

Исследование методов эффективного масштабирования виртуальных кластеров в свободно распространяемых облачных средах.
Исследование возможностей динамического масштабирования в процессе работы открытых средств для обработки сверхбольших объёмов данных (в том числе Apache Hadoop, HDFS, Hive, Spark, Shark).
Разработка набора инструментов для автоматизации масштабирования и настройки виртуальных кластеров, предназначенных для обработки сверхбольших объёмов данных в свободно распространяемых облачных средах.

Исполнитель

Информационные системы

Перейти к списку всех проектов