Исследование и разработка методов распределенной обработки больших баз графовых данных

Исследование и разработка методов распределенной обработки больших баз графовых данных

В настоящее время в области хранения и обработки данных наблюдается тенденция перехода от традиционной реляционной модели к использованию специализированных систем (NOSQL), позволяющих оптимизировать решение для заранее определенного класса приложений. В этой области ведутся активные разработки и уже существуют коммерческие системы разрабатываемые и используемые такими компаниями как Google, Microsoft, Facebook, HP и т.д.

Активно развивающимся направлением, является создание методов и программных систем для обработки больших объемов данных, описываемых математической моделью графов. С помощью модели графов могут быть описаны транспортные сети, социальные сети, сети взаимодействия белков (в биологии), телекоммуникационные сети и т.п. Большой объем графовых данных обуславливает необходимость в эффективном инструментарии для их распределённой обработки.

Несмотря на важность проблемы, эта область является достаточно новой. Немногочисленные имеющиеся открытые программные средства для обработки массивных графовых данных не обладают набором качеств, необходимых для широкого внедрения и промышленного использования, а именно: стабильной масштабируемостью и отказоустойчивостью, возможностью эффективной работы на кластерах, поддержкой современных вычисленных парадигм и удобством программирования.

Технологии

Apache Spark - платформа для обработки больших данных

Исполнитель

Информационные системы