Обработка больших потоков данных.

Обработка больших потоков данных.

Для обеспечения обработки возрастающих потоков данных было разработано большое количество технологий, обеспечивающих соответствующие возможности со стороны аппаратуры: высокоскоростные каналы связи, высокочастотные процессоры, скоростные шины памяти и винчестеры с высокой плотностью записи и низким временем доступа. Однако остаётся большое количество задач, которые необходимо решить со стороны программного обеспечения, которое должно обеспечивать непосредстевенную обработку, анализ и хранение высокоскоростных потоков данных, эффективно использую ресурсы аппаратуры. Соответствующее ПО должно удовлетворять ряду довольно жёстких требований: обеспечивать пакетную обработку больших объёмов данных с высокой пропускной способностью, устойчивую работу на ненадёжном оборудовании (реализуя репликацию данных и восстановление после сбоев), хорошую масштабируемость, эффективный произвольный доступ к данным. В рамках данного проекта предполагается создание системы, обеспечивающей сбор, фильтрацию, анализ и хранение данных, поступающих в реальном времени через высокоскоростные каналы связи. Данная система позволит автоматизировать решение широкого спектра задач, связанных с обработкой скоростных потоков данных: классификацию сетевого трафика, обеспечения сетевой безопасности, анализ социальных сетей, задачи прогнозирования по большим объёмам данных.

Грант РФФИ 14-07-00606-а.

Исполнитель

Компиляторные технологии