Исследование возможностей применения современных высокопроизводительных архитектур In-Memory Computing (IMC) и интеллектуальных производственных технологий

Исследование возможностей применения современных высокопроизводительных архитектур In-Memory Computing (IMC) и интеллектуальных производственных технологий

Полное название: Исследование возможностей применения современных высокопроизводительных архитектур In-Memory Computing (IMC) и интеллектуальных производственных технологий при создании промышленных информационно-аналитических систем высокой доступности и систем обработки больших объемов данных, машинного обучения и искусственного интеллекта.

В 2017 году, на первом этапе проекта, было проведено исследование существующих In-Memory Computing систем и их аналитическое сравнение. На данный момент исследуются заявленные свойства программных систем Apache Ignite и VoltDB. В частности, в рамках исследований проверяется устойчивость данных на высоких нагрузках, корректность исполнения операций, масштабируемость систем и поведение систем в случае потери узлов. Также исследуются возможности прозрачной интеграции упомянутых систем для совместного использования с классическими реляционными системами.

Также на первом этапе за счет внебюджетных средств было проведено исследование существующих подходов и инструментов для сбора и извлечения информации из Веба.

Рассмотрены аспекты краулинга современных веб-сайтов, фокусированного сбора данных, автоматического и автоматизированного извлечения записей из одного или многих веб-ресурсов, а также специфика задач сбора для различных средств разработки веб-приложений.

В данный момент ведется разработка инструментов сбора данных для ряда веб-ресурсов из таких категорий, как социальные сети, онлайн-реестры и каталоги информации.

Также продолжается исследование существующих подходов к противодействию автоматическому краулингу и разработка инструментов их обхода.

В результате работ 2 этапа, проведенных на основе аналитического обзора литературы и существующих сценариев взаимодействия промышленных систем, а так же анализа их сильных и слабых сторон, специфики работы, методов обеспечения высокой доступности, были подтверждены результаты 1 этапа. Использование архитектур In-Memory Computing может быть оправдано для промышленных систем, в частности банковского сектора. Однако в текущем виде открытые системы этого класса требуют доработки и исследований для соответствия промышленным требованиям, при этом открытых исследований в этом контексте не проводилось.

В ходе работ была выявлена единственная потенциально подходящая реализация IMC-архитектуры (Apache Ignite) и показано, что второй кандидат (VoltDB) не может использоваться по множеству причин.

Также были выявлены основные проблемы в реализации Apache Ignite, решение которых необходимо для корректной работы с указанным классом задач и возможности интеграции с существующими системами на мейнфреймах:

- возможность поддержки вложенных запросов в Apache Ignite;
- возможности работы Apache Ignite в режиме консистентного кэша с поддержкой вытеснения данных;
- возможности реализации репликации данных в Apache Ignite между датацентрами.

Также была реализована дополнительная функциональность в рамках Apache Ignite и проведено прямое сравнение производительности Apache Ignite, VoltDB и PostgreSQL.

Одновременно был разработан и изготовлен Стенд для экспериментальных исследований промышленных систем на архитектурах IMC с использованием аппаратного обеспечения общедоступного класса.

На третьем этапе проекта разработан экспериментальный образец программного комплекса Высокопроизводительная In-Memory Computing (IMC) система, который реализует метод преобразования формата данных модельной задачи банковской сферы и алгоритм симуляции логики существующих на модельной задаче банковской сферы. Разработка метода и алгоритма базировалась на результатах полученных на предыдущих этапах проекта.

Разработана программа и методики экспериментальных исследований, и проведены экспериментальные исследования на Стенде, изготовленном на 2 этапе. На основе полученных результатов разработана методика оценки вычислительных систем для задач банковского сектора с точки зрения отказоустойчивости, катастрофоустойчивости. Разработано техническое задание на ОКР.

Начало проекта: сентябрь, 2017, окончание - декабрь, 2019.

Исполнитель

Информационные системы