ML-Factory

ML-Factory

ML-Factory – облачная платформа, предназначенная для поддержки процессов создания моделей машинного обучения, направленных на решение задач в различных доменах (медицина, почвоведение, образование и др.).

ML-Factory создано на базе открытого программного обеспечения Odoo, которое активно развивается в рамках русскоязычного консорциума разработчиков Rudoo, координатором которого является ИСП РАН.

ML-Factory – это:

1. Управление наборами данных (датасетами):
   • создание, редактирование и удаление (или архивирование) датасетов;
   • настройка приватности датасетов;
   • предоставление доступа к датасетам пользователям;
   • версионирование датасетов.
2. Управление командами: добавление, приглашение, исключение участников.
3. Управление проектами по аннотированию данных:
   • создание, редактирование, удаление проектов;
   • подготовка наборов данных для аннотирования;
   • интеграция с системой разметки Colba (разработка ИСП РАН);
   • мониторинг хода выполнения аннотирования данных;
   • сохранение результатов для последующего использования в исследованиях.
4. Управление исследованиями по созданию ML-моделей:
   • создание исследования, добавление сервисов и удаление проектов исследований;
   • создание веб-лабораторий (ВМ с JupyterLab) для обучения ML-моделей с возможностью выбора необходимых ресурсов (CPU, RAM, HDD), возможность направления задач для расчетов на GPU;
   • сохранение данных о проведенных экспериментах и полученных артефактах моделей путем интеграции c MLFlow;
   • возможность регистрации и развертывания выбранной версии модели;
   • возможность создания простых графических веб-интерфейсов («песочниц») для проверки работоспособности ML-модели и визуализации получаемых от ML-модели результатов (с использованием фреймфорка Streamlit).

Схема работы: