Сборники трудов ИСП РАН


Стабилизация видеоизображения в режиме реального времени с использованием MEMS-датчиков

А.В. Корнилова (СПбГУ, Санкт-Петербург, Россия)
Я.А. Кириленко (СПбГУ, Санкт-Петербург, Россия)
Н.И. Забелина (СПбГУ, Санкт-Петербург, Россия)

Аннотация

Данная статья описывает текущие исследования по цифровой стабилизации видеоизображения в режиме реального времени с использованием MEMS датчиков. Авторы предполагают использование данного метода для стабилизации видеоизображения, передаваемого оператору дистанционно управляемых мобильных роботов, в частности, для улучшения качества управления малыми летательными аппаратами и снижения усталости оператора. В статье вводятся основные математические модели и понятия необходимые для реализации программного модуля цифровой стабилизации с использованием показаний MEMS датчиков. К таким моделям необходимо отнести: модель вращения камеры, модель трансформации кадра и модель rolling shutter эффекта. Также в статье рассматриваются существующие подходы к стабилизации видеоизображения с использованием MEMS датчиков и дается оценка их применимости в режиме реального времени. Кроме того, освещаются проблемы, возникающие при воспроизведении результатов предыдущих работ и неразрешенные в данных статьях. К таким проблемам следует отнести: синхронизацию показаний датчиков и кадров, калибровку камеры и датчиков, повышение точности определения вращения камеры, эффективную трансформацию кадра при повороте. Авторы предлагают возможные решения данных проблем, в частности, одним из результатов является система параллельной синхронизированной записи кадров и показаний датчиков движения — гироскопа и акселерометра — на базе операционной системы Android. В качестве основного результата  представляется фреймворк для тестирования алгоритмов по стабилизации видеоизображения, а также реализация алгоритма стабилизации с использованием фильтра Гаусса для сглаживания траектории движения камеры в рамках данного фреймворка.

Ключевые слова

стабилизация видео; MEMS-датчики; системы реального времени; цифровая обработка сигналов; компьютерное зрение; rolling shutter

Издание

Труды Института системного программирования РАН, том 29, вып. 4, 2017, стр. 73-86.

ISSN 2220-6426 (Online), ISSN 2079-8156 (Print).

DOI: 10.15514/ISPRAS-2017-29(4)-5

Полный текст статьи в формате pdf (на английском) Вернуться к содержанию тома