Исследование применения диффузионного редактирования для аугментации в задачах классификации изображений

Исследование применения диффузионного редактирования для аугментации в задачах классификации изображений

v

Аннотация

Современные задачи классификации изображений часто ограничены дисбалансом классов, малым объёмом данных и недостаточной репрезентативностью выборки, что существенно снижает обобщающую способность моделей. Традиционные методы аугментации (геометрические трансформации, изменение цвета) вносят лишь локальные, семантически ограниченные изменения. В работе представлено систематическое исследование применения редактирования изображений на основе визуально-языковых моделей (VLM) и диффузионных архитектур как эффективного подхода к семантической аугментации. Проведен сравнительный анализ двух современных конвейеров VLM-редактирования изображений (Instruct-Pix2Pix и Qwen-Image-Edit) с классическими и современными диффузионными методами аугментации на наборах данных CUB-200-2011 (с искусственным дисбалансом) и 13-классовом подмножестве iWildCam (с естественным дисбалансом). Разработаны пять стратегий селективного отбора изображений различной адаптивности к структуре дисбаланса, а также оценено влияние типов текстовых инструкций и ключевых гиперпараметров системы. Полученные результаты подтверждают высокую эффективность семантически насыщенного VLM-редактирования для повышения устойчивости классификаторов в условиях выраженного дисбаланса классов.

Ключевые слова

аугментация данных; диффузионные модели; визуально-языковые модели; редактирование изображений; дисбаланс классов; классификация изображений.

Издание

Труды Института системного программирования РАН, том 38, вып. 6, часть 2, 2026, стр. 249-274.

ISSN 2220-6426 (Online), ISSN 2079-8156 (Print).

DOI: 10.15514/ISPRAS-2026-38(6)-36

Для цитирования

Матюшин Д.А., Быков О.И., Бубенков И.И. Исследование применения диффузионного редактирования для аугментации в задачах классификации изображений. Труды Института системного программирования РАН, том 38, вып. 6, часть 2, 2026, стр. 249-274. DOI: 10.15514/ISPRAS-2026-38(6)-36.

Полный текст статьи в формате pdf Вернуться к содержанию тома