Реальное применение методов интерпретации свёрточных нейронных сетей: обнаружение и объяснение ошибок классификатора изображений документов

Реальное применение методов интерпретации свёрточных нейронных сетей: обнаружение и объяснение ошибок классификатора изображений документов

Александр Олегович ГОЛОДКОВ, Оксана Владимировна БЕЛЯЕВА, Андрей Игоревич ПЕРМИНОВ

Аннотация

В данной статье рассматривается случай применения методов интерпретации свёрточных нейронных сетей к модели ResNet 18 с целью обнаружения и объяснения её ошибок. Сама модель используется для решения задачи определения ориентации изображений текстовых документов. Изначально с помощью методов интерпретации было выдвинуто предположение о причине низкого качества предсказаний модели на данных, отличных от примеров из обучающего набора. Предполагаемой причиной оказалось наличие артефактов на тренировочных данных, которые были сгенерированы с использованием функции поворота изображений. Далее, с помощью методов Vanilla Gradient, Guided Backpropagation, Integrated Gradients, GradCAM и предложенной метрики удалось точно обосновать выдвинутое предположение. Полученные результаты помогли значительно улучшить точность модели.

Ключевые слова

интерпретация свёрточных нейронных сетей, классификация изображений документов, определение ориентации документа

Издание

Труды Института системного программирования РАН, том 35, вып. 2, 2023, 7-18

ISSN 2220-6426 (Online), ISSN 2079-8156 (Print).

DOI: https://doi.org/10.15514/ISPRAS-2023-35(2)-1

Для цитирования

Александр Олегович ГОЛОДКОВ, Оксана Владимировна БЕЛЯЕВА, Андрей Игоревич ПЕРМИНОВ Реальное применение методов интерпретации свёрточных нейронных сетей: обнаружение и объяснение ошибок классификатора изображений документов. Труды Института системного программирования РАН, том 35, вып. 2, 2023, 7-18 DOI: https://doi.org/10.15514/ISPRAS-2023-35(2)-1.

Полный текст статьи в формате pdf (на английском) Вернуться к содержанию тома