Глубокое обучение на табличных данных: от надежной оценки к передовым результатам на академических наборах данных
Глубокое обучение на табличных данных: от надежной оценки к передовым результатам на академических наборах данных
Аннотация
Надежный прогресс в глубоком обучении на табличных данных начинается с трудной задачи сравнения. Если сравнить простые полносвязные нейросетевые модели (MLP), специализированные архитектуры для табличных данных и методы градиентного бустинга над деревьями решений (GBDT) на академических наборах данных в едином и тщательном протоколе, то хорошо настроенные MLP-подобные модели зачастую трудно превзойти более продвинутыми методами, а GBDT остается сильным конкурентом и задает высокую планку для области. В этой работе мы используем такой строгий протокол оценки, чтобы продемонстрировать два механизма, которые улучшают табличные нейросетевые модели относительно сильных MLP-подобных методов и GBDT. Первый механизм связан с улучшенной методологией обучения: двухэтапным обучением с искажением входных данных, вспомогательными функциями потерь и более длительным обучением. Второй механизм связан с использованием непараметрической компоненты, которые во время предсказания используют представления и метки похожих объектов из обучающей выборки. На рассмотренных открытых академических наборах данных оба направления устойчиво улучшают качество тщательно настроенных параметрических нейросетей и часто достигают уровня качества GBDT или превосходят его. Эти результаты показывают, что глубокое обучение на табличных данных может быть конкурентоспособным с методами на основе решающих деревьев при строгой оценке относительно сильных простых моделей.
Ключевые слова
Издание
Труды Института системного программирования РАН, том 38, вып. 5, 2026, стр. 287-304.
ISSN 2220-6426 (Online), ISSN 2079-8156 (Print).
DOI: 10.15514/ISPRAS-2026-38(5)-16
Для цитирования
Полный текст статьи в формате pdf
Вернуться к содержанию тома