ТЕСТИРОВАНИЕ БОЛЬШИХ НЕЙРОННЫХ СЕТЕЙ НА МАЛЫХ ВЫБОРКАХ 

Иванов Александр Иванович, доктор технических наук, доцент,ведущий научный сотрудник, Пензенский научно-исследовательский
электротехнический институт (Россия, г. Пенза, ул. Советская, 9), ivan@pniei.penza.ru
Кубасов Игорь Анатольевич, доктор технических наук, профессор, кафедра информационных технологий, Академия управления МВД России (Россия, г. Москва, ул. Зои и Александра Космодемьянских, 8), igorak@list.ru
Самокутяев Александр Михайлович, Герой России, летчик-космонавт, заместитель командира отряда космонавтов ФГБУ НИИ ЦПК им. Ю. А. Гагарина (Россия, Московская область, Щелковский район, Звездный городок), samo@gctc.ru

004.838.2

DOI

10.21685/2307-4205-2020-3-9

Актуальность и цели. Исследованы проблемы тестирования нейронных сетей, применяемых в интересах повышения надежности и качества сложных технических систем. Выявлены условия, при которых возможно оперативное и корректное тестирование качества принимаемых решений большими нейронными сетями на малых выборках.
Материалы и методы. Выполнена оценка вероятности ошибок первого рода (ошибочного отказа от признания образа «Свой») на основе тестирования без сокращения тестовой выборки. Показано, что для нейросетевых решений в форме бинарного кода оценка вероятности ошибок второго рода (ошибочное принятие образа «Чужой») может быть осуществлена при значительном сокращении объема тестовой выборки.
Результаты и выводы. Выявлено логарифмическое снижение объема тестовой выборки при переходе от статистического анализа обычных кодов к статистическому анализу расстояний Хэмминга между кодом образа «Свой» и кодами образов «Чужой». Представлена математическая модель вычисления вероятностей ошибок второго рода доверенного нейросетевого приложения на малых выборках. Обоснована необходимость дальнейшей стандартизации доверенных приложений искусственного интеллекта, позволяющих повысить надежность и качество сложных технических систем.

Ключевые слова

искусственный интеллект, нейронные сети, доверенные нейросетевые приложения, объем тестовой выборки.

 Скачать статью в формате PDF

1. Николенко, С. Глубокое обучение / С. Николенко, А. Кадурин, Е. Архангельская. – Санкт-Петербург : Питер, 2018. – 480 с.
2. ГОСТ Р 52633.5–2011 Защита информации. Техника защиты информации. Автоматическое обучение нейросетевых преобразователей биометрия-код доступа.
3. Иванов, А. И. Среда моделирования «БиоНейроАвтограф» / А. И. Иванов, О. С. Захаров. – URL: http://пниэи.рф/ activity/science/ noc/bioneuroautograph.zip
4. Иванов, А. И. Автоматическое обучение больших искусственных нейронных сетей в биометрических приложениях : учеб. пособие / А. И. Иванов. – Пенза, 2013. – 30 с. – URL: http://пниэи.рф/activity/science/noc/tm_IvanovAI.pdf
5. Морелос-Сарагоса, Р. Искусство помехоустойчивого кодирования / Р. Морелос-Сарагоса. – Москва : Техносфера, 2007. – 320 с.
6. Juels, A. A Fuzzy Commitment Scheme / A. Juels, M. Wattenberg // Proc. ACM Conf. Computer and Communications Security. – Singapore, 1999. – P. 28–36.
7. ГОСТ Р 52633.3–2011 Защита информации. Техника защиты информации. Тестирование стойкости средств высоконадежной биометрической защиты к атакам подбора.
8. Руководство по биометрии / Р. Болл, Дж. Х. Коннел, Ш. Панканти, Н. К. Ратха, Э. У. Сеньор. – Москва : Техносфера, 2007. – 368 с.
9. Шапкин, А. В. Развитие отечественного нейросетевого искусственного интеллекта в защищенном исполнении / А. В. Шапкин, И. А. Кубасов, А. И. Иванов // Вестник Воронежского института ФСИН России. –2019. – № 4. – С. 132–144.