Коллектив Саратовского национального исследовательского университета имени Н. Г. Чернышевского подтвердил, что шум во время обучения делает нейросети более устойчивыми и надежными. Об этом информировала пресс-служба Минобрнауки РФ.
«Введение шума в процесс обучения может повысить устойчивость аппаратных нейронных сетей к помехам в будущей работе. К таким выводам пришли исследователи Саратовского национального исследовательского университета имени Н. Г. Чернышевского», — отметили в пресс-службе.
Научный коллектив университета в своем исследовании предлагает пересмотреть подход к обучению «железного» искусственного интеллекта. Ученые предлагают не бороться с внутренними шумами, а применять их как средство для повышения надежности.
«На сегодняшний день большинство нейронных сетей функционирует в цифровом формате — на стандартных компьютерах и графических процессорах. Но такие системы требуют значительных вычислительных мощностей и энергии, а их масштабирование связано с техническими ограничениями», — заметили в пресс-службе.
В настоящее время активно развивается область аппаратных нейронных сетей. Это физические устройства, в которых нейроны и связи реализованы на уровне электроники или других физических элементов.
Согласно данным ученых, любое физическое устройство испытывает шумы — тепловые колебания сигналов. Традиционно такие явления воспринимаются как источник ошибок. Исследователи предполагали, что внутренний шум будет снижать точность работы нейросети, однако результаты показали противоположное.
Неожиданный эффект
В пресс-службе пояснили, что в исследовании было смоделировано воздействие белого гауссовского шума, который вводился либо в самих нейронах, либо в связях между ними. Нейронные сети обучались распознавать изображения и предсказывать сложные квазипериодические и хаотические сигналы. В итоге выяснилось, что присутствие шума на этапе обучения повышает устойчивость системы к помехам в дальнейшем.
Авторы исследования отмечают, что эффект стал для них неожиданным. По словам руководителя проекта, доцента кафедры радиофизики и нелинейной динамики университета Надежды Семеновой, изначально они были уверены, что влияние шума окажется исключительно негативным. Исследователи полагали, что точность работы сети ухудшится, а перед учеными возникнет задача поиска методов борьбы с шумом в процессе обучения.
«Для нас стало большой неожиданностью, что введение шума в процессе обучения — это уже способ борьбы с шумом. По сути, в данной работе мы демонстрируем, что любую аппаратную сеть необходимо обучать с учетом внутренних шумов. Это значительно повысит ее устойчивость к шуму в будущем в процессе работы, даже если параметры воздействия были не совершенно оптимальными», — процитировали Семенову в пресс-службе Минобрнауки РФ.
По словам исследователей, речь идет не о стандартных алгоритмических методах, применяемых в программных нейросетях для борьбы с переобучением. "Новизна подхода заключается в том, что шум
рассматривается как физическая характеристика аппаратной системы. Авторы впервые системно продемонстрировали, что если «шуметь» на сеть в процессе обучения, то затем в реальных или даже более сложных условиях она будет работать лучше. Для некоторых типов шумовых воздействий сеть можно сделать практически полностью устойчивой", — подчеркнули в пресс-службе.
Практическое значение
Практическая значимость работы связана с развитием энергоэффективных аппаратных нейросетевых устройств нового поколения. Такие системы могут использоваться в задачах обработки изображений, анализа сигналов и автономных вычислений в условиях ограниченных ресурсов. «Увеличение их устойчивости к физическим помехам критически важно для реального применения», — добавили в пресс-службе Минобрнауки РФ.
В будущем коллектив университета планирует распространить полученные результаты на более сложные спайковые нейронные сети. Исследователи считают, что их работа меняет представление о одной из фундаментальных проблем аппаратного искусственного интеллекта. "Если полностью избавиться от
шума невозможно, его можно преобразовать из источника ошибок в механизм повышения надежности. Именно этот сдвиг в подходе становится основным результатом исследования", — подчеркнули в пресс-службе.
Работа ученых поддержана грантом Российского научного фонда и соответствует стратегическим направлениям развития Саратовского университета по программе «Приоритет-2030».
Фото: hi-tech.mail.ru